“Estudos caricaturais” têm sido usados com sucesso no meio científico para tornar interessante e palatável discussões metodológicas relevantes. Costumo citar com frequência as fortes correlações entre chocolate e prêmios Nobel ou cegonhas e taxa de natalidade, como exemplos inusitados de vieses de confusão.
Em 2003, foi publicado British Medical Journal uma revisão sistemática sobre eficácia do uso de paraquedas em pacientes que pulam de grandes alturas. A revisão indicou ausência de ensaios clínicos randomizados para esta conduta. Foi uma forma inteligente de demonstrar que nem tudo necessita evidências experimentais. Aquele artigo nos inspirou na criação dos termos “paradigma do paraquedas” e “princípio da plausibilidade extrema”.
Ontem recebi uma infinidade de mensagens entusiasmadas sobre o mais novo ensaio clínico publicado no British Medical Journal: Parachute use to prevent death and major trauma when jumping from aircraft: randomized controlled trial.
“Não é que fizeram o estudo?”; “gostaria de sua opinião sobre este importante ensaio clínico”.
Neste ensaio clínico, passageiros de avião teriam sido convidados para entrar em um estudo em que pulariam do avião para o solo, mas antes seriam randomizados para o uso de paraquedas ou mochila não paraquedas como grupo controle. O desfecho primário foi morte ou trauma grave. Baseado na premissa de que 99% do grupo controle sofreria o desfecho, para um poder de 99% na detecção de uma enorme (e plausível) redução relativa do risco de 95%, seriam necessários apenas 10 pacientes por grupo. Assim foi feito e, surpreendentemente, o estudo foi negativo: zero de incidência do desfecho primário em ambos os grupos. No entanto, apenas indivíduos que pulariam de aviões estacionados no solo aceitaram participar do trabalho.
Divertido, porém qual a mensagem implícita deste estudo?
“Randomized trials might selectively enroll individuals with a lower perceived likelihood of benefit, thus diminishing the applicability of the results to clinical practice.”
Conforme os autores, o novo estudo do paraquedas estaria apontando para o problema de que ensaios clínicos randomizados selecionam amostras menos predispostas ao benefício da intervenção, um fenômeno que promoveria estudos falso negativos. Os autores explicam que isto acontece pois pacientes que tem maior probabilidade de se beneficiar da terapia tem menor probabilidade de aceitar entrar em um estudo no qual podem ser randomizados para não tratamento. Isto tornaria a amostras de ensaios clínicos menos sensíveis à detecção do benefício, pois haveria uma exclusão parcial dos pacientes com maior chance de sucesso terapêutico.
Caricaturas servem para acentuar características verdadeiras. No entanto, se tivéssemos que caracterizar amostras de ensaios clínicos (mundo ideal), estas tenderiam a ser mais predispostas a encontrar um benefício do que a população-alvo do mundo real. Portanto, esse estudo não é uma caricatura do mundo real dos ensaios clínicos.
Assim o trabalho perde o status de caricatura, para se limitar a uma mera piada sem valor de ancoragem da nossa perspicácia científica.
Como testes de conceitos, ensaios clínicos primam pela utilização de amostras muito favoráveis ao tratamento, utilizando restritivos critérios de inclusão e exclusão. Diferenças entre pacientes que aceitam e não aceitam entrar no estudo não são suficientes para gerar uma amostra menos predisposta ao benefício do tratamento do que a realidade.
O “estudo piada” comete um viés de seleção incomum nos ensaios clínicos randomizados: permite a inclusão de pacientes que não precisam do tratamento. Seria como se em um estudo voltado para testar trombólise permitíssemos a inclusão de qualquer dor torácica, independente do eletrocardiograma. Médicos que já acreditam na trombólise veriam o eletrocardiograma, trombolizariam os pacientes que precisassem e liberariam os que não precisassem da trombólise para serem randomizados para droga ou placebo. Piada sem valor científico.
Estudos caricatos são úteis quando ancoram a mente da comunidade para uma criticidade aguçada em relação a resultado de estudos. Porém nesse caso a ancoragem ocorreu no sentido contrário ao aguçado. Explicarei.
Primeiramente, quando pensamos no ecossistema científico, o maior problema são os estudos falsos positivos, mediados por diversos fenômenos: vieses de confusão dos estudos observacionais, escolhas a posteriori de desfechos a serem reportados (outcome reporting bias), conclusões enviesadas para o resultado positivo (spin) e finalmente viés de citação que privilegiam estudos positivos. Por trás de tudo isso, está a inata predileção da mente humana por afirmações falsas, em detrimento de negações verdadeiras.
Em segundo lugar, há o problema da eficácia (mundo ideal) versus efetividade (mundo real). Ensaios clínicos têm como objetivo avaliar eficácia, que poderia ser interpretada como o potencial intrínseco da intervenção de oferecer benefício clínico: “o tratamento tem propriedade benéfica?”. Portanto os ensaios clínicos representam a condição ideal para que o tratamento funcione. Diante de um ensaio clínico positivo, devemos sempre refletir se esta positividade vai se reproduzir no mundo real, o que constitui a efetividade.
Claro que existe o problema de estudos falso negativos e isso deve ser uma preocupação. Porém o viés sugerido pelo engraçado estudo do paraquedas não representa um mecanismo importante de falso negativo. Os mecanismos mais prevalentes são: reduzido poder estatístico, excessivo crossover na análise por intenção de tratar e aplicabilidade inadequada da intervenção.
No entanto, o leitor deste interessante estudo pode sair com a seguinte mensagem: se um estudo promissor for negativo, cuidado, ensaios clínicos tendem a incluir pacientes menos predispostos ao benefício. Essa mensagem está errada, pois ensaios clínicos tendem a selecionar amostras mais predispostas ao benefício. Claro que há casos e casos, mas se temos que ancorar nossa mente, esta deve ser na direção do mais prevalente.
Minha previsão é de que este estudo passará ser citado pelas legiões de crentes inconformados com resultados negativos de estudos bem desenhados. Assim como o artigo seminal do paraquedas tem sido utilizado inadequadamente como justificativa de muitos tratamentos que nada tem a ver com o paradigma do paraquedas, sob a premissa de que “não há evidência para tudo”. Estudo recente demonstrou que grande parte das condutas caracterizadas como paradigma do paraquedas por artigos médicos na realidade não o são, muitas inclusive com ensaios clínicos de resultados negativos.
A grande atenção recebida pelo ensaio clínico do paraquedas é exemplo de como ocorrem os compartilhamentos de informações nas redes sociais. O principal critério para o compartilhamento é o caráter interessante, inusitado ou divertido, em detrimento da veracidade ou utilidade da informação. No apelo pela novidade, fake news acabam recebendo mais atenção do que true news, como foi recentemente demonstrado em trabalho na Science. Embora o artigo que discutimos não deva ser enquadrado como fake news, este também não é uma boa caricatura do mundo real.
O trabalho em questão não é uma caricatura do ecossistema de ensaios clínicos randomizados. É uma mera piada com potencial de enviesar nossas mentes para inadequada ideia de que a heterogeneidade entre amostras de ensaios clínicos e a população-alvo do tratamento reduz a sensibilidade destes estudos em detectar efeitos benéficos. Na verdade, as específicas amostras de ensaios clínicos possuem mais sensibilidade em detectar efeitos benéficos do que se toda a população-alvo do tratamento fosse incluída.
O aprendizado de ciência deve ser desburocratizado e divertido, o que desperta enorme interesse da comunidade biomédica. Mas devemos sempre nos perguntar: qual a mensagem implícita na caricatura? Assim começa a análise crítica de um estudo caricatural.
https://en.m.wikipedia.org/wiki/Thought_experiment
ResponderExcluirExcelente professor. Eu mesmo já tinha recebido esse questionamento sobre o referido estudo e agora já tenho uma ótima reflexão pra encaminhar para os colegas.
ResponderExcluirPrezado Dr uis, os amrericanos e bretões são meio bizarros quanto a esse hábito de, de vez em quando, publicar DIS-CIÊNCIA de propósito.
ResponderExcluirOlhando o summary, eu percebo de outra forma:
"Objective. To determine if using a parachute prevents death or major traumatic injury when jumping from an aircraft."
- Uma questão metodologicamente (deliberadamente) mal pensada, pois não estabeleceu um parâmetro essencial para o fenômeno (a distância de queda). Aqui eu normalmente pararia a leitura.
"Intervention: Jumping from an aircraft (airplane or helicopter) with a parachute versus an empty backpack (unblinded)."
- Correspondemente à questão, a intervenção planejada é falha. Intencionalmente, pois, ninguém em bom juízo estabeleceria uma pergunta como esta, por exemplo, estipulando voo em alta altitude. Aqui, ao meu ver, mostra-se que os elaboradores do ensaio introduziram um viés intencional, um engodo mesmo, e portanto descreveram o fenômeno observado de maneira imperfeita.
"Conclusions: Parachute use did not reduce death or major traumatic injury when jumping from aircraft in the first randomized evaluation of this intervention. (...)
- A única resposta que se poderia esperar à pergunta metodológica realizada.
(...) However, the trial was only able to enroll participants on small stationary aircraft on the ground, suggesting cautious extrapolation to high altitude jumps. (...)
- Aqui finalmente o autor assume a deficiência metodológica do estudo (e o viés que ele mesmo planejou).
"(...) When beliefs regarding the effectiveness of an intervention exist in the community, randomized trials might selectively enroll individuals with a lower perceived likelihood of benefit, thus diminishing the applicability of the results to clinical practice." (...)
- Com todo o viés proposital do estudo, e assuminddo suas falhas, ele "tenta tirar uma conclusão válida". Essa era realmente sua intenção todo o tempo. Mas essa conclusão obviamente não pode seer tirada a partir dos dados esstudados. Começou com uma falácia, e terminou com outra.
Em outras palavras, eu chamaria isso: "garbage in, garbage out", ou pra parecer mais culto, o velho "reductio ad absurdum" ("redução ao absurdo"). Aqui usado com uma sequencia de falácias metodológicas.
Da forma que eu vejo, quem "elaborou" o estudo na prática acaba mostrando uma situação de "vested bias" em que um determinado grupo (poderia ser, por exemplo, uma industria da Saúde) elabora um estudo "mock" ou falso, seja para "desprovar" algum argumento da concorrência ou incutir na mente dos incautos (por análise incompleta) uma inverdade.
Talvez seja esse o alvo da brincadeira; senão, foi onde acertaram.
O pensamento da aceitação das notícias e estudos hoje em dia, como citado pelo texto e traçado em paralelo com o artigo da Science, e nos muros que são levantados entre fake vs. true news, ou outros tipos de estudos se pensarmos do lado científico, me fizeram lembrar de Richard Thaler que, com maestria, explica os inúmeros “nudges” - ou empurrões - aos quais somos diaria e inconscientemente submetidos. Não digo nem quero estabelecer necessariamente uma relação direta entre o estudo do paraquedas e a arquitetura das escolhas (“nudging”), mas fazer refletir em todo um sistema behaviorista que abarca tudo isso. As caricaturas existem, são culturais e não irão se desfazer. Deixar seduzir, ganhar notoriedade, imergir no viés, ou como queiramos chamar, dessas piadas, reflete muito do nosso potencial mental: uma grande máquina com uma plasticidade absurda que, metaforicamente, vai da auto-sabotagem e produção de um grande novelo emaranhado de vieses até a potencial construção de circuitos e mecanismos mentais difíceis de corromper. Atentemo-nos.
ResponderExcluirAcho que a ideia do artigo foi chamar a atenção para uma leitura atenta dos artigos e não só dos títulos e abstracts, só isso ! Não vi toda essa teoria da conspiração complexa para implantar no nosso subconsciente falácias sobre estudos clínicos!
ResponderExcluirAcho que Dr. Luís viajou longe aí... eu fui mais bem mais raso... acho que o artigo nos mandou uma boa mensagem sim ! Perdoem
Minha ignorância e simplicidade... mas achei que alguém deveria simplesmente dizer: “o rei está nu”
Questões logísticas, éticas ou financeiras impedem certos estudos, o que representa um limite para a ciência. No caso, pular de um avião no solo é mais seguro, sensato e ético do que pular dele a 2000 metros, ainda mais sem saber se há um paraquedas na mochila. Isso, aliás, é roleta russa, é crime e é um dos motivos para a existência dos conselhos de ética avaliarem as condições do estudo. Curiosamente, a morte por queda de grandes alturas é determinada por estudos observacionais de menor força de evidência. Não há, portanto, do ponto de vista das melhores evidências, nenhum estudo duplo cego, randômico, cruzado, multicênttico, contraplacebo, com correção estatística, publicado em revistas de ponta e revisado por pares para se determinar com certeza científica se a morte ocorre ao pular de 2000 metros sem paraquedas. Em outras palavras, certos aspectos da realidade, muitos deles evidentes, não podem ou não devem ser estudados por esse tipo de delineamento, cabendo essa tarefa a outras faixas de pesquisa, consideradas obsoletas até porque o mapa não é o território.
ResponderExcluir