SCOT-HEART: desfecho secundário travestido de primário

A leitura de um trabalho científico deve envolver um domínio além do artigo científico, abrangendo o ecossistema que envolve a criação da ideia, definição do protocolo e aceitação dos resultados pela comunidade. A leitura do trabalho não começa, nem termina no artigo final.

Em uma recente postagem de grande impacto, provocamos a reflexão a respeito da “fake news científica” contida do ensaio clínico SCOT-HEART, a partir da leitura do artigo científico. Nesta portagem abordaremos o antes e o depois. 

Nas discussões de artigo de nosso Hospital utilizamos uma metodologia peculiar em vários aspectos. Um destes aspectos é a orientação para que nosso residente sistematicamente acesse o clinicaltrial.gov e procure inconsistências entre o protocolo definido a priori e o que está no artigo publicado. Neste momento, estamos avaliando o ecossistema prévio ao artigo.

Foi quando João Menezes, nosso residente que apresentaria o SCOT-HEART, nos veio com mais uma surpresa a respeito deste trabalho: o desfecho primário relatado na publicação do NEJM na verdade era um dos muitos desfechos secundários, exemplificando “a mágica transformação de um desfecho secundário em primário”.

A Transformação

A integridade científica de um estudo depende da definição a priori do plano de análise de dados. Este método serve para evitar a multiplicidade de testes que aumenta a probabilidade do erro tipo I (afirmar algo falso = fake news). Neste contexto, é essencial a definição do desfecho primário do trabalho, que deverá nortear a conclusão, independente do resultado de desfechos secundários que podem sofrer do problema das múltiplas comparações (abordado tecnicamente em postagem deste Blog - 2016). 

Pois bem, a publicação do SCOT-HEART no NEJM claramente define que o desfecho primário do estudo seria o combinado de morte cardiovascular e infarto não fatal em seguimento de 5 anos.

“The primary end point was death from coronary heart disease or nonfatal myocardial infarction at 5 years.”

E na parte de cálculo amostral, os autores reforçam: 

“our pre-especified primary long-term end point was the proportion of patients who died from coronary heart disease or had a nonfatal myocardial infarction at 5 years.”

Vamos agora ao ecossistema prévio ao artigo. Como sabemos, autores devem registrar o protocolo de qualquer ensaio clínico antes de sua realização e isso normalmente se faz no clinicaltrials.gov. 

Ao checar o protocolo do estudo no clinicaltrials.gov, João percebeu que o desfecho primário descrito no NEJM não era o verdadeiro desfecho primário! Como em um passe de mágica, um desfecho antes secundário foi transformado em primário na descrição do artigo final. 

Na verdade, este estudo foi originalmente desenhado para avaliar a proporção de pacientes que receberam diagnóstico de doença coronariana, comparando tomografia versus estratégia controle.  Esta proporção foi o desfecho primário pré-definido pelo estudo. 

Já os desfechos secundários foram divididos em 5 domínios (sintomas, diagnóstico, investigações adicionais, tratamento implementado, desfechos clínicos no longo prazo). No domínio de desfechos  clínicos, foram descritos 9 desfechos secundários, dentre os quais está o desfecho “morte cardiovascular e infarto não fatal”, descrito agora como primário no artigo do NEJM. 

Vejam a descrição dos desfechos clínicos secundários, tal como colocado no clinicaltrials.gov e no artigo do Trials que descreve o desenho do estudo em 2012:

1. Cardiovascular death or non-fatal Myocardial Infarction (MI) (ii) Cardiovascular death (iii) Non-fatal MI (iv) Cardiovascular death, non-fatal MI or non-fatal stroke (v) Non-fatal stroke (vi) All-cause death (vii) Coronary revascularisation; percutaneous coronary intervention or coronary artery bypass graft surgery (viii) Hospitalisation for chest pain including acute coronary syndromes and non-coronary chest pain (ix) Hospitalisation for cardiovascular disease including coronary artery disease, cerebrovascular disease and peripheral arterial disease.

Para complicar ainda mais, os desfechos clínicos foram pré-definidos para ser avaliados em seguimento de 10 anos e o artigo descreve o seguimento de 5 anos. Assim, a definição de 5 anos não foi a priori. A rigor, estamos diante de um desfecho secundário definido a posteriori (análise post-hoc). E isso não é apenas semântica, pois na ausência de definição de quando o desfecho deve ser avaliado, podemos testá-lo ano a ano, esperando que o acaso nos presenteie com um resultado positivo em algum momento. No momento em que o autor é presenteado pelo acaso, este pode preparar um abstract e submeter a um importante congresso internacional. Não estou dizendo que assim foi feito, estou apenas mostrando como pode ser feito com desfechos post-hoc.

Desta forma, estamos diante de um grave problema das múltiplas comparações, que pode se computado da seguinte forma:

Considerando o alfa de 5%, se a hipótese nula for verdadeira (grupo tomografia = grupo controle), a probabilidade de aparecer um resultado falso-positivo em um desfecho primário único é 5%. No entanto, estamos fazendo 9 tentativas secundárias de obter um resultado positivo. Se cada uma destas tentativas possui 5% de probabilidade de um resultado falso-positivo, a probabilidade de um resultado falso positivo aparecer em alguma das tentativas é  1 – 0.95^k, sendo K o número de tentativas. Desta forma, a probabilidade de algum destes desfechos secundários se mostrar falso-positivo é 36%. Muito maior do que os 5% se estivéssemos analisando um único desfecho primário.

Para agravar, o poder estatístico do SCOT-HEART, após correção para a incidência do desfecho é de apenas 27%, como comentamos em postagem anterior. Temos então dois mecanismos de fabricação aleatória de um falso-positivo: os múltiplos desfechos testados e um estudo que carece de poder estatístico. Desta forma, a probabilidade de falso-positivo se torna maior do que 36%. Em terceiro lugar, se consideramos o risco de viés de mensuração do desfecho (averiguados por registros clínicos de prontuário eletrônico, não adjudicados), o SCOT-HEART é uma máquina aleatória e sistemática de gerar resultados falsos. 

Esta é mais uma explicação para a inverossímil redução relativa do hazard de 41% na incidência do desfecho combinado de infarto e morte cardiovascular em 5 anos de seguimento após a realização da angiotomografia de coronárias. Como comentamos no artigo anterior, a prevenção de um desfecho clínico pela realização de um exame depende de três probabilidades condicionais (P de achado anormal x P de mudança de conduta x P de benefício da conduta), diferente da probabilidade de benefício de um tratamento que tem apenas um componente. 

Desta forma, é bom demais para ser verdade que a realização de um exame promova um benefício com a magnitude usual de bons tratamentos, que varia de 20% a 40%. Aqui nos referimos a redução relativa, pois esta descreve o “tamanho de efeito” intrínseco de uma conduta, que não varia com risco absoluto.

Dois Escândalos

É escandaloso os autores descreverem como desfecho primário uma desfecho que foi pré-definido como secundário. Isso mostra a falta de integridade científica nos bastidores deste trabalho. 

Talvez mais escandaloso seja a aceitação deste artigo por parte da comunidade médica, que parecia comemorar o resultado do trabalho, apresentado com destaque no Congresso Europeu de Cardiologia em Munique.

Problemas de integridade científica não pertencem a um indivíduo moralmente defeituoso. Falta de integridade científica decorre de um ecossistema defeituoso, passando pelos produtores da pesquisa, pelos editores e revisores e pelos que lêem o artigo sem a visão crítica necessária. 

Mas como explicar que uma série de pessoas possam cometer erros em sequência sem que haja uma conspiração?

O Viés de Legião

Originalmente, poderíamos julgar muito estranho que milhares de cardiologistas assistindo simultaneamente à apresentação do estudo concordem com um resultado falso. Será que a “legião” de médicos favoráveis ao resultado do artigo não seria uma evidência a favor da veracidade?

Vale a pena remontar às observação do médico e estatístico sueco Hans Rosling, que ficou  famoso por suas palestras no TED, em que usava gráficos estatísticos dinâmicos para demonstrar como a maioria das pessoas se equivoca quanto a fatos importantes da vida. 

Rosling costumava fazer perguntas deste tipo a uma legião de intelectuais: "quantas crianças de países de baixo nível sócio-econômico possuem ensino básico? 20%, 40% ou 60%?". A resposta certa é 60%, mas apenas 7% dos intelectuais respondiam correto. A maioria marcava 20%. Observem que se perguntássemos a um macaco qual a alternativa correta, este acertaria 33% das vezes. Por que os homens acertam apenas 7%? A resposta está em nosso viés de positividade. Nós tentemos a acreditar no resultado mais significativo (mais positivo), seja quando estamos falando de um fator de risco, seja no benefício de uma conduta. Nossa mente tem um tropismo por maior contraste, assim tentemos a acreditar em resultados extremos demais para serem verdade. 

E isso é um fenômeno coletivo, criando uma legião de crentes no resultado mais significativo. O imenso número de pessoas pensando da mesma forma, reforça a crença dos participantes da legião. É o viés de legião.

O problema se agrava quando somos médicos especialistas, entusiasmados com nossas ferramentas tecnológicas. Isso justifica termos acreditado tanto nos estudos pequenos e enviesados da hipotermia pós-parada e beta-bloqueador da cirurgia não cardíaca, que viraram recomendações de guidelines, ou na terapia de reposição hormonal dos estudos observacionais (assuntos antigos do Blog). O mesmo ocorre agora com o SCOT-HEART, que ao ser apresentado com glamour no congresso europeu criou sua própria legião de crentes.

Os Vieses da Novidade, Positivismo e Confirmação

O SCOT-HEART é o estudo mais recente, portanto surge como uma novidade que traz evolução do conhecimento. No entanto, já havia um outro estudo publicado anos antes. Trata-se do estudo PROMISE: estudo maior (10.000 pacientes), desfecho verdadeiramente primário, definido a priori, com follow-up para avaliação de desfechos, adjudicados.  Ou seja, o PROMISE é um estudo de qualidade imensamente superior ao SCOT-HEART. E seu resultado foi negativo.  

Por que então preferimos acreditar na evidência positiva de má qualidade do que na evidência negativa de boa qualidade? Pois nossa mente tem tropismo pelo positivo (viés do positivismo) e pelo novo (viés da novidade). Assim, utilizamos o viés de confirmação (selecionamos evidências positivas e desconsideramos as negativas) para reforçar nossa crença. 

Esta análise demostra que ao considerar os vieses cognitivos da mente biológica, não precisamos da indelicadeza de mencionar conflitos de interesses que também podem mover as legiões de crentes. 

O Rei que Estava Nu

Conta a estória de Hans Christian Andersen (1937) que um rei muito vaidoso encomendou de dois alfaiates uma roupa sem precedentes, tão original que nunca alguém tivesse vestido igual. Na impossibilidade de concretizar o desejo do rei, os alfaiates idealizaram uma roupa imaginária, que diziam ser invisível aos olhos de pessoas estúpidas. O próprio rei, ao experimentar a roupa, não conseguiu visualizá-la no espelho, porém fingiu que estava vendo para não parecer estúpido. Da mesma forma, todas as pessoas percebiam que o rei estava nu, porém ninguém lhe chamava a atenção pelo receio de serem consideradas estúpidas. E assim o rei passou boa parte de seu reinado nu, exposto ao ridículo. O medo de parecer estúpido fazia com que as pessoas aceitassem o inverossímil. De fato, muitos acreditavam que estavam vendo a roupa, pois queriam acreditar não ser estúpidos.

Essa estória retrata o mecanismo pelo qual alguns mitos perduram na medicina.

Um belo dia, durante um importante desfile em praça pública, ao ver o rei passar com a suposta roupa, uma criança gritou: o rei está nu! Essa criança desmascarou a farsa criada pelos alfaiates, constrangeu o rei, e principalmente os súditos que acreditaram na mentira ou ficaram com vergonha de discordar. 

Alguns interpretam que foi a inocência da criança que permitiu sua observação. Na verdade, reza a lenda que essa era uma daquelas crianças meio maliciosas. Neste caso, a diferença entre criança e adulto foi a coragem de reconhecer a verdade e discordar da legião de fanáticos. 

Que o SCOT-HEART nos sirva de alerta para os múltiplos vieses que nos afastam da integridade científica. Alerta para o prevalente fenômeno de “fake-news científica”. 

Qual o significado de "fake news científica"?

Informações incorretas sempre existiram. Ao se tornar um termo popular, a expressão "fake news" passou a alertar pessoas e promoveu um útil ceticismo, o que não é natural da mente humana.

A mente humana evoluiu de forma crente por 200.000 anos. De fato, a psicologia evolucionista sugere que nossa capacidade única de fantasiar fenômenos abstratos foi responsável pela sobrevivência da espécie sapiens.

Como Francis Bacon declarou certa vez, "a mente humana é mais excitada por afirmativas do que por negativas". E isto foi recentemente demonstrado no tweeter e publicado na Science: "fake news spread faster than true news".

Embora tenhamos evoluído tecnologicamente e a ciência esteja no centro dessa evolução, a mente humana não teve tempo suficiente para evoluir da fantasia para o ceticismo. Os últimos 500 anos não foram suficientes para superar 200.000 anos de evolução. Biologicamente, somos crentes.

A raiz do pensamento científico é o ceticismo. Na ciência, devemos ter um método para superar nossa predisposição a acreditar. Este método é chamado de hipótese nula: começamos por não acreditar e apenas mudamos para a alternativa de acreditar depois que fortes evidências rejeitam o nulo. Como esta não é a forma natural do pensar, ser cético é cansativo e às vezes chato.

Isso está no centro de um problema científico: a falta de reprodutibilidade, bem descrita por Ioannidis em seu popular artigo do PLOS One: "most published research findings are false". E nós acreditamos nelas.

O termo "fake news" tornou-se popular há dois anos e serviu como um alerta para as pessoas, antes de se tornar impopular por razões políticas.

Com um entendimento correto de seu significado, o termo "fake news científica" pode ajudar contra o problema da reprodutibilidade científica. Mas primeiro, devemos diferenciar "fake news científica" de "fake news".

A fake news é criada por uma pessoa ou um pequeno grupo de pessoas com interesse comum. A fake news científica é criada por um sistema que é defeituoso: os criadores não estão sozinhos, os revisores, editores, sociedades e leitores têm que aprová-la e espalhar a mensagem com entusiasmo. E eles podem fazer isso com boa intenção. 

Fake news decorre de comportamento pessoal, fake news científica é sistêmica, decorre do comportamento do universo científico.

Na fake news seu criador sabe que a notícia é falsa. Na fake news científica, o criador acredita na mensagem, uma crença reforçada por seu viés de confirmação.

A fake news tem um criador com problema de integridade pessoal. Na fake news científica, o criador sofre de integridade científica, mediada biologicamente por vieses cognitivos.

Fake news não tem evidências empíricas, fake news científica tem evidências experimentais que sugerem credibilidade.

Fake news são facilmente descartadas. Fake news científicas podem levar anos para serem descartadas. São responsáveis pelo fenômeno de "medical reversal", quando a informação inadequada conduz o comportamento médico por anos, apenas para ser revertida depois que uma evidência mais forte aparece. Foi o caso de terapias médicas que foram incorporadas como Xigris para sepse, hipotermia após parada cardíaca, beta-bloqueadores para cirurgia não cardíaca e assim por diante ...

Em seu artigo seminal sobre reversão médica, Vinay Prasad escreveu que "we must raise the bar and before adopting medical technologies".

E a última diferença: Donald Trump adora o termo "fake news", mas não tem a menor ideia do que "scientific fake news" significa.

Bem, não é que as notícias falsas científicas sejam totalmente ingênuas, há também conflito de interesses mediando o fenômeno. Mas o principal conflito vem do viés do positivismo, ou seja, autores, editores ou leitores preferem estudos positivos do que estudos negativos.

Seguindo a descrição dos vieses cognitivos da mente humana de Kahneman e Tversky, Richard Thaler surgiu com a solução para empurrar (nudge) o comportamento humano na direção certa. Nudge significa intervenções inconscientes para mudar comportamento, que poder ser mais eficazes do que argumentos racionais.

Por exemplo, para evitar que as pessoas soneguem nas declarações de impostos, em vez de explicar como é importante pagar impostos, um nudge diria apenas que "a maioria das pessoas preenche suas declarações de forma correta". Foi o mais eficaz para melhorar esse comportamento no Reino Unido.

No caso da ciência, a expressão "fake news" é tão forte que pode atuar como um estímulo à integridade científica. Sim, pode parecer politicamente incorreto, mas é um nudge disruptivo. Não basta ensinar metodologia científica, isso não tem sido suficiente, tal como recentemente mencionado por Marcia Angell, ex-editora do NEJM: "no longer possible to believe much of clinical research published".

Não penso que estamos em uma crise de integridade científica. Na verdade, acho que esse tipo de discussão nunca foi tão prevalente, o que me deixa otimista.

Mas um nudge pode acelerar o processo: antes de ler qualquer artigo, devemos fazer uma avaliação crítica de nossas crenças internas e nos perguntar: neste assunto específico, estou especialmente vulnerável a acreditar em "fake news científica"?

SCOT-HEART: como identificar fake-news científica (pré-leitura e leitura)

Ontem foi apresentado no Congresso Europeu de Cardiologia e simultaneamente publicado no NEJM um ótimo exemplo de fake-news científica, o SCOT-HEART Trial.  

Aproveitarei para mostrar que a leitura do artigo começa antes do processo tradicional. A pré-leitura que nos traz o espírito crítico necessário para o processo de leitura. Na pré-leitura começamos a desenvolver uma visão do todo, como se estivéssemos olhando uma cidade ainda da janela do avião.

Depois pousaremos o avião e iniciaremos a leitura, onde veremos os detalhes. 

A pré-leitura de um artigo é composta de duas perguntas: primeiro, a hipótese faz sentido, este estudo deveria ter sido realizado? (probabilidade pré-teste da ideia = plausibilidade + estudos prévios); segundo, o resultado é bom demais para ser verdade  (tamanho de efeito)?

Na pré-leitura devemos evitar inundar a cabeça de detalhe. Precisamos apenas identificar qual a hipótese testada e qual o resultado principal. Lendo apenas a conclusão do artigo, obtemos essas informações que devem ser acompanhada de uma olhada na linha dos resultados que apresenta os números principais para ter noção do tamanho do efeito (coisa de 30 segundos).

No caso do SCOT-HEART trial:

 "CTA in addition to standard care in patients with stable chest pain resulted in a significantly lower rate of death from coronary heart disease or nonfatal myocardial infarction at 5 years than standard care alone.

The 5-year rate of the primary end point was lower in the CTA group than in the standard-care group (2.3% [48 patients] vs. 3.9% [81 patients]; hazard ratio, 0.59; 95% confidence interval [CI], 0.41 to 0.84; P = 0.004)."

A partir dessas duas sentenças, percebemos a hipótese testada: o uso de tomografia em pacientes com dor torácica estável reduz eventos cardiovasculares. Qual a probabilidade pré-teste desta ideia? 

Há alguma plausibilidade mecanicista na medida em que informações anatômicas podem modificar condutas terapêuticas de médicos e estas modificarem desfechos. Quanto a evidências prévias, o estudo PROMISE randomizou 10.000 pacientes para tomografia versus avaliação não invasiva e foi totalmente negativo quanto a desfechos cardiovasculares. O grupo de comparação do PROMISE não é exatamente o mesmo que o SCOT-HEART, mas indiretamente o resultado daquele estudo modela para menos a probabilidade pré-teste da hipótese do SCOT-HEART ser verdadeira. Sendo assim, eu diria que a probabilidade pré-teste é baixa, porém não é nula, mantendo a aceitabilidade da realização do estudo.

Então vem a segunda pergunta: o tamanho do efeito é bom demais para ser verdade? Observem que a tomografia promoveu 41% de redução relativa do hazard. Essa magnitude de efeito é típica de tratamentos que funcionam. Importante salientar que a magnitude de efeito de um exame será sempre muito menor do que a de um tratamento, pois no primeiro há muito mais etapas entre a interveção e o desfecho. 

No caso de ensaio clínico que testa eficácia da realização de um exame, as seguintes etapas se fazem necessárias antes do benefício ocorrer:

O exame é feito em todos os pacientes - uma parcela deles tem um resultado que pode sugerir ao médico aprimorar o tratamento do paciente - em uma sub-parcela destes pacientes o médico de fato aprimora o tratamento - uma sub-sub-parcela dos pacientes que tiveram o tratamento aprimorado se beneficiam. Sendo assim, devemos esperar que a magnitude do efeito clínico de um exame seja muito menor do que a de um tratamento. 

Desta forma, concluímos que o resultado do SCOT-HEART é bom demais para ser verdade. 

Agora vamos fazer a leitura do artigo, a procura de problemas que justifiquem um achado tão inusitado, 41% de redução relativa do hazard pela realização de um exame. 

O primeiro ponto que chama a atenção foi a mínima a diferença de modificação do tratamento promovido pela realização da tomografia versus o grupo controle. Não houve diferença de procedimento de revascularização. No que tange a terapias preventivas do tipo estatina ou aspirina, a diferença entre os dois grupos foi de apenas 4% (19% versus 15%). 

O N de pacientes do grupo tomografia é 2.073 x 4% de aprimoramento da terapia = o grupo tomografia teve um adicional de 83 pacientes de terapia aprimorada em relação controle. 

O número de eventos prevenidos no grupo tomografia (em relação ao controle) foi 33. 

Sendo assim, o aprimoramento medicamentoso de apenas 83 pacientes preveniu 33 desfechos clínicos. Se fôssemos avaliar o tratamento que foi realizado no final da cascata que apresentei acima,  o NNT seria 2.5. Algo sem precedentes, que quase nenhum tratamento é capaz de promover, quando mais um exame. 

Este é um estudo definitivamente falso. 

A continuidade da leitura servirá para entendermos os mecanismos que geraram este falso resultado. 

"There were no trial-specific visits, and all follow-up information was obtained from data collected routinely by the Information and Statistics Division and the electronic Data Research and In- novation Service of the National Health Service (NHS) Scotland. These data include diagnostic codes from discharge records, which were classified according to the International Classification of Dis- eases, 10th Revision. There was no formal event adjudication, and end points were classified primarily on the basis of diagnostic codes."

Os desfechos foram obtidos pela revisão de prontuários eletrônicos, através do CID e sem auditoria pelos autores. Segundo, o estudo é aberto e viés de aferição do desfecho (ascertainment bias) podem acontecer. Por exemplo, o conhecimento de uma tomografia normal pode influenciar o médico que escreve o CID a interpretar um sintoma como inocente, enquanto em outro paciente do qual não se tem conhecimento da anatomia, um sintoma pode promover dosagem de troponina e conclusão por infarto não fatal. Isso é só uma potencial explicação, que serve de exemplo. 

Na realidade, nunca conseguimos abrir a caixa preta do exato mecanismo que prevaleceu na geração de um viés. Porém devemos ter em mente que a combinação de um estudo aberto com um método pouco acurado de mensuração do desfecho representa alto risco de viés. 

Uma das técnicas para explorar a possibilidade de viés de aferição é comparar o resultado da morte específica (sujeito a viés de aferição - subjetividade) com o resultado da morte por qualquer causa (imune a viés). Mesmo não sendo um desfecho primário ou estatisticamente significante, vale a pena como análise exploratória. É interessante observar que o hazard ratio é 0.46 para morte cardiovascular e 1.02 (totalmente nulo)  para morte geral. Na ausência de aumento substancial de morte não cardiovascular, isso sugere que o estudo é especialmente sujeito a viés de aferição em desfechos subjetivos. 

Mas não ficamos por aqui, este estudo apresenta também alto risco de erro aleatório, pois é subdimensionado para o desfecho clínico. Na verdade, o cálculo da amostra partiu da premissa de 13% de incidência do desfecho no grupo controle, porém ocorreu apenas 3.9%. Pelo meu cálculo, isso reduziu um poder estatístico pretendido de 80% para pífios 27%. Como sabemos, estudos pequenos são muitos mais predispostos a resultados falsos positivos, devido a sua imprecisão.  

Essa imprecisão não só aumenta a probabilidade do erro tipo I, como também incapacita o estudo de medir o tamanho do efeito. Ou seja, 41% de redução relativa do hazard apresentou um intervalo de confiança que variou de 16% a 59%).

Por fim, se considerássemos a informação verdadeira, valeria uma análise de aplicabilidade. A hipótese aqui testada é de caráter pragmático. Ou seja, um intervenção é feita no início, se esperando que na prática (pragmatismo) o médico reaja de uma forma que beneficie o paciente. No entanto, o estudo induziu os médicos ao comportamento preventivo.

"When there was evidence of nonobstructive (10 to 70%) cross-sectional luminal stenosis) or obstructive  coronary artery disease on the CTA, or when a patient had an ASSIGN score of 20 or higher, the attending clinician and primary care physician were prompted by the trial coordinating center to prescribe preventive therapies."

Essa metodologia reduz a validade externa do estudo, pois não sabemos se na ausência desta indução provocada pelo protocolo do estudo, os médicos agiriam da mesa forma preventiva. Caso o benefício fosse verdade, na prática seria de menor magnitude.

É comum estudos de qualidade insuficiente para assegurar a veracidade da informação. Mas o SCOT-HEART vai além: esse é estudo cuja informação é certamente falsa. Um ótimo exemplo de fake news científica.

---------------------------------------------------------------------------------------------------------------------

Conheça nosso curso online de medicina baseada em evidências, clicando aqui.

Dear Aseem: nutrition has hijacked evidence-based medicine

My friend Aseem, 

early this morning you shared with me a sensationalistic news of a “Harvard professor” claiming that coconut oil is poison, and my first reaction was “let me look at the evidence, I know nothing about this oil”. Actually, I'm too lazy to look for this evidence. I already know the answer: coconut oil does not matter; neither for good, nor for bad. 

Apart from eating enough calories to become obese or drink alcohol pathologically, food specifics should not be a major cardiovascular concern. Specially coconut. In a scientific sense, the value of food is overestimated. It usually happens with medical opinion: we tend to overestimate the value of beneficial interventions or the harmful effect of risk factors (JAMA Internal Medicine). That’s how the human mind evolved, not much calibrated for “value”. I think it happened with the so called "Harvard professor".

Quality scientific research either fail to show specific dieting effects on clinical outcomes or show very small effects. In a peculiar systematic review from Ioannidis exploring the tiniest effect sizes in literature, nutrition was the field most prevalent; second, when randomised trials adjust for calorie intake and confounding variables, the type of diet does not show much impact on weight or clinical outcomes (PLOS ONE systematic review). The DIETFITS trial recently published in JAMA is one example of such evidence.

So we should not invest our time discussing efficacy of diets, meaning an explanatory concept or intrinsic property.

I know, it seems frustrating, skepticism is boring. By I am not a boring skeptical. I just found a solution to make dieting an interesting issue again: Aseem, let’s shift the discussion to effectiveness.

Efficacy is tested by randomized trials, in which allocation for intervention takes nothing into account (it is random). Thus, a randomized trial does not evaluate the effect of preferences on outcomes, it is a pure explanatory concept.

In the real word, preferences may be taken into account for dieting decision. In this circumstances, if preference and choice match, effectiveness tend to be superior to efficacy, because patients get motivated to perform well with the intervention they prefer. Thus, if a type of diet is an easier match with general preferences, it should be a more effective diet. 

For example, in my non-scientific experience, I have a sense that people on low-carb diets are happier with the experience and results obtained, as compared with other diets. I claim the test of this hypothesis should be pursued. Studies should be planned to test effectiveness. 

Here are some ideas:

• Pragmatic randomized trials, in which just a general recommendation is given and we let people develop their eating habit, their meals in a pragmatic way. Just like a long-term diet takes place in the real world (habit). In this pragmatic circumstance, I suspect a low-carb individual will eat less calories, are happier, lose more weight.

• Observational studies with statistical adjustment for outcome predisposition, as opposed to propensity scores. The traditional propensity score should not be utilised for the test of effectiveness, because it adjust for the very preference that will improve result in a preference-matched choice. Observational studies lose opportunity to test effectiveness by focusing on the non-sense of pursing efficacy of life-style by adjusting for propensity.

• Cross-over studies, to measure the outcome happiness at the end of each intervention. Happiness improves effectiveness and if people are happier with a certain diet, the result will be better.  

Science is more about the right question as opposed to a platonic answer. Sometimes we ask the wrong questions in unfruitful debates. 

I am glad that you woke me up (considering our time difference) with your provocation on coconut oil. I know that, as a cardiologist, your concern is not coconut oil (maybe as a chef it is). You are really concerned with the “miscarriage of science” performed by fake scientific news of this type. To say that any specific food is poison is non-scientific. To use the title of a “Harvard professor” to make such a statement is a good example of eminence-based medicine, as opposed to evidence-based medicine. 

I think advocates should have a role to use the dieting issue to clarify the different values of these two complementary concepts: efficacy and effectiveness. The important issue here is science, not coconut oil.

Meanwhile, I have to confess: personally, I love the subject of dieting and I have my own preferences. Professionally, I should stick with evidence. We need effectiveness evidence. 

Simpósio do Centro de Medicina Baseada em Evidência - BAHIANA

Ozonioterapia e as oxigenações indevidas de condutas médicas

Ozonioterapia foi assunto de destaque na semana passada, provocado por reportagem do Fantástico. Fantástico está no seu papel de transformar fatos cotidianos em coisas sensacionais. Porém o sensacionalismo específico pode deixar nublada a visão geral. Focamos tanto em uma árvore, que perdemos a noção da floresta. 

Ozonioterapia não é uma distorção em meio a uma medicina rigorosamente científica. A oxigenação de condutas fúteis é um fenômeno comum, de alta prevalência, tanto em terapias alternativas, como na medicina tradicional do ocidente. 

Focar a discussão em casos caricaturais, sob a forma de "escândalo", pode gerar a impressão de algo inusitado. Mas esta história não tem nada de inusitada em se tratando de medicina. Precisamos evitar uma discussão maniqueísta, entender posturas fantasiosas como fenômenos sociais, dialogar com a sociedade a fim de promover alfabetização científica. Nosso problema não é apenas ozonioterapia.

Dito isso, vamos ao assunto específico, pois o caricatural também é interessante. 

Nesta postagem, revisarei as evidências sobre ozonioterapia, colocando este tratamento no patamar de suas evidências. Em seguida, ampliaremos a discussão de como lidar com essas questões. Por fim, discutiremos: dentre o manancial de condutas médicas fantasiosas, desde homeopatia a angioplastia coronária em pessoas assintomáticas, qual a relevância da ozonioterapia. 

No último domingo, a reportagem do Fantástico. Na terça, o Conselho Federal de Medicina publicou no Diário Oficial que considera a ozonioterapia um procedimento experimental. Por outro lado, o senado aprovou o projeto de lei autorizando a prescrição de ozonioterapia em todo território nacional e o SUS incluiu este tratamento no rol de práticas integrativas. 

Quem está certo?

Em postagem recente coloquei que talvez pudéssemos considerar práticas integrativas que oferecem efeito benéfico simultâneo (bem estar), pois esta característica dispensa evidências probabilísticas do impacto da conduta. Desde que não substituíssem coisas importantes e o custo fosse aceitável. Este não é o caso da ozonioterapia, que se propõe a oferecer impacto em desfechos futuros (melhora de dor, cicatrização de feridas). Sendo assim, ozonioterapia requer evidências empíricas de seu benefício.

A princípio me parece coerente o posicionamento do Fantástico e do CFM contra a ozonioterapia. Por outro lado, devo reconhecer que essa minha percepção decorre do meu viés do ceticismo, que me faz encarar ozonioterapia como fantasia, antes mesmo de analisar as evidências. Por enquanto, eu tenho apenas uma crença de que ozonioterapia é uma conduta inadequada. Devo, portanto, controlar meu preconceito, dar alguns passos atrás e tentar analisar evidências externas sem influência das minhas evidências internas (crenças).

O nível de evidência da ozonioterapia

Foi ao PUBMED ... acrônimo PICO …

Ao saber que ozonioterapia "serve para tudo" não usei a palavra-chave de P (população), pois todas as populações de doenças poderiam receber essa terapia, como acontece com muitas condutas pseudocientíficas. Também dispensei a palavra-chave de O (outcome), pois se não estou restringindo a doença, fica difícil restringir o desfecho da doença. Assim, minha pesquisa no PUBMED foi baseada apenas na palavra-chave que definia I de intervenção: “ozone therapy" ou simplesmente “ozone”. Ao restringir esta pesquisa ao título, o PUBMED retornou 8.825 artigos.

Em seguida, restringi a pesquisa a Clinical Trials, pois são os ensaios clínicos que testam a eficácia questionada pelo Fantástico. Aparecem 254 ensaios clínicos publicados em revistas indexadas no PUBMED. 

Achei estranho que o Conselho Federal de Medicina afirma no seu portal que a "Comissão para Avaliação de Novos Procedimentos em Medicina avaliou mais de 26.000 trabalhos sobre o tema".  Mesmo que eu não tenha pesquisado em todas as bases de dados que contém revistas de menor impacto, 26.000 é muito diferente que 254. Ao pesquisar “aspirina” no título de qualquer tipo de artigo, PUBMED me retornou 16.000. Será que tem mais trabalho com ozonioterapia do que com aspirina?

Mas vamos voltar ao que importa. Uma leitura rápida do título dos 254 artigos me trouxe insights interessantes: um bom número de estudos contém no título a expressão “ensaio clínico randomizado, duplo cego” e há revistas de alto impacto publicando sobre o assunto, tais como PLOSONE, J Applied Phyisiology, Chest. Não parece ser aquele tipo de assunto publicado apenas em revistas pseudocientíficas. Os cenários clínicos mais abordados pelos artigos são de odontologia, doenças reumáticas, feridas em membros inferiores e alergia. 

Qual a qualidade destes estudos?

Prosseguindo na revisão, seria impossível ler todos os 256 trabalhos. Mas existem as revisões sistemáticas da literatura, que se bem feitas nos dão noção da totalidade das evidências. Assim, restringi minha pesquisa a Systematic Reviews, resultando em 5 artigos. 

Todas as 5 revisões sistemáticas concluem que não há comprovação da eficácia da ozonioterapia. Três revisões são taxativas quanto ao baixo nível de evidência dos poucos trabalhos existentes e não sugerem qualquer tendência. E duas revisões sugerem um benefício na conclusão (forçado), mas reconhecem que mais estudos são necessários para confirmar. 

Merecem destaque duas revisões da Cochrane, uma sobre úlceras de membros inferiores e outra sobre prevenção de cáries. Ambas encontraram apenas poucos trabalhos, pequenos, de baixa qualidade, que não devem influenciar nosso pensamento.

Desta forma, tirei duas conclusões de minha revisão: o assunto é encarado pela comunidade científica como uma terapia que merece o benefício da dúvida, justificando a existência de linhas de pesquisa e trabalhos publicados em boas revistas. Segundo, diferentemente de outras áreas em que há trabalhos de qualidade para influenciar nosso pensamento, este é o caso em que ainda não há evidências suficientes para aumentar, nem evidências que reduzam a probabilidade da terapia ser eficaz. 

Ozonioterapia é diferente de homeopatia. No primeiro, dados empíricos poucos nos informam. No segundo, há estudos de boa qualidade que sugerem ausência de benefício além do placebo.

Ozonioterapia também é diferente de condutas médicas tradicionais em que as evidências de boa qualidade sugerem ausência de benefício e por vezes algum malefício, porém continuam enraizadas: angioplastia coronária em assintomáticos, rastreamento de câncer de próstata, reposição de vitamina D. 

Por exemplo, para falar de minha especialidade. Como cardiologista, sou entusiasta de um tratamento que desobstrui coronárias sem necessidade de uma traumática cirurgia (angioplastia). Porém a má indicação faz de uma conduta verdadeiramente eficaz nas situações certas se tornar um tratamento fantasioso para situações inadequadas. Estatísticas americanas mostram que apenas metade das angioplastias eletivas são claramente apropriadas. Boa parte são realizadas em pacientes estáveis (não reduz desfechos) e assintomáticos (não melhoram sintomas, pois estes não existem). Este é um tipo de situação também fantasioso, porém mais difícil de entender como fantasioso. 

Embora não existam trabalhos capazes de influenciar nosso pensamento (nem para mais, nem para menos) quanto à ozonioterapia, a probalidade pré-teste deste tratamento ser eficaz é muito pequena, o que faz da probabilidade pós-teste mais baixa do que a angioplastia coronária, que começa com uma plausibilidade muito maior. Por outro lado, homeopatia tem probabilidade pré-teste muito baixa e estudos negativos, terminando na probabilidade pós-teste mais baixa do que ozonioterapia. 

Dentro de um espectro de coisas que não funcionam, ozonioterapia está entre homeopatia e angioplastia. No extremo inferior, homeopatia tem probabilidade pré-teste baixa e testes negativos. No extremo superior, angioplastia tem probabilidade pré-teste alta e testes negativos. E no meio está ozonioterapia com probabilidade pré-teste baixa e sem testes que mudem essa probabilidade. Essa é uma análise espectral bayesiana. 

O que significa experimental?

O CRM definiu ozonioterapia como experimental, dando a conotação de que não há comprovação científica. Corretíssimo com base em nossa revisão. Mas aí surge uma questão: o que é experimental?

Não ter comprovação científica é uma condição suficiente para uma conduta ganhar o rótulo de experimental? Se fosse assim, pintar o cabelo de azul em novembro para prevenir câncer de próstata seria uma conduta experimental. 

“Experimental” é um termo lacônico, não ajuda a população entender o nível de evidência a respeito de alguma coisa. Temo que para alguns o “experimental” conote algo promissor, que frente a uma situação em que o tradicional não funcionou, possa ser uma opção. 

Proponho que o termo "experimental" seja usado para condutas não comprovadas, porém com probabilidade pré-teste alta, uma boa dose de plausibilidade biológica e com trabalhos iniciais promissores. 

Ao dialogar com a população sobre esses assuntos, devemos ser claros e aproveitar para gerar uma cultura científica. Eu publicaria que não há estudos de qualidade sobre ozonioterapia. Não se pode concluir nada do ponto de vista empírico. A luz do conhecimento atual, qualquer ozonioterapia estaria sendo implementada com base em crença.

Por que justamente ozonioterapia?

Compreendo que ozonioterapia seja uma reportagem mais sensacionalista e fácil para ilustrar pseudociência em um programa como o Fantástico. Afinal, não é tão fácil de explicar porque exame de próstata não previne morte por câncer ou porque desentupir uma obstrução estável não traz benefícios em desfechos cardiovasculares maiores. Portanto, entendo os editores do Fantástico, afinal este é um programa feito para ser fantástico.

Mais difícil de compreender (ou concordar) é porque a comunidade médica escolhe seletivamente o que  considerar pseudocientífico. Esta seletividade não contribui verdadeiramente para a alfabetização científica da população.

Por que atacamos ozonioterapia e nos fantasiamos de científicos em outros tratamentos fúteis, alguns mais agressivos do que água ozonizada. Ou por que o CRM se posiciona contra ozonioterapia e ao mesmo tempo reconhece como especialidade médica a prática de oferecer soluções hiper diluídas (a ponto de não sobrar nenhuma molécula) sob a premissa de benefício futuro, sem demonstração de benefício em trabalhos com alto nível de evidência?

A discussão sobre uma fantasia específica que não faz parte nossa prática clínica deve servir de estímulo para avaliarmos nossas próprias práticas. Cada um de nós, em nossas próprias especialidades, deve fazer um exercício autocrítico. Quando estamos fantasiando os benefícios de exames de rastreamento, superestimando o benefício de tratamentos, sem levar em conta o custo ao paciente, prognosticando as coisas de forma tendenciosa e univariada? O anticientífico permeia todas as áreas, em inúmeras situações. 

O que seria pior, rastrear câncer de próstata, não salvar vidas e provocar impotências e incontinências? Realizar angioplastia coronária em situação inapropriada? Submeter o paciente a uma sessão fútil de quimioterapia, mas de alto custo? Ou tratar qualquer coisa com água ozonizada? É difícil dizer o que é pior.

Há argumentos de que terapias alternativas fazem pessoas deixar de realizar terapias tradicionais. Eu gostaria de ver evidências epidemiológicas do fenômeno da troca de terapias importantes por ozonioterapia. Estes são casos anedóticos ou temos evidências epidemiológicas de uma prevalência substancial do problema?

Medicina tem muito de pseudocientífico e isso não ocorre apenas nas terapias complementares, alternativas ou integrativas, como a homeopatia ou ozonioterapia. Isso ocorre com condutas sofisticadas, como rotinas cardiológicas ou oncológicas, para falar nos dois principais grupos de doenças no mundo civilizado.

Ozonioterapia é um pseudocientífico caricatural. Temo que a atenção demasiada no caricatural ofusque um fenômeno mais amplo e normalize nossas tradicionais terapias oxigenadas e disfarçadas de científicas. 

---------------------------------------------------------------------------------------------------------------------

Conheça nosso curso online de medicina baseada em evidências, clicando aqui.