SCOT-HEART: desfecho secundário travestido de primário

A leitura de um trabalho científico deve envolver um domínio além do artigo científico, abrangendo o ecossistema que envolve a criação da ideia, definição do protocolo e aceitação dos resultados pela comunidade. A leitura do trabalho não começa, nem termina no artigo final.

Em uma recente postagem de grande impacto, provocamos a reflexão a respeito da “fake news científica” contida do ensaio clínico SCOT-HEART, a partir da leitura do artigo científico. Nesta portagem abordaremos o antes e o depois. 

Nas discussões de artigo de nosso Hospital utilizamos uma metodologia peculiar em vários aspectos. Um destes aspectos é a orientação para que nosso residente sistematicamente acesse o clinicaltrial.gov e procure inconsistências entre o protocolo definido a priori e o que está no artigo publicado. Neste momento, estamos avaliando o ecossistema prévio ao artigo.

Foi quando João Menezes, nosso residente que apresentaria o SCOT-HEART, nos veio com mais uma surpresa a respeito deste trabalho: o desfecho primário relatado na publicação do NEJM na verdade era um dos muitos desfechos secundários, exemplificando “a mágica transformação de um desfecho secundário em primário”.

A Transformação

A integridade científica de um estudo depende da definição a priori do plano de análise de dados. Este método serve para evitar a multiplicidade de testes que aumenta a probabilidade do erro tipo I (afirmar algo falso = fake news). Neste contexto, é essencial a definição do desfecho primário do trabalho, que deverá nortear a conclusão, independente do resultado de desfechos secundários que podem sofrer do problema das múltiplas comparações (abordado tecnicamente em postagem deste Blog - 2016). 

Pois bem, a publicação do SCOT-HEART no NEJM claramente define que o desfecho primário do estudo seria o combinado de morte cardiovascular e infarto não fatal em seguimento de 5 anos.

“The primary end point was death from coronary heart disease or nonfatal myocardial infarction at 5 years.”

E na parte de cálculo amostral, os autores reforçam: 

“our pre-especified primary long-term end point was the proportion of patients who died from coronary heart disease or had a nonfatal myocardial infarction at 5 years.”

Vamos agora ao ecossistema prévio ao artigo. Como sabemos, autores devem registrar o protocolo de qualquer ensaio clínico antes de sua realização e isso normalmente se faz no clinicaltrials.gov. 

Ao checar o protocolo do estudo no clinicaltrials.gov, João percebeu que o desfecho primário descrito no NEJM não era o verdadeiro desfecho primário! Como em um passe de mágica, um desfecho antes secundário foi transformado em primário na descrição do artigo final. 

Na verdade, este estudo foi originalmente desenhado para avaliar a proporção de pacientes que receberam diagnóstico de doença coronariana, comparando tomografia versus estratégia controle.  Esta proporção foi o desfecho primário pré-definido pelo estudo. 

Já os desfechos secundários foram divididos em 5 domínios (sintomas, diagnóstico, investigações adicionais, tratamento implementado, desfechos clínicos no longo prazo). No domínio de desfechos  clínicos, foram descritos 9 desfechos secundários, dentre os quais está o desfecho “morte cardiovascular e infarto não fatal”, descrito agora como primário no artigo do NEJM. 

Vejam a descrição dos desfechos clínicos secundários, tal como colocado no clinicaltrials.gov e no artigo do Trials que descreve o desenho do estudo em 2012:

1. Cardiovascular death or non-fatal Myocardial Infarction (MI) (ii) Cardiovascular death (iii) Non-fatal MI (iv) Cardiovascular death, non-fatal MI or non-fatal stroke (v) Non-fatal stroke (vi) All-cause death (vii) Coronary revascularisation; percutaneous coronary intervention or coronary artery bypass graft surgery (viii) Hospitalisation for chest pain including acute coronary syndromes and non-coronary chest pain (ix) Hospitalisation for cardiovascular disease including coronary artery disease, cerebrovascular disease and peripheral arterial disease.

Para complicar ainda mais, os desfechos clínicos foram pré-definidos para ser avaliados em seguimento de 10 anos e o artigo descreve o seguimento de 5 anos. Assim, a definição de 5 anos não foi a priori. A rigor, estamos diante de um desfecho secundário definido a posteriori (análise post-hoc). E isso não é apenas semântica, pois na ausência de definição de quando o desfecho deve ser avaliado, podemos testá-lo ano a ano, esperando que o acaso nos presenteie com um resultado positivo em algum momento. No momento em que o autor é presenteado pelo acaso, este pode preparar um abstract e submeter a um importante congresso internacional. Não estou dizendo que assim foi feito, estou apenas mostrando como pode ser feito com desfechos post-hoc.

Desta forma, estamos diante de um grave problema das múltiplas comparações, que pode se computado da seguinte forma:

Considerando o alfa de 5%, se a hipótese nula for verdadeira (grupo tomografia = grupo controle), a probabilidade de aparecer um resultado falso-positivo em um desfecho primário único é 5%. No entanto, estamos fazendo 9 tentativas secundárias de obter um resultado positivo. Se cada uma destas tentativas possui 5% de probabilidade de um resultado falso-positivo, a probabilidade de um resultado falso positivo aparecer em alguma das tentativas é  1 – 0.95^k, sendo K o número de tentativas. Desta forma, a probabilidade de algum destes desfechos secundários se mostrar falso-positivo é 36%. Muito maior do que os 5% se estivéssemos analisando um único desfecho primário.

Para agravar, o poder estatístico do SCOT-HEART, após correção para a incidência do desfecho é de apenas 27%, como comentamos em postagem anterior. Temos então dois mecanismos de fabricação aleatória de um falso-positivo: os múltiplos desfechos testados e um estudo que carece de poder estatístico. Desta forma, a probabilidade de falso-positivo se torna maior do que 36%. Em terceiro lugar, se consideramos o risco de viés de mensuração do desfecho (averiguados por registros clínicos de prontuário eletrônico, não adjudicados), o SCOT-HEART é uma máquina aleatória e sistemática de gerar resultados falsos. 

Esta é mais uma explicação para a inverossímil redução relativa do hazard de 41% na incidência do desfecho combinado de infarto e morte cardiovascular em 5 anos de seguimento após a realização da angiotomografia de coronárias. Como comentamos no artigo anterior, a prevenção de um desfecho clínico pela realização de um exame depende de três probabilidades condicionais (P de achado anormal x P de mudança de conduta x P de benefício da conduta), diferente da probabilidade de benefício de um tratamento que tem apenas um componente. 

Desta forma, é bom demais para ser verdade que a realização de um exame promova um benefício com a magnitude usual de bons tratamentos, que varia de 20% a 40%. Aqui nos referimos a redução relativa, pois esta descreve o “tamanho de efeito” intrínseco de uma conduta, que não varia com risco absoluto.

Dois Escândalos

É escandaloso os autores descreverem como desfecho primário uma desfecho que foi pré-definido como secundário. Isso mostra a falta de integridade científica nos bastidores deste trabalho. 

Talvez mais escandaloso seja a aceitação deste artigo por parte da comunidade médica, que parecia comemorar o resultado do trabalho, apresentado com destaque no Congresso Europeu de Cardiologia em Munique.

Problemas de integridade científica não pertencem a um indivíduo moralmente defeituoso. Falta de integridade científica decorre de um ecossistema defeituoso, passando pelos produtores da pesquisa, pelos editores e revisores e pelos que lêem o artigo sem a visão crítica necessária. 

Mas como explicar que uma série de pessoas possam cometer erros em sequência sem que haja uma conspiração?

O Viés de Legião

Originalmente, poderíamos julgar muito estranho que milhares de cardiologistas assistindo simultaneamente à apresentação do estudo concordem com um resultado falso. Será que a “legião” de médicos favoráveis ao resultado do artigo não seria uma evidência a favor da veracidade?

Vale a pena remontar às observação do médico e estatístico sueco Hans Rosling, que ficou  famoso por suas palestras no TED, em que usava gráficos estatísticos dinâmicos para demonstrar como a maioria das pessoas se equivoca quanto a fatos importantes da vida. 

Rosling costumava fazer perguntas deste tipo a uma legião de intelectuais: "quantas crianças de países de baixo nível sócio-econômico possuem ensino básico? 20%, 40% ou 60%?". A resposta certa é 60%, mas apenas 7% dos intelectuais respondiam correto. A maioria marcava 20%. Observem que se perguntássemos a um macaco qual a alternativa correta, este acertaria 33% das vezes. Por que os homens acertam apenas 7%? A resposta está em nosso viés de positividade. Nós tentemos a acreditar no resultado mais significativo (mais positivo), seja quando estamos falando de um fator de risco, seja no benefício de uma conduta. Nossa mente tem um tropismo por maior contraste, assim tentemos a acreditar em resultados extremos demais para serem verdade. 

E isso é um fenômeno coletivo, criando uma legião de crentes no resultado mais significativo. O imenso número de pessoas pensando da mesma forma, reforça a crença dos participantes da legião. É o viés de legião.

O problema se agrava quando somos médicos especialistas, entusiasmados com nossas ferramentas tecnológicas. Isso justifica termos acreditado tanto nos estudos pequenos e enviesados da hipotermia pós-parada e beta-bloqueador da cirurgia não cardíaca, que viraram recomendações de guidelines, ou na terapia de reposição hormonal dos estudos observacionais (assuntos antigos do Blog). O mesmo ocorre agora com o SCOT-HEART, que ao ser apresentado com glamour no congresso europeu criou sua própria legião de crentes.

Os Vieses da Novidade, Positivismo e Confirmação

O SCOT-HEART é o estudo mais recente, portanto surge como uma novidade que traz evolução do conhecimento. No entanto, já havia um outro estudo publicado anos antes. Trata-se do estudo PROMISE: estudo maior (10.000 pacientes), desfecho verdadeiramente primário, definido a priori, com follow-up para avaliação de desfechos, adjudicados.  Ou seja, o PROMISE é um estudo de qualidade imensamente superior ao SCOT-HEART. E seu resultado foi negativo.  

Por que então preferimos acreditar na evidência positiva de má qualidade do que na evidência negativa de boa qualidade? Pois nossa mente tem tropismo pelo positivo (viés do positivismo) e pelo novo (viés da novidade). Assim, utilizamos o viés de confirmação (selecionamos evidências positivas e desconsideramos as negativas) para reforçar nossa crença. 

Esta análise demostra que ao considerar os vieses cognitivos da mente biológica, não precisamos da indelicadeza de mencionar conflitos de interesses que também podem mover as legiões de crentes. 

O Rei que Estava Nu

Conta a estória de Hans Christian Andersen (1937) que um rei muito vaidoso encomendou de dois alfaiates uma roupa sem precedentes, tão original que nunca alguém tivesse vestido igual. Na impossibilidade de concretizar o desejo do rei, os alfaiates idealizaram uma roupa imaginária, que diziam ser invisível aos olhos de pessoas estúpidas. O próprio rei, ao experimentar a roupa, não conseguiu visualizá-la no espelho, porém fingiu que estava vendo para não parecer estúpido. Da mesma forma, todas as pessoas percebiam que o rei estava nu, porém ninguém lhe chamava a atenção pelo receio de serem consideradas estúpidas. E assim o rei passou boa parte de seu reinado nu, exposto ao ridículo. O medo de parecer estúpido fazia com que as pessoas aceitassem o inverossímil. De fato, muitos acreditavam que estavam vendo a roupa, pois queriam acreditar não ser estúpidos.

Essa estória retrata o mecanismo pelo qual alguns mitos perduram na medicina.

Um belo dia, durante um importante desfile em praça pública, ao ver o rei passar com a suposta roupa, uma criança gritou: o rei está nu! Essa criança desmascarou a farsa criada pelos alfaiates, constrangeu o rei, e principalmente os súditos que acreditaram na mentira ou ficaram com vergonha de discordar. 

Alguns interpretam que foi a inocência da criança que permitiu sua observação. Na verdade, reza a lenda que essa era uma daquelas crianças meio maliciosas. Neste caso, a diferença entre criança e adulto foi a coragem de reconhecer a verdade e discordar da legião de fanáticos. 

Que o SCOT-HEART nos sirva de alerta para os múltiplos vieses que nos afastam da integridade científica. Alerta para o prevalente fenômeno de “fake-news científica”.