ISCHEMIA Trial: Útil ou Fútil

Na tarde de um sábado recente, ao final de uma década, as redes sociais foram tomadas por uma avalanche de informações, slides e vídeos simultâneos à apresentação dos resultados do ensaio clínico ISCHEMIA no congresso da American Heart Association: Angioplastia coronária com stent não reduz desfechos cardiovasculares em pacientes estáveis. 

Considerado o maior trial da história do National Institute of Health, ao custo de 100 milhões de dólares e milhares de pacientes randomizados, a repercussão da apresentação do ISCHEMIA foi sem precedentes. Segundo  o site Medscape, durante os 75 minutos da sessão de apresentação do trabalho, 600 cardiologistas postaram mais de 2.000 tweets sobre o ISCHEMIA, totalizando mais de 7.500 mensagens nas horas que se seguiram. 

Mas não apenas o volume de comentários chamou atenção. Mais peculiar foi o tom comemorativo de boa parte dos cardiologistas, nos quais me incluo. Comemoramos naquela noite de sábado o resultado negativo do ISCHEMIA. 

No domingo, acordei me perguntando: porque participei da comemoração internacional de um resultado negativo? Comemorar a ausência de benefício não faz sentido, o natural seria frustração. 

A reflexão sobre este estudo deve ir além de seu resultado, estranhamente ainda não publicado na íntegra. Esta é uma oportunidade de lançar um olhar sociológico, dentro da perspectiva científica: o valor do ISCHEMIA é proporcional a sua repercussão? O que justifica a comemoração de um resultado negativo?

Neste final de década, o contexto de um ecossistema científico baseado em sensacionais notícias deve ser confrontado com princípios de filosofia científica que idealmente devem permear nossas interpretações do valor das evidências. 

A Pseudonovidade

Passados alguns dias, a novidade do ISCHEMIA chegou ao público pela mídia tradicional. Durante entrevista em horário nobre do canal americano NBC, a principal autora do ISCHEMIA afirmou “estar surpresa com o resultado”. No Brasil, em depoimento a Cláudia Collucci da Folha de São Paulo, cardiologista caracterizou o resultado como “mudança de paradigma”. Fico a imaginar a reação de Thomas Kuhn com a banalização do significado de paradigmas.

Não há surpresa, muito menos mudança de paradigma. Na verdade, o resultado do ISCHEMIA era tão previsível que sua própria existência, ao custo de 100 milhões de dólares, torna-se questionável.

Estudos prévios que testaram a hipótese do ISCHEMIA foram todos negativos, mostrando curvas de incidência de morte cardiovascular e infarto perfeitamente superponíveis. COURAGE e BARI 2D apresentavam um amplo espectro de gravidade de isquemia miocárdica. Importante reforçar que estes foram estudos com baixo risco de viés e com poder estatístico suficiente para determinar baixo risco de erro tipo II. Também negativo para os desfechos morte e infarto foi o ensaio clínico FAME-II  que estudou apenas pacientes com FFR positivo para isquemia.

Para completar, meta-análise de dados individuais, envolvendo apenas pacientes com isquemia que entraram neste ensaios clínicos, foi negativa. 

Mesmo assim, foi criada uma hipótese: se estudássemos apenas pacientes com isquemia moderada a severa, a total ausência de benefício observada nestes estudos se reverteria para a detecção de benefício clinicamente relevante no ISCHEMIA. O quanto provável é essa hipótese?

A crença da hipótese do estudo ISCHEMIA viola um importante princípio científico: a raridade da interação qualitativa. Já apresentamos evidências deste conceito algumas vezes neste Blog (1, 2).

Este princípio é demonstrado pelas análises de subgrupos dos ensaios clínicos, onde se observa um fenômeno consistente: a redução relativa do risco (conceito de eficácia) não varia com a mudança do estrato de gravidade da doença. O que varia é a redução absoluta e o NNT, mas a propriedade intrínseca do tratamento é constante. 

Portanto, interação quantitativa (mudança na magnitude relativa do benefício) é improvável, o que faz com que interação qualitativa (ausência de benefício reverter para presença de benefício) seja ainda menos provável. E se formos falar em benefício clinicamente relevante, isto parece se tornar impossível. 

Quando existem, interações ocorrem de forma quantitativa, não qualitativa. Isto porque primeiro o efeito deve existir, para depois uma variável modificadora aumentar ou diminuir a magnitude do efeito. Isto é muito diferente de um efeito inexistente se tornar existente pois modificamos o tipo de paciente. Este tipo de interação qualitativa é surpreendentemente rara na natureza biológica. Achar que fenômenos biológico mudam da água para o vinho com a mudança do paciente é irracionalidade científica. 

Mas minha discussão não fica apenas no campo da teoria científica. Interação entre magnitude da isquemia e benefício da angioplastia foi testada nos estudos COURAGE e BARI-2D. Estas amostras tinham boa representatividade dos diferentes graus de isquemia, um amplo espectro de gravidade, o que as torna ideias para o teste de interação: ao mudar o estrato de isquemia, o efeito da angioplastia muda (modificação de efeito = interação)? Em ambos os estudos, a interação foi negativa, ausência de benefício independente do grau de isquemia. Estas referências estão apresentadas em nossa antiga portagem sobre o reflexo óculo-isquêmico. 

Em resumo: (1) interação quantitativa é rara; (2) interação qualitativa é quase impossível; (3) foi testada interação e tudo deu negativo. Assim, é muito curioso a crença na hipótese do ISCHEMIA e o sentimento de surpresa quanto ao resultado. 

E foi baseado neste raciocínio que em 2014 publicamos nos Arquivos Brasileiros de Cardiologia uma crítica ao que chamamos de reflexo óculo-isquêmico, onde previmos o resultado do ISCHEMIA: “Seguindo um raciocínio bayesiano, considerando a consistente ausência de interação entre carga isquêmica e benefício do tratamento de revascularização, a probabilidade a priori de que o ISCHEMIA venha demonstrar benefício em relação ao desfecho primário de morte ou infarto é pequena. Em outras palavras, se isquemia moderada-severa não é o determinante do benefício de acordo com a totalidade das evidências, não seria a seleção de pacientes com esse grau de isquemia que traria um resultado benéfico da intervenção.”

A (In) Utilidade do Estudo ISCHEMIA

Em um mundo que prevalece a teimosia clínica com o reflexo óculo-isquêmico (presença de isquemia justifica revascularizar pacientes assintomáticos), desconsiderando as evidências prévias, faz-se necessário criar uma nova evidência. O ISCHEMIA tem uma utilidade comportamental. 

Por outro lado, arrisco dizer que do ponto de vista científico, o ISCHEMIA é um estudo desnecessário. Digo que arrisco, pois há uma tônica vigente de que é válido testar hipóteses improváveis, evitando preconceitos, abrindo nossa mente para descobertas inesperadas. Isso é romântico, mas não científico. Ciência é a construção progressiva de conhecimento, onde evidências a priori embasam estudos futuros e a probabilidade de uma lei natural evolui prospectivamente, de forma condicionada ao conhecimento prévio (probabilidade condicional, bayesiana). 

Testar o improvável não promove descobertas inusitadas. Os cisnes negros científicos aparecem do nada, por acaso e não como hipóteses predeterminadas. A explicação para isso está na necessidade da multiplicidade de testes para que o inusitado apareça. Tentativas pré-definidas são em número limitado e carecem da multiplicidade necessária para que inusitado apareça. Por esses motivo, descobertas inesperadas são as não planejadas. 

Assim, não será predefinindo hipóteses de baixa probabilidade que faremos grandes descobertas. 

Descobertas surgem da (1) confirmação de hipóteses de moderada a alta probabilidade ou (2) geração de hipóteses que o acaso nos presenteia de forma imprevisível, a serem confirmadas no futuro por estudos que testam novamente essas hipóteses. 

Pré-definir hipóteses improváveis gera futilidade, pois o resultado negativo (ISCHEMIA) diz o que já sabemos (não agrega) e um eventual resultado positivo terá um baixo valor preditivo positivo (devido à baixa probabilidade pré-teste).

A futilidade de hipóteses não apenas promove gasto desnecessário de recursos pessoais e monetários ($100 milhões). O principal prejuízo da futilidade de hipóteses é o cognitivo. A mera existência de um grande estudo testando uma hipótese desvia para a direita a percepção de probabilidade a priori. A criação do estudo ISCHEMIA gerou expectativa tamanha que modificou a percepção de hipótese improvável para promissora. Alinhado ao viés de confiança por coerência, essa percepção influenciou escolhas médicas, reforçando por anos o reflexo óculo-isquêmico.

A Mudança do Desfecho

Foi no seu último ano que o ISCHEMIA evoluiu de quase desnecessário para potencialmente prejudicial. Ao perceber que a incidência do desfecho morte + infarto estava abaixo do projetado, os autores modificaram o desfecho primário, incluindo dois componentes vulneráveis ao viés de percepção de um estudo aberto (internamento por angina e insuficiência cardíaca). Assim o estudo perdeu confiabilidade, pois um eventual resultado positivo poderia ser mediado pelo risco de viés. Segundo, a hipótese original do estudo foi abandonada, deixando de testar impacto em desfechos maiores que justificariam indicação de angioplastia para além de controle dos sintomas. 

Esta decisão gerou grande controvérsia, nunca respondida a contento pelos autores. Estes argumentaram que a mudança havia sido predeterminada. Como se predeterminar uma péssima decisão a transformasse em uma boa decisão. 

Neste caso, um elefante na sala ficou de fora do campo de visão dos autores: a incidência de desfecho abaixo da planejada era o maior indicativo que, mesmo com isquemia importante, a doença coronária estável é benigna, não justificando ações invasivas com fins de prevenção de eventos que ocorrem de forma tão rara que um estudo bem dimensionado como o ISCHEMIA não conseguiria detectar efeito positivo. 

A história do ISCHEMIA é uma evidência do fenômeno de “aversão ao negativo”, que representa a maior preferência de autores pelo resultado positivo do que pela qualidade do estudo. Verdadeiros cientistas devem primar pela qualidade das evidências geradas por seus trabalhos, e não pela positividade em detrimento da qualidade.  

Assim, como se não bastasse o investimento de 100 milhões de dólares em uma ideia pouco provável, o ISCHEMIA seguiu seu último ano sob a sequela de uma mudança que o transformou em um estudo com alto risco de viés. 

O ISCHEMIA foi negativo. Mas devemos ter em mente que este estudo poderia ter falsamente se positivado pela modificação do desfecho. 

Reflexões Finais

Testes de hipóteses improváveis, sensacionalização de resultados óbvios, modificação do desfecho primário, aversão a resultados negativos não são fenômenos específicos do estudo ISCHEMIA. O ISCHEMIA é apenas mais um estudo dentro de um ecossistema de pesquisa clínica que parece mais valorizar o sensacionalismo de notícias do que o impacto clínico de evidências. 

A evolução deste ecossistema depende da ênfase no senso de valor de um trabalho, a ser definido pela integridade científica e impacto na criação de novos conceitos. O senso de impacto é totalmente ausente em testes de hipóteses como a do ISCHEMIA. Diante de uma hipótese que falhou em ser comprovada por bons estudos prévios, há duas possibilidades: a hipótese é falsa ou o tamanho de efeito é tão pequeno que não foi visto nos estudos prévios. Do ponto de vista prático, não há diferença entre pequeno benefício (condutas de baixo valor) e ausência de benefício. 

Por outro lado, vejo sinais positivos na reação de parte da comunidade cardiológica ao ISCHEMIA.  Primeiro, a estranha comemoração do resultado negativo pode indicar a percepção pela comunidade de que um eventual resultado positivo promoveria instabilidade cognitiva: seria a mistura de algo sensacional e falso (baixo valor preditivo positivo, decorrente de baixa probabilidade pré-teste e desfecho enviesado). Segundo, a resposta da comunidade cardiológica à mudança de desfecho do estudo foi um exemplo de que estamos nos tornando mais críticos. Não passou despercebido e imagino que os autores não anteviram tamanha reação à época. 

Sobre angioplastia coronária em pacientes estáveis, o ISCHEMIA não traz novidades. Por outro lado, a história que permeia essa “grande” estudo nos traz a percepção de que precisamos evoluir para o que Douglas Altman propôs quase três décadas atrás: "we need less research, better research and research done for the right reasons" (precisamos de menos pesquisa, melhores pesquisas e pesquisas feitas pelas razões certas).

--------------------------------------------------------------------------------------------------------------------------

OBS 1: dado a estranha demora da publicação do artigo original, nos abstemos de interpretar metodologicamente os resultados do ISCHEMIA. Nossa interpretação nesta postagem foi apenas sociológica. 

OBS 2: a curva de eventos morte e infarto do ISCHEMIA mostram separações não vistas nos estudos prévios. Após publicados os resultados, interpretaremos esse fenômeno. 

--------------------------------------------------------------------------------------------------------------------------

Pessoal, cliquem aqui para serem direcionados ao nosso curso online de MBE, com 150 aulas em streaming, compreendendo princípios de pensamento médico-científico, princípios da medicina baseada em evidências, pensamentos originais, integridade científica e análise crítica de evidências científicas em forma de "arte" (visão do todo > partes). Leiam conteúdo dos módulos e experimentem as aulas disponíveis na plataforma de apresentação. 

Atenção: em janeiro, lançamento da primeira temporada de nosso podcast MBE. Aguardem.