BENEFIT Trial: Estudo Pragmático ou Prova de Conceito ?

O ensaio clínico BENEFIT foi apresentado no início deste mês, em Londres, durante o Congresso Europeu de Cardiologia, com publicação simultânea no New England Journal of Medicine. 

Este é o primeiro estudo de grande escala sobre esta afecção típica de nossa realidade e descrita originalmente por um brasileiro, que deu nome à doença. Como não poderia deixar de ser, o BENEFIT foi também idealizado por brasileiros (Anis Rassi, Anis Rassi Jr, Marin Neto). Por tudo isso, este estudo representou uma espécie de orgulho nacional. 

Este trabalho randomizou 2.854 pacientes com miocardiopatia chagásica para o uso de benzonidazol ou placebo, tendo como objetivo a avaliação da eficácia clínica deste tratamento. Para nossa frustração, seu resultado foi negativo. 

A análise metodológica evidencia um estudo sem risco significativo de viés e com poder estatístico adequado para demonstrar um benefício de magnitude relevante, respaldando a conclusão de que o esquema testado de benzonidazol não traz benefício clínico em pacientes com miocardiopatia chagásica. Esta seria a conclusão correta do trabalho.

No entanto, na publicação, os autores estruturaram sentenças de uma forma que pode levar ao entendimento da ausência de causalidade entre a presença do parasita e agravamento clínico. Isto nos pareceu inadequado. 

Esta aparente inadequação nos trouxe a oportunidade de discutir a diferença entre ensaios clínicos que testam hipóteses pragmáticas versus ensaios clínicos de prova de conceito causal. Esta é um importante distinção para a análise das implicações de um ensaio clínico e aproveitaremos o BENEFIT para realizar esta discussão didática.

Hipótese Pragmática versus Causal

Ensaios clínicos pragmáticos são aqueles cuja implicação se limita à eficácia de um determinada conduta. 

Ensaios clínicos de prova de conceito, além de avaliar eficácia, testam causalidade entre exposição e desfecho. Nestes trabalhos, utiliza-se o princípio da reversibilidade para testar causalidade: se o controle da exposição reduz o risco, a exposição tem uma relação causal com o desfecho. De acordo com os Critérios de Hill, reversibilidade é a principal evidência a favor da causalidade. 

Como exemplo de estudo pragmático, temos o ensaio clínico LOOK-AHEAD, discutido extensamente neste Blog. Neste trabalho ficou evidenciado ausência de benefício clínico de uma estratégia dietética para perda de peso em diabéticos. Portanto, a magnitude da perda de peso obtida com estratégias dietéticas (em média 4 Kg, incluindo estudos que usam drogas anorexígenas) não reduz eventos cardiovasculares. Porém não podemos extrapolar este achado para um prova de conceito mecanicista, dizendo que este estudo implica na ausência de relação causal entre obesidade e risco cardiovascular. O conceito da obesidade como fator de risco ficaria testado apenas com tratamentos que eliminassem ou reduzissem substancialmente a obesidade. Se o estudo fosse com cirurgia bariátrica, haveria redução de risco? Não sabemos, mas precisamos de um estudo assim para testar o conceito de causalidade. O LOOK-AHEAD tem um sentido científico apenas pragmático: a perda de peso usualmente obtida com dieta não reduz risco.

Como exemplo de estudo de prova de conceito, podemos citar trabalhos que avaliam a eficácia clínica de terapias que elevam HDL-colesterol, todos estes negativos quanto à redução de eventos cardiovasculares. Neste caso, é consistente e significativa a magnitude do aumento do HDL-colesterol. Todos os pacientes respondem ao tratamento de forma significativa. A despeito disso, não há benefício clínico. Portanto estes dados representam uma forte sugestão de que HDL-colesterol baixo não é um fator de risco cardiovascular, é apenas uma marcador de risco. Esta é uma inferência de causalidade.

BENEFIT (Pragmático ou Causal)

Vejam agora a conclusão do BENEFIT: “Trypanocidal therapy with benznidazole in patients with established Chagas’ cardiomyopathy significantly reduced serum parasite detection but did not significantly reduce cardiac clinical deterioration through 5 years of follow-up.”

Vejam que os autores fazem uma ligação entre uma possível eliminação do parasita e a ausência de benefício clínico. A ligação entre um desfecho intermediário e um desfecho final é uma inferência causal. 

E continuam insistindo no link durante a discussão: “Benzonidazole did not significantly reduce the rate of the primary clinical outcome, despite reductions in the parasite detection in serum samples.”

E vão adiante, comentando que a taxa de negativação da detecção do parasita no sangue não guardou relação com benefício clínico: “Rates of conversion to negative PCR results varied significantly according to geographic location, but the difference in rates of conversion did not correspond to a difference in the rates of clinical outcomes.” Nesta caso, eles fizeram uma análise estatística avaliando se havia diferença de benefício do tratamento entre regiões onde a negativação do parasita foi maior ou menor. Essa análise tem um forte intuito de avaliar causalidade. 

O grande problema é que, no que tange à hipótese testada, o BENEFIT está muito mais próximo do LOOK-AHEAD do que dos estudos de HDL-colesterol, pois a droga foi na verdade pouco consistente para negativação do parasita. 

A Negativação do Parasita (PCR)

No grupo droga, apenas 66% dos pacientes apresentaram negativação da detecção do parasita, avaliado pela técnica de polymerase chain reaction (PCR). E para confundir mais ainda, 34% do grupo placebo apresentou negativação. Ou seja, encontrar o parasita no sangue depende também da aleatoriedade do momento em que o sangue é colhido. Sendo assim, o efeito verdadeiro do Benzonidazol é o observado subtraído do aleatório (este representado pelo grupo controle). O efeito verdadeiro de negativação decorrente do Benzonidazol ocorre em apenas 32% dos pacientes (66% - 34%). Isso é suficiente para testar um conceito de causalidade?

Desta forma, são inadequadas as frases “significantly reduced serum parasite detection” ou “despite reductions in the parasite detection”.

Para piorar a análise de causalidade, apenas 60% dos pacientes do estudo tinham parasita detectado no sangue antes do início do tratamento. Como vamos fazer um link causal com a correção de um fator que não está presente em 40% dos pacientes?

Mais confuso ainda é o fato de que muitos pacientes que não tinham o parasita detectado antes do tratamento positivaram sua detecção ao longo do seguimento. Dentre pacientes inicialmente negativos no grupo Benzonidazol, 30% ficaram positivos!! 

Na verdade, PCR no soro tem muita variabilidade intra-paciente, decorrente do momento da dosagem. A medida é do parasita no sangue, ou seja, se o parasita estiver passando por aquela veia na hora da coleta será detectado, do contrário não será detectado. 

Por fim, dos 2854 pacientes no estudo, apenas 1487 pacientes tiveram a avaliação de PCR antes e depois do tratamento.

Isso tudo sugere que a metodologia do trabalho não é suficiente para avaliar negativação do parasita, muito menos para enfatizar esta observação na frase mais importante da conclusão, ao lado do achado referente a desfechos clínicos. Este não é um estudo que permite inferências causais. 

A postura científica correta e cautelosa seria limitar as conclusões à ausência de benefício do presente esquema anti-parasitário. Apenas ligar o tratamento ao desfecho clínico. A questão continua aberta para outras formas de tratamento que possam ser mais eficazes na eliminação do parasite e, eventualmente, outras formas ou estágios da cardiopatia crônica.

Poder Estatístico (Pragmático versus Causal)

Um conceito importante, porém pouco conhecido é que o cálculo do tamanho amostral deve levar em consideração se o estudo é pragmático ou causal. 

Em um estudo de hipótese pragmática, deve-se dimensionar o tamanho amostral para oferecer poder adequado na detecção de diferenças clinicamente relevantes. Neste contexto, 26% de redução relativa do risco que o estudo se propôs a detectar é uma magnitude adequada. 

Por outro lado, um estudo que se propõe a expandir a inferência para causalidade deve ter poder de detectar efeitos menores da terapia, pois em um sistema biológico nem sempre um mecanismo causal se traduz em grande impacto clínico. 

Um bom exemplo é o que se discute sobre análise de correlação entre variáveis biológicas, no intuito de inferir causalidade. Por exemplo, para avaliar se obesidade predispõe a hipertensão arterial, poderíamos analisar correlação entre índice de massa corpórea e pressão arterial. Neste caso, não devemos esperar encontrar fortes correlações (r > 0.8), pois não é apenas obesidade que determina a pressão arterial, em um sistema complexo de causalidade. Assim, se o intuito for avaliação etiológica, devemos estar preparados para detectar correlações fracas, porém de sentido biológico. 

Desde seu desenho, os autores deveriam ter refletido sobre o poder estatístico se quisessem fazer inferências causais. 

A Grande Lição

Parece-me injustificável do ponto de vista científico tanta ênfase na análise de negativação do parasita, conectada com ausência de benefício clínico. Por que sempre que os autores disseram que o tratamento não funciona, também fizeram um link com a (pseudo) eficácia do tratamento na negativação do parasita?

A história do BENEFIT é um grande ensinamento quanto ao jogo das hipóteses pragmáticas versus causais.

Nos bastidores de Londres, conversei longamente com dois autores do BENEFIT, Marin-Neto e Anis Rassi Jr, os quais foram os verdadeiros idealizadores deste estudo e se associaram ao grupo da McMaster para viabilizar um ensaio clínico desta magnitude. Fiz várias provocações e senti nas entrelinhas o grande desconforto de ambos com as inferências causais presentes do texto. Em um estudo escrito a tantas mãos, eles foram votos vencidos na conotação do texto. 

Aí está a diferença de cientistas e pesquisadores. Os primeiros se preocupam prioritariamente com a verdade científica, enquanto os segundos com o impacto de suas publicações. Expandir as conclusões para um aspecto de causalidade dá mais impacto ao trabalho, porém menor veracidade. Pesquisadores tendem a superestimar os achados de seus trabalhos, cientistas tendem a reconhecer as lacunas que permanecem em aberto. Cientistas se fascinam mais com perguntas do que respostas. 

Anis e Marin-Neto são exemplos de grandes cientistas. Estavam mais preocupados com a mensagem que ficou do que com a publicação no New England Journal of Medicine. 

_________________________________________________________________________________

Comentário registrado por Anis Rassi Jr. horas após a postagem de nosso texto:

Anis Rassi Jr26 de setembro de 2015 22:15

Luis, grato pelas palavras e parabéns mais uma vez pela sua análise precisa do estudo BENEFIT. Infelizmente, os neófitos da McMaster preferiram supervalorizar os resultados do PCR (a inclusão deste limitado desfecho substituto foi a única sugestão original do Dr Salim Yusuf e de seu grupo) ao invés de focar os resultados clínicos do estudo (por nós delineado). Recentemente Marin e eu postamos alguns de nossos comentários no endereço https://www.researchgate.net/profile/Anis_Rassi2/publications, onde deixamos também bem claro que análise de subgrupos adequada evidencia benefício do Benzonidazol na redução de desfechos clínicos no Brasil (onde predomina o T cruzi II), quando comparado aos demais países. Devemos escrever artigo de atualização sobre tratamento etiológico da doença de Chagas em breve salientando todos estes aspectos.