Ensaios clínicos truncados são definidos como aqueles interrompidos precocemente devido a detecção de benefício estatisticamente significante. Simulações estatísticas sugerem que estes trabalhos superestimam a magnitude do benefício do tratamento que está sendo avaliado.
Esta inferência acaba de ser comprovada cientificamente. Na semana passada, foi publicado no JAMA um estudo da McMaster University, que comparou o risco relativo de ensaios clínicos truncados com ensaios clínicos concluídos com obtenção do tamanho amostral inicialmente planejado. Em extensa revisão de literatura, os autores identificaram 217 estudos truncados. Em 91 destes artigos, foi possível identificar trabalhos com o mesmo objetivo, porém não truncados. Desta forma, os resultados dos 91 artigos truncados foram comparados com seus equivalentes não truncados.
Identificou-se que o risco relativo (risco droga/risco placebo) dos artigos truncados foi 29% menor do que o risco relativo dos artigos não truncados. Lembrem-se que quanto menor o risco relativo, maior o efeito benéfico da droga. Portanto, isto indica que a magnitude do efeito do tratamento é superestimada em 29% quando o estudo é interrompido com um número de pacientes recrutado inferior ao inicialmente calculado com base nas premissas estatísticas iniciais.
Isto não é um preciosismo. De fato, a cada paciente que entra em um estudo, ocorre uma variabilidade em torno do verdadeiro efeito da terapia. Portanto, se avaliarmos o efeito do tratamento em vários momentos durante a inclusão dos pacientes, em algum momento pode ocorrer uma diferença entre os grupos decorrente do acaso. Neste momento, o estudo é interrompido rapidamente, não permitindo que este acaso seja diluído com a inclusão dos futuros pacientes. É verdade que os critérios de interrupção são mais rígidos do que um valor de P menor que 0.05, porém o estudo do JAMA mostra que estes critérios não são suficientes para prevenir resultados incorretos.
É de interesse da indústria patrocinadora do estudo que este seja interrompido. Primeiro, porque há economia monetária na medida em que o trabalho fica menor e mais curto. Segundo, se garante a demonstração de um benefício antes que a inclusão de mais pacientes mostre que não há benefício. Ou garante a afirmação de um benefício maior do que o real.
Alguns argumentam questões éticas em manter o grupo placebo de uma terapia que foi demonstrada como benéfica antes do término do estudo. O problema é que esta análise interina não demonstra nada com certeza. Antiético é obter uma conclusão incorreta, que será aplicada a pacientes futuros. Inclusive, em 2/3 dos casos os estudos não truncados não mostraram benefício algum.
Paradoxalmente, os estudos truncados apresentaram o dobro da probabilidade de serem publicados em revistas de alto impacto, quando comparados aos seus pares não truncados (63% vs. 30%). Isto decorre do viés de publicação, em que estudos positivos têm mais aceitação pelas revistas do que estudos negativos.
O estudo do JAMA também identificou que o número de desfechos primários apresentados pelos estudos truncados foi um preditor importante da imprecisão dos resultados. Ou seja, quando da interrupção do trabalho, se menos que 500 pacientes tiverem apresentado desfecho, há maior probabilidade de superestimativa do benefício do tratamento.
O exemplo mais recente deste tipo de viés é o festejado estudo JUPITER, que demonstrou benefício da terapia com estatina em pacientes saudáveis, de risco intermediário e colesterol normal. Este estudo foi interrompido precocemente, quanto apenas 393 desfechos haviam ocorrido, ao passo que o planejamento inicial havia sido de 520 pacientes. Além disso, ao interromper o estudo, muitos dos pacientes incluídos não completaram o tempo de follow-up inicialmente previsto, de cinco anos. Na realidade, o estudo iniciou com 8900 pacientes por grupo, porém apenas 3800 foram seguidos por 2 anos, 1353 foram seguidos por 3 anos, e, pasmem, 157 por grupo foram seguidos por 5 anos. É uma aberração argumentar um NNT de 25 para cinco anos, pura extrapolação de uma magnitude de benefício implausível, obtida em um estudo interrompido precocemente, com número de eventos e tempo de seguimento inadequados para o teste de hipótese.
Pessoalmente, acredito que haja benefício do uso de estatina no cenário do estudo JUPITER. Porém não podemos acreditar na magnitude deste benefício, caracterizada como sendo tão grande quando em pacientes portadores de doença coronariana. Isso não foi provado e é implausível. O estudo apenas demonstra benefício estatisticamente significante, porém ficamos impossibilitados de saber corretamente a relevância deste tratamento (NNT), um critério muito importante para nosso julgamento clínico. Os autores ou patrocinadores perderam a oportunidade de descrever de forma precisa a relevância do benefício da rosuvastatina em pacientes de prevenção primária.
Em conclusão, este deve ser mais um critério de avaliação da veracidade de uma informação fornecida por um ensaio clínico. Estudos truncados não menos confiáveis. Inclusive, pode ser considerado antiético truncar um estudo com interesse nos seus resultados e sua interrupção precoce, pois os dados apresentados serão aplicados a pacientes futuros. O critério correto de interrupção de um estudo é segurança. Ou seja, quando um tratamento proposto apresenta precocemente efeitos adversos importantes, aí sim, justifica-se interromper o estudo.
Esta inferência acaba de ser comprovada cientificamente. Na semana passada, foi publicado no JAMA um estudo da McMaster University, que comparou o risco relativo de ensaios clínicos truncados com ensaios clínicos concluídos com obtenção do tamanho amostral inicialmente planejado. Em extensa revisão de literatura, os autores identificaram 217 estudos truncados. Em 91 destes artigos, foi possível identificar trabalhos com o mesmo objetivo, porém não truncados. Desta forma, os resultados dos 91 artigos truncados foram comparados com seus equivalentes não truncados.
Identificou-se que o risco relativo (risco droga/risco placebo) dos artigos truncados foi 29% menor do que o risco relativo dos artigos não truncados. Lembrem-se que quanto menor o risco relativo, maior o efeito benéfico da droga. Portanto, isto indica que a magnitude do efeito do tratamento é superestimada em 29% quando o estudo é interrompido com um número de pacientes recrutado inferior ao inicialmente calculado com base nas premissas estatísticas iniciais.
Isto não é um preciosismo. De fato, a cada paciente que entra em um estudo, ocorre uma variabilidade em torno do verdadeiro efeito da terapia. Portanto, se avaliarmos o efeito do tratamento em vários momentos durante a inclusão dos pacientes, em algum momento pode ocorrer uma diferença entre os grupos decorrente do acaso. Neste momento, o estudo é interrompido rapidamente, não permitindo que este acaso seja diluído com a inclusão dos futuros pacientes. É verdade que os critérios de interrupção são mais rígidos do que um valor de P menor que 0.05, porém o estudo do JAMA mostra que estes critérios não são suficientes para prevenir resultados incorretos.
É de interesse da indústria patrocinadora do estudo que este seja interrompido. Primeiro, porque há economia monetária na medida em que o trabalho fica menor e mais curto. Segundo, se garante a demonstração de um benefício antes que a inclusão de mais pacientes mostre que não há benefício. Ou garante a afirmação de um benefício maior do que o real.
Alguns argumentam questões éticas em manter o grupo placebo de uma terapia que foi demonstrada como benéfica antes do término do estudo. O problema é que esta análise interina não demonstra nada com certeza. Antiético é obter uma conclusão incorreta, que será aplicada a pacientes futuros. Inclusive, em 2/3 dos casos os estudos não truncados não mostraram benefício algum.
Paradoxalmente, os estudos truncados apresentaram o dobro da probabilidade de serem publicados em revistas de alto impacto, quando comparados aos seus pares não truncados (63% vs. 30%). Isto decorre do viés de publicação, em que estudos positivos têm mais aceitação pelas revistas do que estudos negativos.
O estudo do JAMA também identificou que o número de desfechos primários apresentados pelos estudos truncados foi um preditor importante da imprecisão dos resultados. Ou seja, quando da interrupção do trabalho, se menos que 500 pacientes tiverem apresentado desfecho, há maior probabilidade de superestimativa do benefício do tratamento.
O exemplo mais recente deste tipo de viés é o festejado estudo JUPITER, que demonstrou benefício da terapia com estatina em pacientes saudáveis, de risco intermediário e colesterol normal. Este estudo foi interrompido precocemente, quanto apenas 393 desfechos haviam ocorrido, ao passo que o planejamento inicial havia sido de 520 pacientes. Além disso, ao interromper o estudo, muitos dos pacientes incluídos não completaram o tempo de follow-up inicialmente previsto, de cinco anos. Na realidade, o estudo iniciou com 8900 pacientes por grupo, porém apenas 3800 foram seguidos por 2 anos, 1353 foram seguidos por 3 anos, e, pasmem, 157 por grupo foram seguidos por 5 anos. É uma aberração argumentar um NNT de 25 para cinco anos, pura extrapolação de uma magnitude de benefício implausível, obtida em um estudo interrompido precocemente, com número de eventos e tempo de seguimento inadequados para o teste de hipótese.
Pessoalmente, acredito que haja benefício do uso de estatina no cenário do estudo JUPITER. Porém não podemos acreditar na magnitude deste benefício, caracterizada como sendo tão grande quando em pacientes portadores de doença coronariana. Isso não foi provado e é implausível. O estudo apenas demonstra benefício estatisticamente significante, porém ficamos impossibilitados de saber corretamente a relevância deste tratamento (NNT), um critério muito importante para nosso julgamento clínico. Os autores ou patrocinadores perderam a oportunidade de descrever de forma precisa a relevância do benefício da rosuvastatina em pacientes de prevenção primária.
Em conclusão, este deve ser mais um critério de avaliação da veracidade de uma informação fornecida por um ensaio clínico. Estudos truncados não menos confiáveis. Inclusive, pode ser considerado antiético truncar um estudo com interesse nos seus resultados e sua interrupção precoce, pois os dados apresentados serão aplicados a pacientes futuros. O critério correto de interrupção de um estudo é segurança. Ou seja, quando um tratamento proposto apresenta precocemente efeitos adversos importantes, aí sim, justifica-se interromper o estudo.
No JUPITER, por exemplo, para que interromper, se não pela própria economia e alarde precoce de maior benefício do que realmente representa. Inclusive, sem dar respostas completas ao que era proposto (como o NNT). Por acaso, consideraram os autores antiético não interromper, visando estender a terapia para o grupo controle, que não poderia deixar de se beneficiar também? Certamente não deve ter sido esta a razão.
ResponderExcluirPara todos nós, seria também importante mais tempo de seguimento com amostra mais significativa, para avaliar o total de ocorrências de eventos adversos com o uso da droga. Teríamos mais segurança em aplicar os resultados na prática.
A análise desta postagem me leva a ser mais cuidadosa em não me impressionar de imediato com estudos truncados.
o The Heart de hoje traz um comentario interessante sobre uma reportagem da Time magazine onde se questiona o beneficio das estatinas em mulheres inclusive com alusão ao Jupter.
ResponderExcluirAcho que estamos iniciando discussões interessantes.
Wálmore Siqueira