Xigris: Uma Lucrativa Falácia Provocada por um Estudo Truncado

Como a Eli Lilly and Company conseguiu convencer as agências reguladoras e a comunidade médica de que o placebo denominado alfa-drotrecogina (Xigris) reduzia mortalidade em pacientes com sepse severa?

Em outubro do ano passado, o fabricante deste placebo suspendeu “voluntariamente” sua lucrativa comercialização, devido aos achados negativos do estudo PROWESS-SHOCK (ainda não publicado). A suspensão da venda do Xigris ocorre após vários anos de utilização na prática clínica, sob o custo estimado no Brasil de R$ 56.000 por paciente, tal como estimado pelo Blog Médico Nerd.

Na verdade, a suspensão da droga não foi tão “voluntária” assim, pois o FDA e a EMEA (agência européia) fariam esta recomendação de qualquer forma. É como aquele político que renuncia antes de ser cassado. 

Como o PROWESS-SHOCK ainda não foi publicado, não podemos analisá-lo com detalhe. O que sabemos é que este estudo incluiu o tipo de paciente que mais se beneficiou no estudo PROWESS, ou seja, pacientes mais graves, em choque séptico. Sendo assim, este foi um estudo negativo, a despeito de otimizado para encontrar benefício. Por não estar publicado na íntegra, nossa análise do PROWESS-SHOCK só pode ir até este ponto. Mas o que precisamos realmente analisar é o estudo PROWESS, pois foi este que gerou a lucrativa falácia.

Este estudo foi publicado em 2001 no New England Journal of Medicine, tendo testado o novo invento da proteína C-ativada versus placebo, em pacientes com sepse severa. Este trabalho demonstrou redução de mortalidade com a droga. Sendo assim, o FDA liberou a droga para comercialização e a comunidade médica adotou a terapia de forma entusiasmada. Vale salientar que dentro do FDA a liberação foi bastante controversa, com 10 votos a favor e 10 votos contra.

Hoje sabemos que o estudo PROWESS rejeitou a hipótese nula (ausência de benefício), quando esta era verdadeira. Este é chamado de erro tipo I. Este caso tem sido usado como exemplo do poder da indústria em convencer médicos de falsas verdades.

Mas o que precisamos é discutir qual foi o mecanismo metodológico utilizado para gerar esta falsa verdade. Para descobrir o motivo do engano, devemos utilizar nosso roteiro e analisar criticamente a veracidade da informação que sugere redução de mortalidade.

Observem que este é um estudo de intervenção, randomizado, que compara grupos muito semelhantes, o que elimina fatores de confusão que possam ser responsáveis pelo resultado; não há viés de aferição do desfecho, pois é um estudo duplo-cego e desfecho é morte, bastante objetivo; as diferenças encontradas foram estatisticamente significantes (P = 0.005), mortalidade foi desfecho pré-definido como primário (ausência do problema das múltiplas comparações, que aumentaria a probabilidade do acaso). Então, aonde está o problema? Parece ser um estudo de boa qualidade, de tamanho amostral razoável, classificado como de fase III. Ou seja, daquele tipo de estudo que tem o potencial de mudar conduta clínica. Por esta aparente qualidade metodológica, o estudo foi convincente.

Porém há uma limitação que geralmente passa pelo crivo científico, principalmente há 10 anos atrás, quando pouco se falava nisso: este foi um estudo truncado.

Estudos truncados são aqueles interrompidos precocemente devido a resultados positivos. É quando o autor fica tão entusiasmado com o resultado interino, que resolve terminar o estudo e concluir pelo benefício da droga. Já comentamos neste Blog que este tipo de estudo pode superestimar a diferença entre os grupos ou em alguns casos indicar uma diferença inexistente. A maioria destes estudos possuem critérios estatísticos pré-definidos para o truncamento, mas isso não resolve o problema, pois pré-definir que vai fazer uma coisa errada não elimina o erro. Esse negócio de truncamento com critérios pré-definidos não passa de uma forma mais elegante aplicar um método tendencioso.

O truncamento é ótimo para a indústria, pois garante o resultado e ainda economiza por ter interrompido um estudo de alto custo.

Normalmente os autores justificam o truncamento por motivos éticos, ou seja, uma vez demonstrado o benefício, seria anti-ético insistir em continuar o estudo com metade dos pacientes usando placebo. Isso é uma das coisas mais esdrúxulas, pois ao truncar um estudo, sua veracidade se torna questionável e nada fica demonstrado. Quanto mais um benefício de tal magnitude que proíba a continuidade do estudo. Anti-ético é gerar uma falsa verdade.

Anti-ético é promover a comercialização de um placebo de alto custo, que compromete o tênue equilíbrio financeiro do sistema de saúde, sem trazer benefício clínico.

Truncar um estudo por benefício é errado e injustificável, apesar de que cada vez mais frequente. Ao contrário desta situação, vale salientar duas justificativas aceitáveis para interromper um ensaio clínico precocemente: primeiro, quando o novo tratamento está trazendo prejuízo significativo, ou seja, interromper por efeito colaterais. Vejam que isto é muito diferente de interromper porque parece que o tratamento é bom. Segundo, é aceitável interromper um estudo por futilidade, ou seja, quando os grupos estão tão iguais, que é muito improvável que surja um benefício relevante como decorrer do estudo. Isto é aceitável, pois neste caso se preserva a premissa inicial, que é a hipótese nula. Lembrem-se que pelo Princípio 2 da medicina baseada em evidências, só devemos rejeitar a hipótese nula, quando há evidências muito fortes contra ela.

Mas porque truncar um estudo estatisticamente significante aumenta a probabilidade do erro tipo I (rejeitar a hipótese nula quando esta é verdadeira) ?

Vamos imaginar que queremos fazer um estudo para avaliar qual time é melhor: Bahia ou Vitória. A hipótese nula do estudo é que os times são iguais em qualidade, ninguém é superior (por falar nisso, a tomar pelas finais com campeonato baiano, os times são bastantes semelhantes em qualidade, semelhantes nas suas mediocridades). O melhor modelo de estudo para avaliar a questão é o chamado jogo de futebol, um estudo prospectivo de 90 minutos. Agora imagine que eu sou o investigador principal. Por ser Bahia desde criança, tenho um conflito de interesse intrínseco a favor deste time. Desta forma, vou pré-determinar que se o Bahia fizer 3 x 0 no Vitória, interromperei o jogo a qualquer momento, pois  já estaria provado que o Bahia é melhor.

Tem lógica? Claro que não. Então porque isso tem lógica em ensaios clínicos randomizados? Não deveria.

Voltando ao jogo. O Bahia faz 3 x 0 nos primeiros 20 minutos do primeiro tempo. Isso representa a realidade? Isso prova que o Bahia é melhor? Não prova, pois estes 3 gols podem ter sido por acaso, ou seja, por sorte, por vacilo da zaga do Vitória. Caso estes dois gols tenham sido por acaso, ao longo dos próximos 70 minutos de jogo essa diferença casual vai se diluir e haverá uma tendência a aproximação dos dois times. Mas se eu interrompo o jogo aos 20 minutos do primeiro tempo, não estou dando oportunidade ao meu estudo de se auto-corrigir, de se aproximar da verdade. É exatamente isso que acontece quando estudos são truncados pela observação de benefício de drogas que não tem efeito algum.

Vejam que a final do campeonato baiano teve dois jogos e não apenas um. Ou seja, ao invés de truncar o primeiro jogo, a federação de futebol escolhe fazer  dois jogos (dois estudos), a fim de reduzir ainda mais a probabilidade do acaso. Já nós, cientistas médicos, fazemos o contrário, truncamos estudos, aumentando a incerteza a respeito do resultado encontrado.

Ao longo de um estudo, o acaso ocorre com frequência, fazendo com que o resultado se modifique a todo momento. Na medida em que o tamanho amostral vai aumentando, os fatos casuais vão se diluindo na verdade. Se eu interrompo precocemente, o estudo pode não ter tido amostra suficiente para diluir o acaso. Porém o pior é que a interrupção do estudo é motivada pelo resultado de interesse. Este é o ponto crucial, favorece que o acaso trabalhe em prol do interesse.

O estudo PROWESS foi planejado para incluir 2280 pacientes e foi truncado em 1680 pacientes. Hoje, sabendo do resultado do estudo PROWESS-SHOCK, podemos imaginar que a diferença de mortalidade (31% vs. 25%) poderia se diluir se o estudo tivesse sido concluído conforme planejado. Esse estudo foi interrompido aos 15 minutos do segundo tempo.

Foi por isso que o FDA recomendou a realização de um segundo estudo para confirmar o resultado do PROWESS. Se recomendou, é porque estava em dúvida e não deveria ter liberado a droga para comercialização, principalmente com o placar de 10 x 10 na votação da liberação da droga.

A dúvida decorreu do truncamento do estudo e, secundariamente, do fato do estudo não ter sido por intenção de tratar.

Havia naquele momento o que chamamos de equipose. Equipose é definida por uma dúvida suficiente para justificar a utilização de placebo em um ensaio clínico. Se existia equipose, a hipótese nula não deveria ter sido rejeitada, a droga nunca deveria ter sido liberada ou prescrita.

Há estudos a respeito do impacto do truncamento. Estes mostram que quanto menor o tamanho amostral, maior a probabilidade de equívoco no resultado. Já comentamos neste Blog que o estudo JUPITER (o qual mostrou estatina ser benéfica na prevenção primária de indivíduos com colesterol normal) foi truncado. Pelo fato do JUPITER ter 18.000 pacientes, acredito que o truncamento promoveu uma superestimativa da magnitude do benefício, mas o benefício deve ser verdadeiro. Na medida em que o tamanho amostral vai diminuindo, a informação pode estar não só superestimada, como totalmente falsa.

Um outro estudo truncado que gerou falso resultado foi o de Van de Berghe, que demonstrou redução de mortalidade com controle agressivo da glicemia de pacientes críticos. Anos depois, o estudo NICE-SUGAR (não truncado) demonstrou efeito deletério desta conduta.

O que ocorreu com o Xigris tem muitas implicações e chama a atenção que nós médicos precisamos ser mais responsáveis pelas falsas verdades que aceitamos. Como podemos reclamar que os convênios nos pagam mal, se ao mesmo tempo ajudamos a indústria promover um tratamento de R$ 56.000 por paciente, sem benefício clínico. Se queremos melhorar nossa remuneração, acho que o caminho seja sentar na mesa de negociação, utilizar o paradigma da medicina baseada em evidências e racionalizar a terapia médica. O primeiro passo é eliminar placebos de alto custo. Enfim, precisamos ser responsáveis pelo absurdo custo da medicina contemporânea, principalmente a modelo americano, o qual o Brasil copia direitinho. Seria melhor copiarmos os modelos inglês ou canadense.

Desta forma, este é mais um exemplo de que não podemos negligenciar o problema do truncamento. Analisar se um estudo é truncado deve fazer parte da análise de veracidade, dentro do tópico acaso. Pois ao truncar, aumentamos a probabilidade do acaso.

Não podemos brincar de adivinhar o futuro, rejeitando de forma tendenciosa a hipótese nula. Não podemos negligenciar o Princípio 2 da medicina baseada em evidências.