Viés, Acaso e Demissão

Na recente postagem Ensaio sobre Conflito de Interesse, utilizei como exemplo um editorial escrito por Podermans D, o qual defendia o uso dos beta-bloqueadores em pré-operatório de cirurgia não cardíaca, exatamente quando o ensaio clínico POISE mostrou aumento da mortalidade com esta terapia. Aquele foi um exemplo especulativo, pois coincidentemente eu havia “flagrado” o mesmo médico fazendo o papel de speaker da indústria de beta-bloqueadores no congresso mundial de cardiologia.

Na semana passada, o colega Roberto Dutra me chamou atenção de uma notícia no theheart.org:

ErasmusMC fires Poldermans

Rotterdam, the Netherlands (updated) - Erasmus Medical Center has fired Dr Don Poldermans, a well-known researcher in cardiovascular medicine, for violations of academic integrity [1]. In a statement, the hospital said that Poldermans was careless in collecting data for his research and also used fictitious data to prop up his findings.

Podermans foi demitido por um padrão inadequado de conduta científica.

Muitas vezes alunos me perguntam como a gente pode saber se um pesquisador fraudou seus dados. Minha resposta é que isso geralmente não é o caso. O que normalmente ocorre é uma tendenciosidade no desenho, condução ou interpretação do estudo, mais do que exatamente uma fraude. E dá para diagnosticar este padrão com a análise metodológica do trabalho em questão.

Vamos exemplicar com o estudo DECREASE I, publicado por Podermans et al em 1999, no prestigiado New England Journal of Medicine, artigo bastante citado pelos entusiastas do uso de beta-bloqueador em pré-operatório de cirurgia não cardíaca.

O estudo DECREASE é um prato cheio para treinamento de análise crítica. Trata-se de um ensaio clínico que randomizou 112 pacientes (candidatos a cirurgia vascular e que tinham isquemia miocárdica) para dois tipos de tratamento: usar bisoprolol (iniciado uma semana antes da cirurgia e mantido por 30 dias depois) ou não usar bisoprolol. O estudo mostrou uma impressionante redução de mortalidade cardiovascular (3.4% vs. 17%, P = 0.02) e redução de infarto (0% vs. 17%; P < 0.001). Impressionante mesmo, NNT = 7 (100/redução absoluta do risco = 100/14) para redução de morte. Sinceramente, eu nunca vi um NNT tão bom para redução de mortalidade com qualquer terapia farmacológica. Os tratamentos farmacológicos de maior impacto em cardiologia, como inibidor de ECA em ICC ou trombólise no infarto possuem NNT em torno de 20. O NNT = 7 é um achado sem precedentes.

Precisamos então analisar a veracidade deste achado. Epidemiologicamente, uma associação pode decorrer de 3 fatores: viés, acaso ou causa. Causa é quando de fato a droga está provocando redução de mortalidade. Mas antes temos que analisar as outras duas possibilidades.

Viés é um erro decorrente de falha na metodologia do trabalho. Neste estudo, existe um potencial viés de mensuração da variável desfecho: o estudo é aberto, sem utilização de placebo no grupo controle.

Usualmente desfechos duros como morte são mais resistentes ao viés de mensuração de um estudo aberto. Isto porquê morte é um desfecho tão objetivo que sofre menos de erro de interpretação. Porém devemos notar que o desfecho no estudo DECREASE I é morte cardiovascular, não morte geral. Segundo o trabalho, não houve morte não cardiovascular, todas as 9 mortes do grupo controle e as duas no grupo bisoprolol foram de origem cardiovascular. Estranho só ter morte cardiovascular. E o que é morte cardiovascular em cirurgia vascular? É morte por infarto ou morte por complicação da cirurgia vascular foi considerada? De fato, o saber que um paciente estava no grupo controle poderia ter induzido os médicos a considerar a causa da morte do paciente como cardiovascular. Ou seja, morte de uma dada origem não é desfecho tão objetivo como morte geral. De forma que ocorre aqui a interação do caráter aberto do estudo com um desfecho que não é plenamente objetivo, interação esta já mencionada previamente neste Blog. Isso representa um potencial viés de mensuração do desfecho.

Na verdade, não podemos ter certeza qual o mecanismo exato pelo qual este viés pode ter contribuído para os resultados. O fato é que temos duas situações inusitadas: um estudo aberto de apenas 112 pacientes publicado no NEJM e uma redução de mortalidade nunca antes vista com um tratamento farmacológico. Talvez tenha alguma coisa errada.

Mas não ficamos por aqui. Falamos em três possibilidades: viés, acaso e causa. Analisando agora a segunda possibilidade, acaso, percebemos outro potencial problema. Este é um estudo truncado - interrompido precocemente devido a achado favorável à droga. Inicialmente o autor planejou um tamanho amostral de 226 pacientes para lhe fornecer um poder estatístico adequado. De início, já acho esse cálculo de tamanho amostral questionável, pois foi baseado em uma premissa de altíssima incidência de desfecho (28%). Mas vamos considerar que este cálculo de tamanho amostral como adequado. Mesmo assim, não foram randomizados os 226 pacientes prometidos. O autor interrompeu o estudo com apenas metade dos pacientes randomizados, pois verificou um resultado muito bom a favor da droga. Muito bom para ser verdade.

E é exatamente este o problema de estudos truncados. Quando o tamanho amostral é muito pequeno, uma diferença muito grande entre os dois grupos é necessária para que se consiga significância estatística. Diferença tão grande que se torna inverossímil. Diferença tão grande que só pode ter decorrido do acaso. Por isto que quando o poder estatístico é insuficiente, o valor de P tende a subestimar a probabilidade do acaso. Ou seja, o acaso pode ter ocorrido, apesar do valor de P < 0.05. Este é o primeiro problema. O segundo problema é que o autor está interrompendo o estudo no melhor momento, garantindo que aquele resultado desejável não seja corrigido pelo crescimento do tamanho amostral, se de fato precisar ser corrigido. Terceiro, são várias as análises interinas, e a probabilidade do acaso aumenta pelo problema das múltiplas comparações (postagem futura abordará este problema). Desta forma, este estudo tem grande possibilidade de estar errado, não devendo servir de argumento para o uso de beta-bloqueador.

Em 2009 Podermans publicou o DECREASE IV, agora no Annals of Surgery. E fez a mesma coisa: estudo aberto e truncado. Havia sido planejado 6.000 pacientes e o cara interrompeu o estudo com apenas 1.000 pacientes! Assim, ele demonstra benefício, porém de uma magnitude muito menor (mortalidade total: 1.1% bisoprolol vs. 3.4% controle - NNT = 43) do que o impressionante benefício do DECREASE I. Isso é uma prova de que o DECREASE I era um estudo enviesado e impreciso. O DECREASE IV é menos impreciso, pois tem maior tamanho amostral, porém sofre dos mesmos problemas metodológicos.

Por outro lado, há o estudo POISE, co-patrocinado pela indústria farmacêutica e por orgãos governamentais do Canadá, Austrália e Inglaterra. Este estudo randomizou 8.000 pacientes e não demonstrou benefício do uso do beta-bloqueador. Na verdade, houve até maior incidência do desfecho primário no grupo beta-bloqueador.  Este estudo foi criticado pela forma intempestiva com que o beta-bloqueador foi utilizado, o que poderia ter sido responsável pelo resultado insatisfatório. Pode até ser, mas isso não nos autoriza a utilizar beta-bloqueador. O que nos autorizaria a usar o beta-bloqueador seria a demonstração de benefício, o que não ocorreu no estudo POISE. Benefício foi apenas demonstrado por estudos de má qualidade metodológica. 

Em 2008 foi publicada no Lancet uma meta-análise de 33 ensaios clínicos randomizados que avaliaram a questão. A conclusão foi ausência de benefício. Interessante foi a análise de sensibilidade, onde os estudos classificados como alto risco de viés sugeriam benefício e os estudos classificados como baixo risco de viés não sugeriam benefício. 

É neste momento que presenciamos uma dos maiores exemplos de violação do segundo princípio da medicina baseada em evidências (A Hipótese Nula). O recente Guideline Europeu de Pré-operatório (2009 - coordenado por Poderman) e a recente Diretriz Brasileira (2011) recomendam o uso de beta-bloqueador como Classe I, sem dados científicos suficientes para rejeitar a hipótese nula e passar a acreditar neste benefício. Lembrem-se, o que justifica uma terapia é a demonstração do benefício. A ausência de demonstração definitiva de malefício com formas mais brandas de utilização do beta-bloqueador não indica terapia nenhuma. Já o Guideline Americano atualizou sua diretriz em 2009 no intuito de retirar a indicação classe I do beta-bloqueador. Classe I foi apenas para pacientes que já vinham em uso de beta-bloqueador.

Drogas não devem ser recomendadas com base apenas em plausibilidade (Princípio 4), nem com base em estudos como os DECREASE I ou IV, nem com base na não demonstração de prejuízo se for usada de forma mais cuidadosa. Até que se prove o contrário, beta-bloqueador não é benéfico e pode até ser deletério.

Basear-se em estudos como DECREASE I e IV é um tipo de erro de pensamento médico denominado de ancoragem. Este erro ocorre quando queremos acreditar em uma hipótese (clínica ou científica) e nos ancoramos em argumentos que nunca utilizaríamos se não tivéssemos um viés a favor daquela conclusão.

Não precisávamos da notícia da demissão de Podermans para duvidar do resultado dos DECREASEs. Era só ler os estudos. Mas só agora com esta notícia que a Sociedade Européia de Cardiologia anuncia que resolveu revisar suas conclusões relativas ao Guideline de Pré-operatório de Cirurgia não Cardíaca.