domingo, 27 de novembro de 2011

Viés, Acaso e Demissão


Na recente postagem Ensaio sobre Conflito de Interesse, utilizei como exemplo um editorial escrito por Podermans D, o qual defendia o uso dos beta-bloqueadores em pré-operatório de cirurgia não cardíaca, exatamente quando o ensaio clínico POISE mostrou aumento da mortalidade com esta terapia. Aquele foi um exemplo especulativo, pois coincidentemente eu havia “flagrado” o mesmo médico fazendo o papel de speaker da indústria de beta-bloqueadores no congresso mundial de cardiologia.

Na semana passada, o colega Roberto Dutra me chamou atenção de uma notícia no theheart.org:

Rotterdam, the Netherlands (updated) - Erasmus Medical Center has fired Dr Don Poldermans, a well-known researcher in cardiovascular medicine, for violations of academic integrity [1]. In a statement, the hospital said that Poldermans was careless in collecting data for his research and also used fictitious data to prop up his findings.

Podermans foi demitido por um padrão inadequado de conduta científica.

Muitas vezes alunos me perguntam como a gente pode saber se um pesquisador fraudou seus dados. Minha resposta é que isso geralmente não é o caso. O que normalmente ocorre é uma tendenciosidade no desenho, condução ou interpretação do estudo, mais do que exatamente uma fraude. E dá para diagnosticar este padrão com a análise metodológica do trabalho em questão.

Vamos exemplicar com o estudo DECREASE I, publicado por Podermans et al em 1999, no prestigiado New England Journal of Medicine, artigo bastante citado pelos entusiastas do uso de beta-bloqueador em pré-operatório de cirurgia não cardíaca.

O estudo DECREASE é um prato cheio para treinamento de análise crítica. Trata-se de um ensaio clínico que randomizou 112 pacientes (candidatos a cirurgia vascular e que tinham isquemia miocárdica) para dois tipos de tratamento: usar bisoprolol (iniciado uma semana antes da cirurgia e mantido por 30 dias depois) ou não usar bisoprolol. O estudo mostrou uma impressionante redução de mortalidade cardiovascular (3.4% vs. 17%, P = 0.02) e redução de infarto (0% vs. 17%; P < 0.001). Impressionante mesmo, NNT = 7 (100/redução absoluta do risco = 100/14) para redução de morte. Sinceramente, eu nunca vi um NNT tão bom para redução de mortalidade com qualquer terapia farmacológica. Os tratamentos farmacológicos de maior impacto em cardiologia, como inibidor de ECA em ICC ou trombólise no infarto possuem NNT em torno de 20. O NNT = 7 é um achado sem precedentes.

Precisamos então analisar a veracidade deste achado. Epidemiologicamente, uma associação pode decorrer de 3 fatores: viés, acaso ou causa. Causa é quando de fato a droga está provocando redução de mortalidade. Mas antes temos que analisar as outras duas possibilidades.

Viés é um erro decorrente de falha na metodologia do trabalho. Neste estudo, existe um potencial viés de mensuração da variável desfecho: o estudo é aberto, sem utilização de placebo no grupo controle.

Usualmente desfechos duros como morte são mais resistentes ao viés de mensuração de um estudo aberto. Isto porquê morte é um desfecho tão objetivo que sofre menos de erro de interpretação. Porém devemos notar que o desfecho no estudo DECREASE I é morte cardiovascular, não morte geral. Segundo o trabalho, não houve morte não cardiovascular, todas as 9 mortes do grupo controle e as duas no grupo bisoprolol foram de origem cardiovascular. Estranho só ter morte cardiovascular. E o que é morte cardiovascular em cirurgia vascular? É morte por infarto ou morte por complicação da cirurgia vascular foi considerada? De fato, o saber que um paciente estava no grupo controle poderia ter induzido os médicos a considerar a causa da morte do paciente como cardiovascular. Ou seja, morte de uma dada origem não é desfecho tão objetivo como morte geral. De forma que ocorre aqui a interação do caráter aberto do estudo com um desfecho que não é plenamente objetivo, interação esta já mencionada previamente neste Blog. Isso representa um potencial viés de mensuração do desfecho.

Na verdade, não podemos ter certeza qual o mecanismo exato pelo qual este viés pode ter contribuído para os resultados. O fato é que temos duas situações inusitadas: um estudo aberto de apenas 112 pacientes publicado no NEJM e uma redução de mortalidade nunca antes vista com um tratamento farmacológico. Talvez tenha alguma coisa errada.

Mas não ficamos por aqui. Falamos em três possibilidades: viés, acaso e causa. Analisando agora a segunda possibilidade, acaso, percebemos outro potencial problema. Este é um estudo truncado - interrompido precocemente devido a achado favorável à droga. Inicialmente o autor planejou um tamanho amostral de 226 pacientes para lhe fornecer um poder estatístico adequado. De início, já acho esse cálculo de tamanho amostral questionável, pois foi baseado em uma premissa de altíssima incidência de desfecho (28%). Mas vamos considerar que este cálculo de tamanho amostral como adequado. Mesmo assim, não foram randomizados os 226 pacientes prometidos. O autor interrompeu o estudo com apenas metade dos pacientes randomizados, pois verificou um resultado muito bom a favor da droga. Muito bom para ser verdade.

E é exatamente este o problema de estudos truncados. Quando o tamanho amostral é muito pequeno, uma diferença muito grande entre os dois grupos é necessária para que se consiga significância estatística. Diferença tão grande que se torna inverossímil. Diferença tão grande que só pode ter decorrido do acaso. Por isto que quando o poder estatístico é insuficiente, o valor de P tende a subestimar a probabilidade do acaso. Ou seja, o acaso pode ter ocorrido, apesar do valor de P < 0.05. Este é o primeiro problema. O segundo problema é que o autor está interrompendo o estudo no melhor momento, garantindo que aquele resultado desejável não seja corrigido pelo crescimento do tamanho amostral, se de fato precisar ser corrigido. Terceiro, são várias as análises interinas, e a probabilidade do acaso aumenta pelo problema das múltiplas comparações (postagem futura abordará este problema). Desta forma, este estudo tem grande possibilidade de estar errado, não devendo servir de argumento para o uso de beta-bloqueador.

Em 2009 Podermans publicou o DECREASE IV, agora no Annals of Surgery. E fez a mesma coisa: estudo aberto e truncado. Havia sido planejado 6.000 pacientes e o cara interrompeu o estudo com apenas 1.000 pacientes! Assim, ele demonstra benefício, porém de uma magnitude muito menor (mortalidade total: 1.1% bisoprolol vs. 3.4% controle - NNT = 43) do que o impressionante benefício do DECREASE I. Isso é uma prova de que o DECREASE I era um estudo enviesado e impreciso. O DECREASE IV é menos impreciso, pois tem maior tamanho amostral, porém sofre dos mesmos problemas metodológicos.


Por outro lado, há o estudo POISE, co-patrocinado pela indústria farmacêutica e por orgãos governamentais do Canadá, Austrália e Inglaterra. Este estudo randomizou 8.000 pacientes e não demonstrou benefício do uso do beta-bloqueador. Na verdade, houve até maior incidência do desfecho primário no grupo beta-bloqueador.  Este estudo foi criticado pela forma intempestiva com que o beta-bloqueador foi utilizado, o que poderia ter sido responsável pelo resultado insatisfatório. Pode até ser, mas isso não nos autoriza a utilizar beta-bloqueador. O que nos autorizaria a usar o beta-bloqueador seria a demonstração de benefício, o que não ocorreu no estudo POISE. Benefício foi apenas demonstrado por estudos de má qualidade metodológica. 

Em 2008 foi publicada no Lancet uma meta-análise de 33 ensaios clínicos randomizados que avaliaram a questão. A conclusão foi ausência de benefício. Interessante foi a análise de sensibilidade, onde os estudos classificados como alto risco de viés sugeriam benefício e os estudos classificados como baixo risco de viés não sugeriam benefício. 

É neste momento que presenciamos uma dos maiores exemplos de violação do segundo princípio da medicina baseada em evidências (A Hipótese Nula). O recente Guideline Europeu de Pré-operatório (2009 - coordenado por Poderman) e a recente Diretriz Brasileira (2011) recomendam o uso de beta-bloqueador como Classe I, sem dados científicos suficientes para rejeitar a hipótese nula e passar a acreditar neste benefício. Lembrem-se, o que justifica uma terapia é a demonstração do benefício. A ausência de demonstração definitiva de malefício com formas mais brandas de utilização do beta-bloqueador não indica terapia nenhuma. Já o Guideline Americano atualizou sua diretriz em 2009 no intuito de retirar a indicação classe I do beta-bloqueador. Classe I foi apenas para pacientes que já vinham em uso de beta-bloqueador.

Drogas não devem ser recomendadas com base apenas em plausibilidade (Princípio 4), nem com base em estudos como os DECREASE I ou IV, nem com base na não demonstração de prejuízo se for usada de forma mais cuidadosa. Até que se prove o contrário, beta-bloqueador não é benéfico e pode até ser deletério.

Basear-se em estudos como DECREASE I e IV é um tipo de erro de pensamento médico denominado de ancoragem. Este erro ocorre quando queremos acreditar em uma hipótese (clínica ou científica) e nos ancoramos em argumentos que nunca utilizaríamos se não tivéssemos um viés a favor daquela conclusão.

Não precisávamos da notícia da demissão de Podermans para duvidar do resultado dos DECREASEs. Era só ler os estudos. Mas só agora com esta notícia que a Sociedade Européia de Cardiologia anuncia que resolveu revisar suas conclusões relativas ao Guideline de Pré-operatório de Cirurgia não Cardíaca.

15 comentários:

  1. Luis Claudio, desta vez vc realmente se superou. Esta postagem sobre Vies e acaso foi, talvez, a melhor que ja li em seu blog.
    Remeteu-me às suas colocações de pq rejeitamos a EVIDÊNCIA VERDADEIRA QUANDO ELA REALMENTE EXISTE. Para mim este é mais UM PARADIGMA da MEDICINA que cai por terra. Sempre indiquei e discuti com os residentes sobre a "importância" do uso do betabloqueador no pré-operatório de cirurgia vascular nos pacientes de risco intermnediário e alto. E agora... É A MENTALIDADE DO MÉDICO ATIVO que torna difícil a negação dE PARADIGMAS que nunca DEVERIAM TER EXISTIDO. Sua capacidade de compartilhar seu conhecimento, de forma tão clara e objetiva tem sido fundamntal neste sentido. A partir de hoje, NÃO AOS BETABLOQUEADORES NO PRÉ-OP, SE O PACIENTE NÃO FIZER USO POR OUTRA INDICAÇÃO.

    OBG.

    Marcia Cristina-Recife.

    ResponderExcluir
  2. Luis

    Sua análise é excelente!Cada vez mais temos que ficar atentos à medicina baseada em evidências mal construídas. Também é importante lembrar que a qualidade da revista nem sempre assegura a qualidade e isenção da publicação.
    Adorei saber que o Podermans foi demitido por má conduta ética e científica. Fraude é fraude, não tem atenuante. Mas ainda tem pessoas que acreditam que estão acima do bem e do mal...Que ilusão!!
    Ana Marice Ladeia

    ResponderExcluir
  3. É fácil chutar cachorro morto. Discutir dados publicados há mais de 10 anos e se vangloriar disso? Quando o estudo Decrease I foi publicado um dos aspectos mais discutidos foi a influência dos vieses noresultado final, mas como o desfecho era morte, a discussão sobre o método foi relevada a um plano secundário. Também praticamente inexistia bibliografia sobre interrupção precoce de ECR e seu efeito de superestimar os resultados positivos, principalmente quando a amostra é pequena. Por último, o estudo POISE só tem amostra, pois também foi desenhado de modo inapropriado, doses intempestivas de betabloqueador, teria sido isto intencional? A questão segue aberta, não seria o caso de reanalisar os estudos observacionais?

    ResponderExcluir
  4. Ao anônimo, acho que seu comentário foi desnecessário. A intenção desse blog parece ser discutir a medicina baseada em evidências. O exemplo usado nessa postagem é apenas um exemplo. Para mim, a leitura dessas discussões é muito mais um aprendizado e estímulo à minha criticidade científica, algo que falta cronicamente na formação médica brasileira.

    ResponderExcluir
  5. Olá Luis; excelente avaliação critica e estatistica. Ja tinha lido sobre o DECRESE e realmente existe muitas variáveis que causam confusão e a erros de interpretação. Me incomoda bastante resultados positivos em estudos truncados como foi o Jupter a favor da Rosuvastatina, ou com o número amostral pequeno.
    Acho que a luz das evidências atuais, cujo maior estudo foi o POISE, o betabloqueador não deve ser considerado Casse I como droga perioperatora.
    Neudson Gomes.

    ResponderExcluir
  6. Parabens,Luiz!
    E quem vai prestar a prova do titulo,como ficamos?
    abço

    ResponderExcluir
  7. Mais uma vez parabéns, grande abraço.

    ResponderExcluir
  8. Tentando mais uma vez, já que fui censurado previamente, coloquei 2 questões para discussão: o desenho do estudo POISE é tão ruim de propósito? Qual o papel dos estudos observacionais nesta situação, já que os ECR foram mal desenhados ou fraudados?

    ResponderExcluir
  9. Quanto aos estudos observacionais, sugiro ler duas antigas postagens, uma que aborda o benefício cardiovascular do álcool e outra sobre chocolate. Procure na barra de pesquisa, usando estas palavras-chave.

    Quanto ao POISE: (1) para a terapia testada naquele estudo (forma de utilização), a evidência parece ser verdadeira; (2) para outra forma de utilização, o estudo não tem validade externa ideal, portanto não afasta a possibilidade de benefício; (3) Aí vem a grande questão: não é porque o POISE pode ter usado uma terapia exagerada, que estamos autorizados a usar uma terapia mais branda. Tem que ter demonstração de qualidade sobre benefício para induzir a utilização de terapias (leia postagem sobre os princípios da MBE - Princípio 2), a não ser em situações de plausibilidade extrema (leia postagem antiga sobre Paradigma do Para-quedas).

    Obrigado pelo interesse.

    ResponderExcluir
  10. Mas conforme os estudos observacionais podemos ter um nível de evidência menor para o uso de doses menores de beta bloqueador. Na minha interpretação o protocolo do POISE matou o grupo submetido a intervenção. A prática médica não pode ser reduzida a um tudo ou nada e sei que esta não é a sua idéia. Vou procurar as postagens sugeridas.

    ResponderExcluir
  11. Gostaria de fazer algumas considerações:

    1. Esse blog e suas postagens ao meu ver são essenciais para que sempre tenhamos uma análise crítica sobre nossas práticas e condutas. A Ciência tem como princípio fundamental essa contínua e incessante re-análise das 'verdades';

    2. Desde que formei em 2002, tive a oportunidade de ter vários mestres. Essa conduta de B-bloq no pre-op vascular sempre foi uma bandeira por exemplo dos colegas da USP (longe de mim estar criticando eles, mas sim apenas ratificando que aprendi esta conduta com alguns textos de professores de lá). Como era rotina de lá, praticamente nunca parei para analisar qual era o nível de evidência para tal conduta, e isto serve como grande aprendizado - só pq saiu no NEJM ou só pq a USP ou UNIFESP ou UFBA ou qualquer instituição se posicione a favor, significa que está correto ou que há evidencias suficientes?

    3. Sobre o N amostral e erro tipo I e tipo II. Uma amostra com N reduzido (teria que ser uma amostra probabilística por sinal) não afetaria o PODER DO ESTUDO mais diretamente? Entendi nas suas considerações que estaria afetando o nível de significância....

    4. Os que se assustam ou se incomodam com novos questionamentos - "Uma Vida não QUESTIONADA não merece ser vivida!" Platão

    ResponderExcluir
  12. André,

    realmente o primeiro impacto de um pequeno tamanho amostral é no erro tipo II.
    Mas também tem impacto no erro tipo I. Por exemplo, se um estudo muito pequeno mostra uma diferença de morte, essa diferença precisa ser muito grande para dar estatisticamente significante. Grande demais para ser verdade.
    Desta forma, essa diferença tem maior probabilidade de ser devido ao acaso (erro tipo I). Isso indica que em amostras subdimensionadas o valor de P estatisticamente significante pode estar errado.
    Ou seja, mesmo com um P < 0.05, a probabilidade do acaso pode não ser desprezível como se pensa.
    Exemplo: estudo LIDO mostrou redução de mortalidade com Levosimedão (vs. Dobutamina) e tinha apenas 100 pacientes por grupo. O valor de P = 0.03

    Luis.

    ResponderExcluir
  13. Luis, relendo este post gostaria de congratular-me com você pela excelência da sua análise e observações tão conscientes e embasadas. Isso faz diferença!

    ResponderExcluir
  14. Luis,

    Cheguei ao seu blog através de um amigo médico e leitor do seu blog, me grande amigo Jan. Pergunto a você como se atualizar na área médica frente a tantas informações, sensacionalismos, drogas novas e viéses. Como atualizar um médico se ele não está devidamente estruturado? Raramente um médico entende de estatística, isso é algo básico. Acho que a verdade não mais importa, a intenção real de cada um não é a busca da verdade, é ganhar o seu dinheiro e financiar os seus vícios, seja lá quais forem. Eis aí um dos problemas, muitas pessoas estão cegas e correndo atrás dos rabos, sem metas, pois desaprenderam a pensar ou não aprenderam ainda. Parabéns pelo post, é de 2011, eu já participei de brigas nessa questão, fico pensando se algo mudou ... eu não acompanho esse tema e muitos outros relevantes. Acho que as bases é que foram esquecidas. Espero poder contribuir nessa vida pelo resgate das bases.

    ResponderExcluir