Metailusão: o paradoxo das meta-análises

Metailusão conota uso inapropriado do desenho de meta-análise para criar a ilusão de que uma ideia é verdadeira ou mais promissora do que evidências suportam. Metailusão gera o paradoxo da meta-análise, quando a análise conjunta de estudos traz uma visão mais enviesada do que a análise separada de cada estudo.

Cunhamos este termo há alguns anos em "carta ao editor" do JAMA Internal Medicine, que resumia o conteúdo de uma postagem prévia deste Blog. 

Nesta discussão, pretendo diferenciar o (grande) valor das revisões sistemáticas do (modesto) valor de meta-análises. Como sabemos, meta-análise é a análise estatística que pode estar contida em revisões sistemáticas. Esta abordagem tem certa utilidade (vide  outra postagem) se estiver no contexto adequado. No entanto há também potencial de enviesar nossas mentes para o lado da crença não embasada em evidências (metailusão). 

O grande valor de uma revisão sistemática reside na descrição do estado atual do conhecimento a respeito de um determinado assunto. Descrevendo o conhecimento, a revisão sistemática pode (1) evidenciar que um conceito está comprovado por evidências de alto nível, (2) indicar que no presente não há evidências suficientes a respeito do conceito ou (3) indicar que há evidências suficientes (qualidade) para reduzir a probabilidade de um conceito ser verdadeiro a um nível tão baixo que nem vale a pena continuar insistindo cientificamente na ideia.

Resumindo, o valor de revisões sistemáticas está em demonstrar se um conceito está ou não comprovado. Não devemos confundir isso com o papel de criar uma evidência a favor de um conceito. Se o conceito não está comprovado, não deve caber à revisão sistemática “criar” esta comprovação. 

No entanto, muitas delas se utilizam de meta-análises para criar novas medidas de associação como se estas representassem um novo dado a respeito do assunto. Não é um novo dado, é apenas um compilado de dados antigos. 

Se dados antigos não comprovaram o conceito, não será o compilado deles que comprovará o conceito. 

Mas então, para que servem as meta-análises, que estatisticamente compilam resultados de estudos prévios?

Este compilado de estudos resulta em uma medida denominada “efeito sumário”. O verdadeiro valor desta métrica está em aumentar a precisão de algo que já sabemos ser verdadeiro. Se bons estudos comprovam uma hipótese, o compilado destes bons estudos aumentará a precisão do tamanho do efeito desta hipótese. 

Por exemplo, eu sei por bons estudos que um tratamento é benéfico, representado por um risco relativo cujo intervalo de confiança é estatisticamente menor do que a nulidade. O compilado meta-analítico dos riscos relativos resultará em um intervalo de confiança mais estreito, permitindo uma percepção mais precisa do tamanho do efeito. 

Esta é a utilidade do efeito sumário: aumentar a precisão do que já sabemos. Não o de gerar um conhecimento antes inexistente. 

Nesta postagem, usarei dois exemplos de meta-ilusão ocorridos em uma mesma semana recente, cada um representando um mecanismo ilusório diferente. No primeiro exemplo, um estudo é pseudo confirmado ao ser combinado com vários estudos neutros e de menor peso. No segundo exemplo, a meta-análise tenta contradizer um bom estudo negativo ao combiná-lo com outros estudos positivos de pior qualidade. 

Dieta muito baixa em carboidrato e perda de peso

Imaginem 13 estudos testando uma mesma hipótese: 12 são neutros, com intervalos de confiança orbitando em torno da nulidade, enquanto apenas um único estudo é positivo. 

O estudo positivo é o maior e melhor, publicado na revista de maior impacto em medicina.

Surge então uma revisão sistemática que combina meta-analiticamente estes 13 estudos e conclui positivamente: “indivíduos assigned to a very-low-carbohydrate diet achieved a greater weight loss than those assigned to low fat diet”. 

O twitter da organização australiana Public Health Collaboration, promotora de estilo de vida, entusiasticamente anuncia: “Meta-analysis of controlled trials - Ketogenic Diets (very low carbs) achieved greater weight loss than Low Fat diets in the long term. Keto diets should be a tool for reducing obesity.”

Os 13 estudos eram ensaios clínicos que randomizaram indivíduos para dois tipos de dieta visando redução de peso: muito baixa em carboidrato (very low carb) versus baixa em gordura (low fat).

Qual deve ser o impacto desta meta-análise na nossa percepção da realidade? Seu resultado positivo deve nos enviesar em prol da crença ou o conjunto dos dados deve nos tornar mais céticos?

Este é um perfeito exemplo do que denomino de metailusão, a utilização do sumário estatístico (meta-análise) de vários estudos para “confirmar” o resultado de um estudo positivo, basicamente pela influência (repetição) deste mesmo estudo positivo. 

Dos 13 estudos, o único positivo foi o de melhor qualidade (maior, mais preciso, menor erro-padrão, maior influência na meta-análise). Este foi o ensaio clínico DIRECT publicado no New England Journal of Medicine. Embora seja o estudo de melhor qualidade, este ainda não é uma evidência confirmatória. 

Ao compilar seu resultado com outros 12 pequenos estudos, a medida sumária da perda de peso reduz de - 2 Kg para - 0.9 Kg, no entanto ainda permanece estatisticamente significante, pois o estudo positivo é o de maior peso no cálculo. Quando este é somado aos estudos neutros, permanece positivo. Observem a analogia numérica:

1 + 0 + 0 + 0 + 0 + 0 + 0 + 0 + 0 + 0 + 0 + 0 + 0 = 1. 

O que seria mais verdadeiro, 0 ou 1? Se por um lado isso não prova que zero é a verdade, isso muito menos prova que 1 é a verdade. 

Não vale como uma evidência incremental, nem confirmatória do estudo positivo. Pois o resultado se deve ao mesmo estudo que sugere positividade. É uma mera repetição, fantasiada de um novo resultado.

Se olharmos apenas o efeito sumário, concluiremos que a hipótese é verdadeira. Mas se utilizamos a visão do todo, perceberemos que a revisão sistemática (a propósito muito bem feita, por grupo brasileiro) na verdade reduz a probabilidade da hipótese ser verdadeira. 

A depender do olhar, a revisão sistemática pode ter mensagens opostas. 

Forest Plot

Muitos pensam que o gráfico principal de meta-análises se chama “floresta” pois a figura se parece com uma floresta. Nada a ver, olhem bem, isso não se parece com floresta alguma. Floresta é uma analogia: a meta-análise serve para promover a visão do todo (floresta), desfocando nossa visão de apenas uma árvore. 

Mas nossa mania mental de categorização faz com que foquemos apenas do efeito sumário, no pequeno diamante na base do gráfico que não toca a nulidade, indicando significância estatística. Assim voltamos ao paradoxo da categorização, comentado na postagem passada. Algo que é feito para reconhecer incerteza, para promover a visão do todo, é sequestrado para gerar uma categorização positiva. Neste momento, uma floresta é transformada em uma mera árvore. 

Vejam abaixo o forest plot tirado da publicação low carbo. Observem os intervalos de confiança dos estudos.  Deletem mentalmente a imagem da linha vertical que indica a nulidade. Isso permite que olhemos os dados sem a platônica categorização. Permite a visão do todo. Podemos observar que os intervalos de confiança são superponíveis. Doze estudos possuem o mesmo significado. 

Agora recoloquem a linha da nulidade. Do ponto de vista categórico, os doze estudos estão longe da rejeitar a hipótese nula, apenas orbitam em torno na nulidade. Não encontramos evidências suficientes contra a hipótese nula. 

Em particular, esta boa revisão sistemática sobre very low carb versus low fat me trouxe a ideia de que todos os estudos são negativos, exceto um deles. Embora esse único positivo seja o melhor dos estudos, a meta-análise me trouxe o valor de reforçar minha incerteza a respeito da prova do conceito do valor intrínseco de um tipo de dieta na perda de peso. 

Para entusiastas da dieta low carb (pessoalmente eu sou, mas profissionalmente devo conter minha preferência dentro de uma caixa científica), nada como a ciência reforçando a incerteza. A elegância científica está no reconhecimento da incerteza e não na confirmação forçada de uma crença pré-estabelecida. 

Fugindo da incerteza, a interpretação do Public Health Collaboration foi "cientificamente deselegante" ao utilizar essa meta-análise para pseudo confirmar uma hipótese não confirmada. 

Metailusão da Denervação Renal

O fenômeno de metailusão está em toda parte. Na mesma semana foi publicado no Journal of American College of Cardiology uma meta-ilusão que tentou ressuscitar a hipótese de que denervação renal serve para controlar hipertensão arterial. 

Este caso possui um mecanismo ilusório diferente do exemplo anterior: temos um grande e preciso estudo negativo, dois pequenos e imprecisos estudos negativos e três pequenos e imprecisos estudos positivos. 

0 + 0 + 0 + 1 + 1 + 1 = 3. 

O que é mais verdadeiro, zero ou 3? 

Esta me parece ser uma pergunta mais capciosa do que a matemática do exemplo low carb, onde minha argumentação meta-ilusória é mais óbvia. 

Mais uma vez, essa revisão sistemática serve para nos mostrar a incerteza a respeito da questão. Mas os autores preferem utilizar o efeito sumário que alcançou significância estatística (quase na trave) para concluir: “RSD significantly reduced blood pressure compared with sham control.”

Para que esta postagem não fuja do foco e não fique extensa demais, deixarei o que escrevi sobre o contexto científico da denervação renal para uma postagem a seguir. Aqui o que importa saber é que o primeiro estudo (negativo) possui método e tamanho amostral para ser considerado alto nível de evidência, enquanto todos os estudos subsequentes são subdimensionados, o que aumenta o risco tanto do erro tipo II (falso-negativo) como do erro tipo I (falso-positivo).

Um conceito importante a ser lembrado aqui: o resultado de um estudo é mais influenciado por aspectos metodológicos do que variações populacionais e metodológicas (interação é fenômeno raro). 

Portanto, mesmo que autores aprimorem um pouco a técnica de ablação (eles argumentam isso),  um método científico piorado terá maior impacto no resultado.  Assim, o novo resultado (positivo) vem de falha no método científico ou aprimoramento do método de tratamento? Em geral a verdade está na primeira opção. 

Portanto, esta meta-ilusão não deve servir para considerar a ablação como um método eficaz na redução da pressão arterial, tal como sugerido pelos autores e leitores desta revisão sistemática. 

Essa meta-análise não deveria ter sido “notícia” como foi nos sites médicos. 

O Mito das Meta-análises

Na ausência de evidências empíricas, há duas formas efetivas de parecer convincente em relação à existência de um fenômeno: primeiro, explique o porquê que o fenômeno existe,  pois a ideia de um mecanismo racional nos faz “acreditar” no fenômeno. Observem que os gurus da saúde explicam “profundamente” o mecanismo de fantasias, apelando inclusive para física quântica. 

Porém esta primeira forma não acaba com a discussão, visto que interlocutores céticos tenderão a questionar seus mecanismos com outros mecanismos. Então surge a segunda forma, esta imbatível. Simplesmente comece a frase com “há uma meta-análise demonstrando que …”, pois contra essa frase não há argumentos. 

“Há uma meta-análise que demonstra a superioridade do time do Bahia quando comparado ao Vitória” finalizaria qualquer debate polarizado. Meta-análise é a voz de Deus. Pena que não há meta-análise para terminar com essa boba (porém divertida) discussão: ambos são péssimos, Paulinho Rocha. 

No entanto, boa parte das meta-análises possuem conclusões metailusórias.

Diferente do que muitos pensam, meta-análise não deve modificar nosso pensamento categórico de “não sei” para “agora sei”.

Quando não há estudo de caráter confirmatório, a “média” de estudos exploratórios não fabrica um estudo confirmatório. Portanto, meta-análise não tem a capacidade de rejeitar uma hipótese nula não rejeitada por estudos individuais. Por outro lado, quando há estudo (s) confirmatório (s) positivo (s), já sabemos a resposta e a meta-análise não modifica categoricamente uma percepção que já existe. 

Portanto, meta-análise não serve para comprovar ou negar. Para que serve então? 

Já falei lá em cima, mas vou repetir agora: revisões sistemáticas e suas análises estatísticas (meta-análises) servem para descrever o universo de conhecimento a respeito de um assunto, podendo ter duas mensagens: (1) evidenciar a incerteza, dizer o que ainda não sabemos; (2) ou aumentar a precisão (estreitar o intervalo de confiança) do que já sabemos.

Revisões sistemáticas se prestam muito mais a descrever o conjunto de evidência a respeito de uma pergunta, e muito menos para responder a pergunta. Equivocada portanto é a clássica pirâmide que coloca meta-análise no topo, acima de estudos individuais. 

Na pirâmide devem estar apenas os estudos primários. Revisão sistemática e meta-análise não são para ocupar lugar na pirâmide. Servem na verdade para descrever e analisar a pirâmide. 

Reflexões Finais

O universo científico é repleto de informações falsas, que mais comumente são positivas do que negativas. O método científico, criado para reduzir conclusões equivocadas, tornando mais rígido nosso critério de teste de hipótese, é frequentemente sequestrado para provar o que não é verdadeiro. Revisões sistemáticas, criadas originalmente para descrever criticamente o grau de conhecimento a respeito de um assunto, vêm sendo sequestradas para comprovar o que não está provado ou fazer uma ideia parecer mais promissora do que a realidade. 

Esta postagem remete ao viés cognitivo denominado bounded awareness (consciência limitada), que ocorre quando o foco em algo muito específico prejudica a visão do que seja mais importante. Esse viés é retratado neste vídeo do YouTube quando uma tarefa que requer atenção específica (contar no número de passes em um jogo de basquete) impede que as pessoas percebam que um gorila que entrou na quadra.  Esse tipo de viés está por trás de muitos exemplos em que a expressão “o elefante na sala” é usada, como já fizemos em postagem recente neste Blog. 

No caso da meta-ilusão, nossa atenção fica tão focada do diamante da medida sumária, que perdemos a visão do óbvio contido no todo. 

Psicólogos sugerem algumas estratégias para superar este viés: trazer sempre uma pessoa de mente mais inocente ou menos enviesada para a discussão, evitando o “viés da tribo” (como aquele menino que percebeu que “o rei estava nu”); procurar ampliar nossa visão, sendo advogados do diabo de nossas próprias ideias; por fim, utilizar do tempo, olhar as coisas mais de uma vez, com calma, de forma reflexiva.

Acho isso importante, pois grande parte das vezes aceitamos metailusões sem ler o trabalho. Tenho insistido nisso ultimamente: gastar 20 minutos lendo o método e resultados de um artigo é essencial antes de aceitar a conclusão e principalmente antes de “retwittar” informações. 

Leonardo da Vinci nos presenteou com a renascentista frase “simplicidade é a mais elegante forma de sofisticação”.  Eu diria que a simplicidade da incerteza é a mais elegante expressão da ciência.

Revisões sistemáticas servem para mensurar o grau de incerteza presente em um campo de ideias, indicando o grau de confiabilidade a respeito de conceitos. Revisões sistemáticas não servem para fabricar comprovações inexistentes no campo científico anterior à meta-análise.

---------------------------------------------------------------------------------

Conheça nosso novo Curso Online de MBE, clicando aqui.