Os autores do PREDIMED Trial acabam de fazer uma retratação (retraction) referente à publicação original do trabalho em 2013 no New England Journal of Medicine. Na retratação os autores reconhecem violações no processo de randomização e retiram o artigo (withdraw).
O PREDIMED testou a eficácia da dieta do mediterrâneo (rica em azeite de oliva, avelãs, nozes, amêndoas, peixe, frutas, vegetais), tendo como grupo controle a recomendação de uma dieta saudável (evitar excesso de gordura saturada e incentivo para frutas e vegetais). O estudo concluiu que a dieta do mediterrâneo reduzia o risco de eventos cardiovasculares de forma expressiva (redução relativa do risco de 30%).
Naquela época, publicamos neste Blog nossa análise crítica do PREDIMED, apontando alto risco de viés de desempenho e “imprecisão tendenciosa”, induzida pela interrupção precoce baseada em resultado positivo (truncamento), em momento de poucos desfechos.
Ademais, nos parecia inverossímil a magnitude do tamanho do efeito das nozes com azeite de oliva: 30% de redução relativa de risco, equivalente a estratégias farmacológicas ou invasivas de prevenção cardiovascular.
Em paralelo ao nosso post, submetemos a crítica como Carta ao Editor do NEJM, porém nossa correspondência foi rejeitada em 2013.
As raras críticas ao estudo passaram despercebidas frente ao entusiasmante resultado e a dieta do mediterrâneo passou a ser cortejada. Quanto a mim, passei a usar o PREDIMED em aulas como exemplo de estudo com baixo valor preditivo positivo.
Cinco anos depois, somos surpreendidos com esta retratação e retirada bombástica.
Mais surpreendente, no entanto, foi o NEJM aceitar a republicação de uma nova versão do trabalho, após suposta exclusão dos pacientes não randomizados. Versão esta que mantém o mesmo resultado inverossímil e os mesmos problemas apontados por nós em época que não tínhamos ideia das grosseiras violações na randomização.
O risco é que a nova versão do PREDIMED (publicada no mesmo dia que a versão antiga foi retirada) seja vista como uma confirmação dos resultados positivos. Fica claro que precisamos aprofundar essa discussão. Enviei novamente uma carta ao editor do NEJM, intitulada “still, too good to be true”, que está em processo de análise.
Esta postagem pretende contar a interessante história de investigação estatística que descobriu a farsa do PREDIMED, discutir porque o resultado do PREDIMED é inverossímil, e porque tendemos a acreditar religiosamente em grandes benefícios do estilo alimentar.
O Detetive Estatístico
Tudo surgiu quando o compulsivo estatístico Carlisle avaliou 5.000 trabalhos randomizados e procurou por diferenças estatisticamente significantes entre dois grupos de alocação, publicando sua análise no Anaesthesia.
Nas revistas modernas não mais se expõe na Tabela 1 o valor de P da comparação de características entre grupos de pacientes alocados randomicamente. Isto porque não há sentido estatístico no valor de P, pois sendo uma alocação aleatória, qualquer diferença entre os dois grupos se deveria ao acaso. Portanto, espera-se que todos os valores de P sejam próximos a 1.0, principalmente em um grande estudo de 7.500 pacientes como é o caso do PREDIMED.
A presença de alguma diferença muito significativa sugere que houve violação da randomização. O autor do estudo encontrou valor de P muito significativo em 11 artigos do NEJM. Destes, todos os trabalhos conseguiram se justificar (erro de digitação ou erro da análise de Carlisle), exceto o PREDIMED. Foi então que seus autores reconheceram que houve problema de randomização: foram incluídos na dieta do mediterrâneo 425 indivíduos simplesmente por morarem na mesma casa de pacientes randomizados e 467 outros pacientes foram alocados de acordo com centro pesquisador e não individualmente randomizados.
A gravidade desse erro quebra a confiabilidade do estudo, e aumenta o potencial impacto de vieses subliminares como os que havíamos levantado há 5 anos. Se já não dava para confiar, agora então fica muito mais questionável. Mesmo assim, os autores foram presenteados com a oportunidade de republicar o estudo após exclusão destes pacientes, mantendo o mesmo resultado positivo, na mesma inverossímil magnitude.
Por que o PREDIMED é Inverossímil
Enquanto estudos observacionais mostram animadores resultados de hábitos de vida na promoção da saúde, quando devidamente testados em estudos intervencionistas randomizados, o impacto de hábitos supostamente saudáveis torna-se inexistente ou de magnitude frustrante. É o caso das evidências contrárias ao efeito do exercício na perda de peso ou na redução de risco cardiovascular (controversas postagens desse Blog), assim como ausência de efeito cardiovascular de uma dieta mais rigorosa em pacientes com diabetes (Look AHEAD Trial).
A princípio, estas afirmações parecem improváveis. Mas se pensarmos mais a fundo, perceberemos que estes resultados negativos fazem sentido. Se intervenções mais “agressivas” como drogas ou procedimentos possuem em geral modesto tamanho de efeito (condutas comprovadamente benéficas são raramente benéficas do ponto de vista individual), imaginem uma modificação nutricional.
A ilusão que faz acreditarmos no grande benefício da dieta sofisticada (mais saudável, mais natural, mais mediterrânea ou qualquer coisa da moda) vem do fato de que dietas muito ruins são muito prejudiciais. Mas erramos quando confundimos fator de risco alimentar (dieta calórica o suficiente para promover obesidade mórbida, dieta riquíssima em gordura saturada) com fator de proteção alimentar (ilusório).
Ioannidis publicou no International Journal of Epidemiology uma revisão sobre estudos com mínimos tamanhos de efeito. Nesta revisão, o tipo de estudo mais prevalente dentre esses mini-tamanhos de efeito foram os de nutrição. Mesmo quando se demonstra um benefício em ensaio clínico randomizado, este efeito é mínimo. Isto reforça a lógica de considerar inverossímil os 30% de redução relativa do risco do PREDIMED.
Inverossímil significa baixa probabilidade pré-teste da hipótese ser verdadeira. Considerando que o teste (PREDIMED) tem alto risco de viés, seu valor em aumentar esta baixa probabilidade pré-teste é pequeno. Esta sequência condicional de probabilidade (bayesiana) resulta em baixo valor preditivo positivo do PREDIMED.
Fica a questão do porquê, mesmo depois da descoberta da farsa que promoveu um resultado de baixíssimo valor preditivo positivo, o NEJM concorda em republicar um trabalho, agora com valor preditivo positivo ainda mais baixo. Este é o “Rosebud” do PREDIMED, um mistério que pode guardar consigo um significado maior.
A Crença em Dietas Peculiares
É forte a crença no efeito mágico da alimentação, representada por dietas com restrições ou ofertas peculiares. Muitas destas dietas trazem consigo o rótulo de naturais. Mas na verdade é antinatural fantasiar o alimento de remédio, não comer o que nos dá vontade e apenas ingerir o que nos faria bem de acordo com conceitos teóricos.
Não foi pensando em alimentação natureba que o homo sapiens sobreviveu enquanto espécie. Ao longo de 180.000 anos de coletador-caçador, o homem comia o que tinha vontade dentre o que estava disponível. Portanto, biologicamente somos feitos para comer o que queremos.
Infelizmente não podemos mais fazer isso, pois há grande disponibilidade de alimentos sedutores com alta concentração de calorias. Por isso, precisamos ser artificialmente restritivos, o que é difícil por não ser um dom biológico.
Sendo difícil criar regras alimentares, precisamos focar no que sabemos ser de fato necessário: não exagerar na quantidade de alimentos, principalmente os calóricos, uma conduta de plausibilidade extrema (o paradigma da quantidade). No entanto, parece que há um desvio quando o foco passa a ser no paradigma da qualidade da dieta, que carece de respaldo científico.
Procurar racionalizar as calorias é uma coisa, inventar modas artificiais de dietas com grandes especificidades sob a premissa de que isso trará grande benefício para a saúde é outra coisa.
Mas vamos às razões que nos fazem acreditar em dietas.
Conforto cognitivo é o primeiro viés responsável pela crença na alimentação. Entendo que para leitores entusiastas de dieta, meu texto lhes tira da zona de conforto. Quando somos apresentados a ideias diferentes, somos obrigados a refletir, reavaliar, reconhecer falhas de pensamento. Como isso é trabalhoso, mais fácil é reagir contra a reflexão.
Em segundo lugar, há nossa necessidade de segurança perceptível, que em boa parte obtemos por condutas fantasiosas, já que risco zero (viés do risco zero) é uma utopia.
Em terceiro lugar, há a ilusão de validade, viés descrito por Kahneman como “confiança por coerência”. A coerência da história é suficiente para acreditarmos, sem muitas vezes percebermos o baixo nível de evidência que respalda a ideia. Como há hábitos ruins que fazem muito mal (engordar 50 Kg, fumar, beber em demasia), parece coerente que hábitos bons fariam muito bem. Fácil de se confundir.
Finalmente, para validar nossa crença, o mundo está repleto de exemplos de pessoas que se alimentam muito bem e são de fato saudáveis. Aliás, quando fazemos comparações epidemiológicas (observacionais), pessoas cuja alimentação é rica em vitaminas, vegetais e mais outras coisas boas de fato têm menor incidência de doenças cardiovasculares e câncer. O problema é que as mesmas pessoas que comem as supostas coisas boas são as que não comem as coisas ruins ou que comem em menor quantidade, não fumam, etc. É o viés de confusão.
Portanto, o mundo não randomizado é uma máquina de viés de confirmação no que diz respeito a hábitos de vida. A única forma de esclarecer a questão é randomizar os pacientes. E a melhor forma de manter a crença intocada é fazer um estudo grande, chamá-lo de randomizado, mas na verdade violar grosseiramente a randomização.
E, por trás de todos esses vieses cognitivos, há o viés da lealdade (allegiance bias), quando o resultado de um estudo é construído de forma a se adequar às preferências dos pesquisadores. É a lealdade às suas crenças. Meus amigos sabem que me sou um tanto metódico com alimentação, cultivo meu próprio estilo pessoal. Mas não posso generalizar meu gosto, passando ao usar o que pratico como uma recomendação médica baseada em evidências. Seria uma lealdade excessiva às minhas próprias escolhas pessoais.
No campo individual, crença tem seu papel. No campo coletivo, conceitos devem ser norteados por evidências empíricas de qualidade metodológica adequada. É neste ponto que dietas peculiares perdem sua magia e se tornam apenas modismos sem base em evidências.
----------------------------------------------------------------------------------------------------------------------
Conceitos Discutidos
- Viés de desempenho
- Estudo truncado reduz precisão e veracidade do estudo
- O valor do valor de P na tabela 1: identificar pseudo-randomização
- Malefício da alimentação ruim não é o mesmo que benefício de alimentação peculiar
- Valor preditivo positivo de um estudo (análise bayesiana)
- Vieses cognitivos: conforto cognitivo, segurança perceptível, viés de confirmação, viés de lealdade.
Conheça nosso curso online de medicina baseada em evidências, clicando aqui.
Conheça nosso curso online de medicina baseada em evidências, clicando aqui.