Dear Aseem: nutrition has hijacked evidence-based medicine

My friend Aseem, 

early this morning you shared with me a sensationalistic news of a “Harvard professor” claiming that coconut oil is poison, and my first reaction was “let me look at the evidence, I know nothing about this oil”. Actually, I'm too lazy to look for this evidence. I already know the answer: coconut oil does not matter; neither for good, nor for bad. 

Apart from eating enough calories to become obese or drink alcohol pathologically, food specifics should not be a major cardiovascular concern. Specially coconut. In a scientific sense, the value of food is overestimated. It usually happens with medical opinion: we tend to overestimate the value of beneficial interventions or the harmful effect of risk factors (JAMA Internal Medicine). That’s how the human mind evolved, not much calibrated for “value”. I think it happened with the so called "Harvard professor".

Quality scientific research either fail to show specific dieting effects on clinical outcomes or show very small effects. In a peculiar systematic review from Ioannidis exploring the tiniest effect sizes in literature, nutrition was the field most prevalent; second, when randomised trials adjust for calorie intake and confounding variables, the type of diet does not show much impact on weight or clinical outcomes (PLOS ONE systematic review). The DIETFITS trial recently published in JAMA is one example of such evidence.

So we should not invest our time discussing efficacy of diets, meaning an explanatory concept or intrinsic property.

I know, it seems frustrating, skepticism is boring. By I am not a boring skeptical. I just found a solution to make dieting an interesting issue again: Aseem, let’s shift the discussion to effectiveness.

Efficacy is tested by randomized trials, in which allocation for intervention takes nothing into account (it is random). Thus, a randomized trial does not evaluate the effect of preferences on outcomes, it is a pure explanatory concept.

In the real word, preferences may be taken into account for dieting decision. In this circumstances, if preference and choice match, effectiveness tend to be superior to efficacy, because patients get motivated to perform well with the intervention they prefer. Thus, if a type of diet is an easier match with general preferences, it should be a more effective diet. 

For example, in my non-scientific experience, I have a sense that people on low-carb diets are happier with the experience and results obtained, as compared with other diets. I claim the test of this hypothesis should be pursued. Studies should be planned to test effectiveness. 

Here are some ideas:

• Pragmatic randomized trials, in which just a general recommendation is given and we let people develop their eating habit, their meals in a pragmatic way. Just like a long-term diet takes place in the real world (habit). In this pragmatic circumstance, I suspect a low-carb individual will eat less calories, are happier, lose more weight.

• Observational studies with statistical adjustment for outcome predisposition, as opposed to propensity scores. The traditional propensity score should not be utilised for the test of effectiveness, because it adjust for the very preference that will improve result in a preference-matched choice. Observational studies lose opportunity to test effectiveness by focusing on the non-sense of pursing efficacy of life-style by adjusting for propensity.

• Cross-over studies, to measure the outcome happiness at the end of each intervention. Happiness improves effectiveness and if people are happier with a certain diet, the result will be better.  

Science is more about the right question as opposed to a platonic answer. Sometimes we ask the wrong questions in unfruitful debates. 

I am glad that you woke me up (considering our time difference) with your provocation on coconut oil. I know that, as a cardiologist, your concern is not coconut oil (maybe as a chef it is). You are really concerned with the “miscarriage of science” performed by fake scientific news of this type. To say that any specific food is poison is non-scientific. To use the title of a “Harvard professor” to make such a statement is a good example of eminence-based medicine, as opposed to evidence-based medicine. 

I think advocates should have a role to use the dieting issue to clarify the different values of these two complementary concepts: efficacy and effectiveness. The important issue here is science, not coconut oil.

Meanwhile, I have to confess: personally, I love the subject of dieting and I have my own preferences. Professionally, I should stick with evidence. We need effectiveness evidence. 

Simpósio do Centro de Medicina Baseada em Evidência - BAHIANA

Ozonioterapia e as oxigenações indevidas de condutas médicas

Ozonioterapia foi assunto de destaque na semana passada, provocado por reportagem do Fantástico. Fantástico está no seu papel de transformar fatos cotidianos em coisas sensacionais. Porém o sensacionalismo específico pode deixar nublada a visão geral. Focamos tanto em uma árvore, que perdemos a noção da floresta. 

Ozonioterapia não é uma distorção em meio a uma medicina rigorosamente científica. A oxigenação de condutas fúteis é um fenômeno comum, de alta prevalência, tanto em terapias alternativas, como na medicina tradicional do ocidente. 

Focar a discussão em casos caricaturais, sob a forma de "escândalo", pode gerar a impressão de algo inusitado. Mas esta história não tem nada de inusitada em se tratando de medicina. Precisamos evitar uma discussão maniqueísta, entender posturas fantasiosas como fenômenos sociais, dialogar com a sociedade a fim de promover alfabetização científica. Nosso problema não é apenas ozonioterapia.

Dito isso, vamos ao assunto específico, pois o caricatural também é interessante. 

Nesta postagem, revisarei as evidências sobre ozonioterapia, colocando este tratamento no patamar de suas evidências. Em seguida, ampliaremos a discussão de como lidar com essas questões. Por fim, discutiremos: dentre o manancial de condutas médicas fantasiosas, desde homeopatia a angioplastia coronária em pessoas assintomáticas, qual a relevância da ozonioterapia. 

No último domingo, a reportagem do Fantástico. Na terça, o Conselho Federal de Medicina publicou no Diário Oficial que considera a ozonioterapia um procedimento experimental. Por outro lado, o senado aprovou o projeto de lei autorizando a prescrição de ozonioterapia em todo território nacional e o SUS incluiu este tratamento no rol de práticas integrativas. 

Quem está certo?

Em postagem recente coloquei que talvez pudéssemos considerar práticas integrativas que oferecem efeito benéfico simultâneo (bem estar), pois esta característica dispensa evidências probabilísticas do impacto da conduta. Desde que não substituíssem coisas importantes e o custo fosse aceitável. Este não é o caso da ozonioterapia, que se propõe a oferecer impacto em desfechos futuros (melhora de dor, cicatrização de feridas). Sendo assim, ozonioterapia requer evidências empíricas de seu benefício.

A princípio me parece coerente o posicionamento do Fantástico e do CFM contra a ozonioterapia. Por outro lado, devo reconhecer que essa minha percepção decorre do meu viés do ceticismo, que me faz encarar ozonioterapia como fantasia, antes mesmo de analisar as evidências. Por enquanto, eu tenho apenas uma crença de que ozonioterapia é uma conduta inadequada. Devo, portanto, controlar meu preconceito, dar alguns passos atrás e tentar analisar evidências externas sem influência das minhas evidências internas (crenças).

O nível de evidência da ozonioterapia

Foi ao PUBMED ... acrônimo PICO …

Ao saber que ozonioterapia "serve para tudo" não usei a palavra-chave de P (população), pois todas as populações de doenças poderiam receber essa terapia, como acontece com muitas condutas pseudocientíficas. Também dispensei a palavra-chave de O (outcome), pois se não estou restringindo a doença, fica difícil restringir o desfecho da doença. Assim, minha pesquisa no PUBMED foi baseada apenas na palavra-chave que definia I de intervenção: “ozone therapy" ou simplesmente “ozone”. Ao restringir esta pesquisa ao título, o PUBMED retornou 8.825 artigos.

Em seguida, restringi a pesquisa a Clinical Trials, pois são os ensaios clínicos que testam a eficácia questionada pelo Fantástico. Aparecem 254 ensaios clínicos publicados em revistas indexadas no PUBMED. 

Achei estranho que o Conselho Federal de Medicina afirma no seu portal que a "Comissão para Avaliação de Novos Procedimentos em Medicina avaliou mais de 26.000 trabalhos sobre o tema".  Mesmo que eu não tenha pesquisado em todas as bases de dados que contém revistas de menor impacto, 26.000 é muito diferente que 254. Ao pesquisar “aspirina” no título de qualquer tipo de artigo, PUBMED me retornou 16.000. Será que tem mais trabalho com ozonioterapia do que com aspirina?

Mas vamos voltar ao que importa. Uma leitura rápida do título dos 254 artigos me trouxe insights interessantes: um bom número de estudos contém no título a expressão “ensaio clínico randomizado, duplo cego” e há revistas de alto impacto publicando sobre o assunto, tais como PLOSONE, J Applied Phyisiology, Chest. Não parece ser aquele tipo de assunto publicado apenas em revistas pseudocientíficas. Os cenários clínicos mais abordados pelos artigos são de odontologia, doenças reumáticas, feridas em membros inferiores e alergia. 

Qual a qualidade destes estudos?

Prosseguindo na revisão, seria impossível ler todos os 256 trabalhos. Mas existem as revisões sistemáticas da literatura, que se bem feitas nos dão noção da totalidade das evidências. Assim, restringi minha pesquisa a Systematic Reviews, resultando em 5 artigos. 

Todas as 5 revisões sistemáticas concluem que não há comprovação da eficácia da ozonioterapia. Três revisões são taxativas quanto ao baixo nível de evidência dos poucos trabalhos existentes e não sugerem qualquer tendência. E duas revisões sugerem um benefício na conclusão (forçado), mas reconhecem que mais estudos são necessários para confirmar. 

Merecem destaque duas revisões da Cochrane, uma sobre úlceras de membros inferiores e outra sobre prevenção de cáries. Ambas encontraram apenas poucos trabalhos, pequenos, de baixa qualidade, que não devem influenciar nosso pensamento.

Desta forma, tirei duas conclusões de minha revisão: o assunto é encarado pela comunidade científica como uma terapia que merece o benefício da dúvida, justificando a existência de linhas de pesquisa e trabalhos publicados em boas revistas. Segundo, diferentemente de outras áreas em que há trabalhos de qualidade para influenciar nosso pensamento, este é o caso em que ainda não há evidências suficientes para aumentar, nem evidências que reduzam a probabilidade da terapia ser eficaz. 

Ozonioterapia é diferente de homeopatia. No primeiro, dados empíricos poucos nos informam. No segundo, há estudos de boa qualidade que sugerem ausência de benefício além do placebo.

Ozonioterapia também é diferente de condutas médicas tradicionais em que as evidências de boa qualidade sugerem ausência de benefício e por vezes algum malefício, porém continuam enraizadas: angioplastia coronária em assintomáticos, rastreamento de câncer de próstata, reposição de vitamina D. 

Por exemplo, para falar de minha especialidade. Como cardiologista, sou entusiasta de um tratamento que desobstrui coronárias sem necessidade de uma traumática cirurgia (angioplastia). Porém a má indicação faz de uma conduta verdadeiramente eficaz nas situações certas se tornar um tratamento fantasioso para situações inadequadas. Estatísticas americanas mostram que apenas metade das angioplastias eletivas são claramente apropriadas. Boa parte são realizadas em pacientes estáveis (não reduz desfechos) e assintomáticos (não melhoram sintomas, pois estes não existem). Este é um tipo de situação também fantasioso, porém mais difícil de entender como fantasioso. 

Embora não existam trabalhos capazes de influenciar nosso pensamento (nem para mais, nem para menos) quanto à ozonioterapia, a probalidade pré-teste deste tratamento ser eficaz é muito pequena, o que faz da probabilidade pós-teste mais baixa do que a angioplastia coronária, que começa com uma plausibilidade muito maior. Por outro lado, homeopatia tem probabilidade pré-teste muito baixa e estudos negativos, terminando na probabilidade pós-teste mais baixa do que ozonioterapia. 

Dentro de um espectro de coisas que não funcionam, ozonioterapia está entre homeopatia e angioplastia. No extremo inferior, homeopatia tem probabilidade pré-teste baixa e testes negativos. No extremo superior, angioplastia tem probabilidade pré-teste alta e testes negativos. E no meio está ozonioterapia com probabilidade pré-teste baixa e sem testes que mudem essa probabilidade. Essa é uma análise espectral bayesiana. 

O que significa experimental?

O CRM definiu ozonioterapia como experimental, dando a conotação de que não há comprovação científica. Corretíssimo com base em nossa revisão. Mas aí surge uma questão: o que é experimental?

Não ter comprovação científica é uma condição suficiente para uma conduta ganhar o rótulo de experimental? Se fosse assim, pintar o cabelo de azul em novembro para prevenir câncer de próstata seria uma conduta experimental. 

“Experimental” é um termo lacônico, não ajuda a população entender o nível de evidência a respeito de alguma coisa. Temo que para alguns o “experimental” conote algo promissor, que frente a uma situação em que o tradicional não funcionou, possa ser uma opção. 

Proponho que o termo "experimental" seja usado para condutas não comprovadas, porém com probabilidade pré-teste alta, uma boa dose de plausibilidade biológica e com trabalhos iniciais promissores. 

Ao dialogar com a população sobre esses assuntos, devemos ser claros e aproveitar para gerar uma cultura científica. Eu publicaria que não há estudos de qualidade sobre ozonioterapia. Não se pode concluir nada do ponto de vista empírico. A luz do conhecimento atual, qualquer ozonioterapia estaria sendo implementada com base em crença.

Por que justamente ozonioterapia?

Compreendo que ozonioterapia seja uma reportagem mais sensacionalista e fácil para ilustrar pseudociência em um programa como o Fantástico. Afinal, não é tão fácil de explicar porque exame de próstata não previne morte por câncer ou porque desentupir uma obstrução estável não traz benefícios em desfechos cardiovasculares maiores. Portanto, entendo os editores do Fantástico, afinal este é um programa feito para ser fantástico.

Mais difícil de compreender (ou concordar) é porque a comunidade médica escolhe seletivamente o que  considerar pseudocientífico. Esta seletividade não contribui verdadeiramente para a alfabetização científica da população.

Por que atacamos ozonioterapia e nos fantasiamos de científicos em outros tratamentos fúteis, alguns mais agressivos do que água ozonizada. Ou por que o CRM se posiciona contra ozonioterapia e ao mesmo tempo reconhece como especialidade médica a prática de oferecer soluções hiper diluídas (a ponto de não sobrar nenhuma molécula) sob a premissa de benefício futuro, sem demonstração de benefício em trabalhos com alto nível de evidência?

A discussão sobre uma fantasia específica que não faz parte nossa prática clínica deve servir de estímulo para avaliarmos nossas próprias práticas. Cada um de nós, em nossas próprias especialidades, deve fazer um exercício autocrítico. Quando estamos fantasiando os benefícios de exames de rastreamento, superestimando o benefício de tratamentos, sem levar em conta o custo ao paciente, prognosticando as coisas de forma tendenciosa e univariada? O anticientífico permeia todas as áreas, em inúmeras situações. 

O que seria pior, rastrear câncer de próstata, não salvar vidas e provocar impotências e incontinências? Realizar angioplastia coronária em situação inapropriada? Submeter o paciente a uma sessão fútil de quimioterapia, mas de alto custo? Ou tratar qualquer coisa com água ozonizada? É difícil dizer o que é pior.

Há argumentos de que terapias alternativas fazem pessoas deixar de realizar terapias tradicionais. Eu gostaria de ver evidências epidemiológicas do fenômeno da troca de terapias importantes por ozonioterapia. Estes são casos anedóticos ou temos evidências epidemiológicas de uma prevalência substancial do problema?

Medicina tem muito de pseudocientífico e isso não ocorre apenas nas terapias complementares, alternativas ou integrativas, como a homeopatia ou ozonioterapia. Isso ocorre com condutas sofisticadas, como rotinas cardiológicas ou oncológicas, para falar nos dois principais grupos de doenças no mundo civilizado.

Ozonioterapia é um pseudocientífico caricatural. Temo que a atenção demasiada no caricatural ofusque um fenômeno mais amplo e normalize nossas tradicionais terapias oxigenadas e disfarçadas de científicas. 

---------------------------------------------------------------------------------------------------------------------

Conheça nosso curso online de medicina baseada em evidências, clicando aqui.

Copa do mundo baseada em evidências: Brasil será campeão?

Aviso aos comentaristas esportivos que não precisamos de explicação se o Brasil perder da Bélgica. E se o Brasil ganhar, não precisam explicar que Neymar está evoluindo a cada jogo (variabilidade) ou Coutinho recebeu melhores instruções de Tite e voltou ao seu jogo inicial (regressão à média). 

Tudo falácia narrativa. 

Convenhamos que a evolução da qualidade de Neymar entre os jogos está mais para uma pequena variabilidade do que para uma nítida mudança. O jogador apresenta mais ou menos o mesmo padrão ao longo dos jogos. A diferença é que o Brasil empatou no primeiro jogo e ganhou nos demais. As vitórias progressivas geram interpretações superestimadas de melhora progressiva do time. 

Mas se quisermos acreditar em uma clara evolução, não é difícil encontrar comparações e estatísticas que apontem para isso, deletando observação contraditórias (viés de confirmação). Até que um dia o Brasil perca e Neymar faça um jogo medíocre. Vamos ter que inventar alguma convulsão no quarto do hotel para justificar uma variabilidade que poderia ser vista como parte da natureza das coisas? Lembrem de 98, não precisávamos inventar uma justificativa para o óbvio de que o time de Zidane seria o favorito naquela final dentro da França. 

Mas porque um Blog médico ousa fazer um postagem sobre futebol? Fuga do tema? Nada disso, estamos falando da mesma coisa. 

Palavras originalmente médicas como “diagnóstico” e “prognóstico” são muito usadas no meio futebolístico e “tática de jogo” poderia ser traduzido como “tomada de decisão”. A verdade é que nos comportamos parecidos no futebol e na medicina, e o entrelace desses dois ambientes pode ser instrutivo. 

Falácias narrativas acima descritas são se restringem ao futebol. 

Passamos a vida criando falácias narrativas ("meu paciente infartado com choque cardiogênico sobreviveu porque implantei um balão intra-aórtico") que sustentam condutas sem base em evidências. É uma pena, pois perdemos a oportunidade de aprender com nossa experiência, pois falácia narrativa é a melhor forma de desaprender com a experiência prática. 

Mas vamos voltar ao futebol, o que importa nesses tempo de Copa.

Se o Brasil tivesse perdido para o México pelo acaso da entrada no gol de algumas daquelas bolas perigosas, muito provavelmente os comentários sobre a qualidade do jogo de Neymar não seriam os mesmos. Imagino que estariam dizendo que Neymar não teria evoluído como se esperava ao longo dos jogos. 

Já Neymar, quando faz o gol, comemora fazendo sinal de "cala a boca", sem perceber que foi uma sorte Gabriel Jesus não tem conseguido tocar na bola e ter sido ele o detentor do gol. 

Neymar, seu gol não tem o nível de evidência para mandar ninguém calar a boca. Mas concordo que esses especialistas não têm o nível de evidências para transformar sua variabilidade de qualidade de jogo (típica da natureza) em uma deficiência que precisa evoluir. Até porque você não varia tanto, fica entre um percentil 70 e 80 de qualidade quase o tempo todo. 

Tite, vamos parar de dizer que Neymar está evoluindo para voltar ao seu status normal,  pois esse mesmo jogador foi melhor contra a Áustria (amistoso pré-copa) do que contra a Suíça. Não é evolução! É variabilidade, Tite!

Comentaristas esportivos e técnicos de futebol vivem de falácias narrativas (exceto Tostão, que tem a humildade de dizer que não acreditemos em suas previsões), procuram explicações causais retrospectivas. 

Depois do primeiro jogo cheguei a ouvir em uma mesa redonda da Sport TV: “Tite não é um técnico tão bom quanto se diz”. Independentemente da qualidade de Tite (eu acho que é o melhor técnico do Brasil depois de Telê), é caricatural elogiar Tite ao longo de 2 anos e no primeiro empate na Copa criticar sua qualidade.

Tudo isso, seja no pensamento futebolístico ou médico, decorre da desvalorização do acaso.

O futebol é um esporte dos mais imprecisos. 

Medicina é uma profissão das mais imprecisas.

A magia do futebol está em sua capacidade de dar espaço ao acaso. Vide a eliminação da Espanha pela Rússia, nos pênaltis. Coisa que nunca aconteceria no Basquete, onde a incidência de cestas é muito maior do que o número de gols em um jogo de futebol. Assim, um jogo de futebol não consegue ser uma amostra representativa da realidade. Diferentemente do futebol, o número de desfechos no basquete varia de 150 a 200 cestas. Portanto, se um time pior começar ganhando, na medida em que os desfechos aumentam com o progredir do jogo, o acaso vai se desfazendo e a causa (melhor time) vai tomando forma. Basquete é um esporte anti-acaso, feito para que ganhe o melhor. 

Futebol é um esporte pró-acaso, por isso esses resultados inusitados não são em nada surpreendentes.  Se medicina é a ciência da incerteza, o futebol é o esporte da incerteza. 

Uma copa do mundo é totalmente o contrário do Basquete! Portanto, seria o ambiente onde deveríamos aproveitar para discutir a magia do acaso, ao invés de causalidades construídas sob falsas premissas. 

A copa do mundo não foi feita para diagnosticar a melhor seleção do mundo.

Assim como a prática clínica, repleta de acaso e vieses, não serve para criar conceitos científicos. 

Uma caso bem sucedido não valida o tratamento aplicado. Uma vitória da Rússia não a valida como melhor do que a Espanha.

E não precisam dizer que a era do estilo de jogo espanhol está superada ...

E quase a Argentina ganha da excelente seleção da França ...

Vendo a França jogar, julgo que o time é melhor que o Brasil. Mas a gente deve manter as esperanças se formos para as semi-finais, pois em um imprevisível jogo de futebol, tudo pode acontecer. O Brasil pode ganhar e depois ser campeão do mundo.

Predições Médicas e Futebolísiticas

Medicina é a ciência da incerteza e a arte da probabilidade. 

Quando estamos diante de um ambiente com alto grau de incerteza (futebol e medicina), modelos probabilísticos são menos acurados. O problema é que os modelos mentais tornam-se ainda menos acurados. Ou seja, em um mundo instável, a preferência por modelos matemáticos (em detrimento da intuição humana) deve ser ainda mais forte. 

Portanto, em situações prognósticas incertas, clínicos devem se munir de modelos multivariados que retornem a probabilidade de um evento ocorrer. Assim como comentaristas esportivos devem confiar menos em suas opiniões e usar um pouco mais de estatística. 

Mas também devemos estar cientes de que esses modelos não nos dão certeza, apenas uma resposta probabilística. 

O estatístico americano Nate Silver desenvolveu um modelo probabilístico baseado no histórico de décadas de copa do mundo e também no histórico dos atuais jogadores de cada seleção. Neste modelo, o Brasil tem 30% de probabilidade de se tornar hexacampeão. 

Puxa, apenas 30% ? 

Apenas não, pois o Brasil é o favorito, a seleção com maior probabilidade de ser campeão, seguida pelos 15% da França. No início da copa o Brasil tinha 19%, mas claro que com a progressiva eliminação de seleções, essa probabilidade vai aumentando. 

E então, devemos ficar otimistas ou pessimistas?

Otimistas se pensarmos que somos a seleção mais provável de ganhar, porém pessimistas se pensarmos que é mais provável perder a Copa do que ganhar. 

Podemos dizer que temos 30% de probabilidade de ganhar ou 70% de probabilidade de perder. Frases de mesmo significado, porém de um impacto bem diferente em nossas mentes. 

Este fenômeno psicológico de valorização de uma probabilidade com base na forma como esta é explicitada ocorre igualzinho em medicina. Escolhas de pacientes e de médicos variam substancialmente de acordo com a forma como as coisas são colocadas. Se o enfoque é no ganho ou na perda.

Em um tipo de câncer de pulmão, cirurgia é um tratamento que promove melhor sobrevida do que radioterapia. Porém cirurgia tem o inconveniente do risco do procedimento. Esta é uma situação ideal para testar o viés de aversão à perda.

Em um clássico estudo, investigadores dividiram pacientes em 2 grupos. O primeiro receberia a informação de que 90% sobrevivem à cirurgia versus o segundo grupo que ficou sabendo que 10% morrem na cirurgia. No primeiro caso (enfoque no ganho - sobrevida), 82% dos entrevistados optaram pela cirurgia, comparado a apenas 56% de opção pela cirurgia no segundo grupo que enfocava risco (perda).

E assim nós vamos tomando decisões, sem perceber a influência do irracional de nossos vieses cognitivos. Nossas escolhas não são tão racionais quando achamos ser.

E o Brasil na Copa?

Sugiro o viés do otimismo. Copa do Mundo serve para nos distrair por um mês a cada quatro anos. Pelo menos um mês de diversão depois de inúmeros meses de notícias políticas, econômicas e judiciais bombásticas. 

Arrisco dizer que seria bom para o Brasil sermos campeões. Pois economia é influenciada por otimismo e nada como uma dose de otimismo político-econômico mediada por um engano cognitivo vindo da sensação de campeões do mundo. Pode ser que haja uma influência maior do que pensamos. Ou pode ser que não haja, mesmo assim seria uma alegria momentânea.

Sendo assim, concluo: é melhor pensar que temos 30% de probabilidade de sermos campeões, o dobro da probabilidade da França! E temos 62% de probabilidade de ganhar da Bélgica na sexta-feira, segundo Nate Silver.

Por outro lado: caso a gente não seja campeão, não precisamos inventar causas específicas, apenas nos lembrar que tínhamos 70% de probabilidade de perder a copa do mundo. 

Assim, aproveitamos do otimismo a priori e da serenidade a posteriori. Essa é minha sugestão para os “milhões em ação” da torcida brasileira: futebol baseado em evidências. 

E sexta-feira tem mais ...

O Escândalo do Mediterrâneo e a Mito das Dietas

Os autores do PREDIMED Trial acabam de fazer uma retratação (retraction) referente à publicação original do trabalho em 2013 no New England Journal of Medicine. Na retratação os autores reconhecem violações no processo de randomização e retiram o artigo (withdraw).

O PREDIMED testou a eficácia da dieta do mediterrâneo (rica em azeite de oliva, avelãs, nozes, amêndoas, peixe, frutas, vegetais), tendo como grupo controle a recomendação de uma dieta saudável (evitar excesso de gordura saturada e incentivo para frutas e vegetais). O estudo concluiu que a dieta do mediterrâneo reduzia o risco de eventos cardiovasculares de forma expressiva (redução relativa do risco de 30%).

Naquela época, publicamos neste Blog nossa análise crítica do PREDIMED, apontando alto risco de viés de desempenho e “imprecisão tendenciosa”, induzida pela interrupção precoce baseada em resultado positivo (truncamento), em momento de poucos desfechos. 

Ademais, nos parecia inverossímil a magnitude do tamanho do efeito das nozes com azeite de oliva: 30% de redução relativa de risco, equivalente a estratégias farmacológicas ou invasivas de prevenção cardiovascular. 

Em paralelo ao nosso post, submetemos a crítica como Carta ao Editor do NEJM, porém nossa correspondência foi rejeitada em 2013.

As raras críticas ao estudo passaram despercebidas frente ao entusiasmante resultado e a dieta do mediterrâneo passou a ser cortejada. Quanto a mim, passei a usar o PREDIMED em aulas como exemplo de estudo com baixo valor preditivo positivo.

Cinco anos depois, somos surpreendidos com esta retratação e retirada bombástica.

Mais surpreendente, no entanto, foi o NEJM aceitar a republicação de uma nova versão do trabalho, após suposta exclusão dos pacientes não randomizados. Versão esta que mantém o mesmo resultado inverossímil e os mesmos problemas apontados por nós em época que não tínhamos ideia das grosseiras violações na randomização. 

O risco é que a nova versão do PREDIMED (publicada no mesmo dia que a versão antiga foi retirada) seja vista como uma confirmação dos resultados positivos. Fica claro que precisamos aprofundar essa discussão. Enviei novamente uma carta ao editor do NEJM, intitulada “still, too good to be true”, que está em processo de análise. 

Esta postagem pretende contar a interessante história de investigação estatística que descobriu a farsa do PREDIMED, discutir porque o resultado do PREDIMED é inverossímil, e porque tendemos a acreditar religiosamente em grandes benefícios do estilo alimentar.

O Detetive Estatístico

Tudo surgiu quando o compulsivo estatístico Carlisle avaliou 5.000 trabalhos randomizados e procurou por diferenças estatisticamente significantes entre dois grupos de alocação, publicando sua análise no Anaesthesia. 

Nas revistas modernas não mais se expõe na Tabela 1 o valor de P da comparação de características entre grupos de pacientes alocados randomicamente. Isto porque não há sentido estatístico no valor de P, pois sendo uma alocação aleatória, qualquer diferença entre os dois grupos se deveria ao acaso. Portanto, espera-se que todos os valores de P sejam próximos a 1.0, principalmente em um grande estudo de 7.500 pacientes como é o caso do PREDIMED.

A presença de alguma diferença muito significativa sugere que houve violação da randomização. O autor do estudo encontrou valor de P muito significativo em 11 artigos do NEJM. Destes, todos os trabalhos conseguiram se justificar (erro de digitação ou erro da análise de Carlisle), exceto o PREDIMED. Foi então que seus autores reconheceram que houve problema de randomização: foram incluídos na dieta do mediterrâneo 425 indivíduos simplesmente por morarem na mesma casa de pacientes randomizados e 467 outros pacientes foram alocados de acordo com centro pesquisador e não individualmente randomizados.

A gravidade desse erro quebra a confiabilidade do estudo, e aumenta o potencial impacto de vieses subliminares como os que havíamos levantado há 5 anos. Se já não dava para confiar, agora então fica muito mais questionável. Mesmo assim, os autores foram presenteados com a oportunidade de republicar o estudo após exclusão destes pacientes, mantendo o mesmo resultado positivo, na mesma inverossímil magnitude.

Por que o PREDIMED é Inverossímil

Enquanto estudos observacionais mostram animadores resultados de hábitos de vida na promoção da saúde, quando devidamente testados em estudos intervencionistas randomizados, o impacto de hábitos supostamente saudáveis torna-se inexistente ou de magnitude frustrante. É o caso das evidências contrárias ao efeito do exercício na perda de peso ou na redução de risco cardiovascular (controversas postagens desse Blog), assim como ausência de efeito cardiovascular de uma dieta mais rigorosa em pacientes com diabetes (Look AHEAD Trial). 

A princípio, estas afirmações parecem improváveis. Mas se pensarmos mais a fundo, perceberemos que estes resultados negativos fazem sentido. Se intervenções mais “agressivas” como drogas ou procedimentos possuem em geral modesto tamanho de efeito (condutas comprovadamente benéficas são raramente benéficas do ponto de vista individual), imaginem uma modificação nutricional. 

A ilusão que faz acreditarmos no grande benefício da dieta sofisticada (mais saudável, mais natural, mais mediterrânea ou qualquer coisa da moda) vem do fato de que dietas muito ruins são muito prejudiciais. Mas erramos quando confundimos fator de risco alimentar (dieta calórica o suficiente para promover obesidade mórbida, dieta riquíssima em gordura saturada) com fator de proteção alimentar (ilusório). 

Ioannidis publicou no International Journal of Epidemiology uma revisão sobre estudos com mínimos tamanhos de efeito. Nesta revisão, o tipo de estudo mais prevalente dentre esses mini-tamanhos de efeito foram os de nutrição. Mesmo quando se demonstra um benefício em ensaio clínico randomizado, este efeito é mínimo. Isto reforça a lógica de considerar inverossímil os 30% de redução relativa do risco do PREDIMED. 

Inverossímil significa baixa probabilidade pré-teste da hipótese ser verdadeira. Considerando que o teste (PREDIMED) tem alto risco de viés, seu valor em aumentar esta baixa probabilidade pré-teste é pequeno. Esta sequência condicional de probabilidade (bayesiana) resulta em baixo valor preditivo positivo do PREDIMED.

Fica a questão do porquê, mesmo depois da descoberta da farsa que promoveu um resultado de baixíssimo valor preditivo positivo, o NEJM concorda em republicar um trabalho, agora com valor preditivo positivo ainda mais baixo. Este é o “Rosebud” do PREDIMED, um mistério que pode guardar consigo um significado maior.

A Crença em Dietas Peculiares

É forte a crença no efeito mágico da alimentação, representada por dietas com restrições ou ofertas peculiares. Muitas destas dietas trazem consigo o rótulo de naturais. Mas na verdade é antinatural fantasiar o alimento de remédio, não comer o que nos dá vontade e apenas ingerir o que nos faria bem de acordo com conceitos teóricos. 

Não foi pensando em alimentação natureba que o homo sapiens sobreviveu enquanto espécie. Ao longo de 180.000 anos de coletador-caçador, o homem comia o que tinha vontade dentre o que estava disponível. Portanto, biologicamente somos feitos para comer o que queremos.

Infelizmente não podemos mais fazer isso, pois há grande disponibilidade de alimentos sedutores com alta concentração de calorias. Por isso, precisamos ser artificialmente restritivos, o que é difícil por não ser um dom biológico. 

Sendo difícil criar regras alimentares, precisamos focar no que sabemos ser de fato necessário: não exagerar na quantidade de alimentos, principalmente os calóricos, uma conduta de plausibilidade extrema (o paradigma da quantidade). No entanto, parece que há um desvio quando o foco passa a ser no paradigma da qualidade da dieta, que carece de respaldo científico. 

Procurar racionalizar as calorias é uma coisa, inventar modas artificiais de dietas com grandes especificidades sob a premissa de que isso trará grande benefício para a saúde é outra coisa. 

Mas vamos às razões que nos fazem acreditar em dietas. 

Conforto cognitivo é o primeiro viés responsável pela crença na alimentação. Entendo que para leitores entusiastas de dieta, meu texto lhes tira da zona de conforto. Quando somos apresentados a ideias diferentes, somos obrigados a refletir, reavaliar, reconhecer falhas de pensamento. Como isso é trabalhoso, mais fácil é reagir contra a reflexão.

Em segundo lugar, há nossa necessidade de segurança perceptível, que em boa parte obtemos por condutas fantasiosas, já que risco zero (viés do risco zero) é uma utopia.

Em terceiro lugar, há a ilusão de validade, viés descrito por Kahneman como “confiança por coerência”. A coerência da história é suficiente para acreditarmos, sem muitas vezes percebermos o baixo nível de evidência que respalda a ideia. Como há hábitos ruins que fazem muito mal (engordar 50 Kg, fumar, beber em demasia), parece coerente que hábitos bons fariam muito bem. Fácil de se confundir. 

Finalmente, para validar nossa crença, o mundo está repleto de exemplos de pessoas que se alimentam muito bem e são de fato saudáveis. Aliás, quando fazemos comparações epidemiológicas (observacionais), pessoas cuja alimentação é rica em vitaminas, vegetais e mais outras coisas boas de fato têm menor incidência de doenças cardiovasculares e câncer. O problema é que as mesmas pessoas que comem as supostas coisas boas são as que não comem as coisas ruins ou que comem em menor quantidade, não fumam, etc. É o viés de confusão.

Portanto, o mundo não randomizado é uma máquina de viés de confirmação no que diz respeito a hábitos de vida. A única forma de esclarecer a questão é randomizar os pacientes. E a melhor forma de manter a crença intocada é fazer um estudo grande, chamá-lo de randomizado, mas na verdade violar grosseiramente a randomização. 

E, por trás de todos esses vieses cognitivos, há o viés da lealdade (allegiance bias), quando o resultado de um estudo é construído de forma a se adequar às preferências dos pesquisadores. É a lealdade às suas crenças. Meus amigos sabem que me sou um tanto metódico com alimentação, cultivo meu próprio estilo pessoal. Mas não posso generalizar meu gosto, passando ao usar o que pratico como uma recomendação médica baseada em evidências. Seria uma lealdade excessiva às minhas próprias escolhas pessoais.

No campo individual, crença tem seu papel. No campo coletivo, conceitos devem ser norteados por evidências empíricas de qualidade metodológica adequada. É neste ponto que dietas peculiares perdem sua magia e se tornam apenas modismos sem base em evidências. 

----------------------------------------------------------------------------------------------------------------------

Conceitos Discutidos 

- Viés de desempenho

- Estudo truncado reduz precisão e veracidade do estudo

- O valor do valor de P na tabela 1: identificar pseudo-randomização

- Malefício da alimentação ruim não é o mesmo que benefício de alimentação peculiar

- Valor preditivo positivo de um estudo (análise bayesiana)

- Vieses cognitivos: conforto cognitivo, segurança perceptível, viés de confirmação, viés de lealdade.

Conheça nosso curso online de medicina baseada em evidências, clicando aqui.