terça-feira, 26 de março de 2019

O Estudo do Ovo e o Elefante na Sala



O Estudo do Ovo publicado no Journal of American Medical Association este mês tem sido amplamente criticado entre os pensadores baseados em evidências por ter concluído que “consumo de ovo foi significantemente associado a aumento de risco cardiovascular, o que deve ser considerado em recomendações de guidelines”. 

Se por um lado me parece adequada a colocação de que esta não é evidência suficiente para estabelecer ovo como fator de risco cardiovascular, as críticas deixam passar despercebido um elefante na sala: na verdade, este foi um estudo negativo!

O elefante fica escondido na sala quando nosso foco é direcionado para uma questão menos importante. Neste caso, a crítica foi erroneamente concentrada na natureza observacional do estudo. Neste post, primeiro explicarei por que as críticas estão fora de foco e depois revelarei o elefante na sala, explicando porque este é um estudo negativo, e não positivo.

Pesquisa de Dano em Estudos Observacionais


Na primeira metade do século passado, 80% da população ocidental era fumante e este hábito não era considerado prejudicial. O gastroenterologista Richard Doll investigou o tabagismo como uma possível causa de úlcera péptica e não encontrou associação. Então, ele olhou para além de sua especialidade e investigou o câncer de pulmão, em colaboração com o famoso estatístico Austin Bradford Hill. Esta investigação levou ao histórico artigo publicado no British Medical Journal em 1950, demonstrando que tabagismo causa câncer de pulmão. Foi um estudo observacional e até agora, claro, não há ensaio clínico randomizado comparando incidência de câncer entre tabagismo e placebo.

Devemos criticar a ideia de que fumar causa câncer porque a evidência veio de um estudo observacional? Então por que criticamos a natureza observacional do Estudo do Ovo em testar a ideia de que os ovos causam doenças cardiovasculares?

A crítica à natureza observacional destes estudos não considera a diferença entre dano e benefício, evitar e implementar, deixar de fazer e fazer, situações que possuem diferentes ônus da prova. 

Ao testar dano, um estudo positivo levará à recomendação de “evitar”. Ao testar efeito benéfico, um resultado positivo levará à recomendação de “fazer”. A consequência negativa de uma recomendação inadequada de “fazer” tende a ser pior do que a recomendação de “evitar”, portanto o ônus da prova no primeiro deve ser maior. Além disso, é comum que nos depararmos com impossibilidade ética de testar dano em desenho intervencionista, deixando os estudos observacionais como o melhor nível possível de evidência em muitas situações de dano. 

Quando falamos de intervenção (dietética, medicamentosa, procedimentos) é apropriado criticar recomendações oriundas de estudos observacionais. A terapia de reposição hormonal foi recomendada para prevenção cardiovascular com base em dados observacionais e, posteriormente, dados randomizados indicaram que essa terapia aumenta eventos cardiovasculares. Além disso, muitos mitos alimentares milagrosos são criados por dados observacionais.

Por outro lado, ao testar dano, não devemos ter uma regra geral de que um estudo  observacional não pode deve considerado confirmatório. Com critério, devemos avaliar a questão de perto e considerar duas condições que, se obedecidas, nos permitem a considerar a evidência observacional como suficiente para gerar um conceito de causalidade: primeiro, alta plausibilidade biológica, levando a alta probabilidade pré-teste da hipótese; segundo, uma associação muito forte: a taxa de risco para tabagismo e câncer ou para álcool e cirrose hepática são ambos em torno de 20, significando um aumento de risco relativo de 1900%.

Como exemplo, em postagem recente deste Blog, discutirmos as evidências de que diuréticos tiazídicos causam câncer de pele não melanoma, concluindo que estas obedecem aos critérios de causalidade. Provavelmente esta informação de dano é verdadeira. Mas às época as pessoas rejeitaram o estudo com base em seu desenho observacional. A rapidez das críticas por vezes dá a impressão de que os críticos não leram o estudo. Por isso um elefante na sala passa despercebido. 

Precisamos de slow science na interpretação dos trabalhos. Percebo comentários instantâneos nas redes sociais, típico da perigosa prática do fast science

Outra evidência de fast science são as precipitadas críticas ao recente trabalho apresentado em congresso europeu de arritmia que sugere dieta low carbo ser gatilho para fibrilação atrial (dano). Críticas não podem surgir antes de lermos o artigo, e ninguém leu, pois o artigo ainda não foi publicado. Por enquanto é apenas notícia de congresso. 

Portanto precisamos ler estudos observacionais e ao ler aplicar uma visão crítica. A hipótese testada no estudo do ovo foi de dano. Então, em vez de criticar a natureza do estudo, devemos cuidadosamente buscar as duas condições citadas acima.

Com relação à probabilidade pré-teste desta hipótese, é difícil compreender como meio ovo por dia seria suficiente para aumentar o risco de eventos cardiovasculares, já que os ovos são apenas uma pequena porção do colesterol dietético, e colesterol dietético não determina colesterol plasmático de acordo com ensaios clínicos. Em segundo lugar, o Estudo do Ovo mostra associação muito fraca, que não satisfaz nossa condição causal-observacional: risco relativo = 1,06, um aumento relativo de apenas 6%.

Portanto, ao ler apropriadamente este estudo observacional, com mente aberta para qualquer tipo de conclusão, concluímos o resultado não é suficiente para ser valorizado como confirmatório de causalidade. 

Mas não ficamos por aqui. Algo pior que foi perdido pela abordagem fast science: um verdadeiro elefante na sala. 

O Elefante na Sala


Juntamente com o consumo de ovos, o estudo avaliou o colesterol total da dieta. A análise dos efeitos diretos do ovo e do colesterol total da dieta, ajustados estatisticamente entre si, diferencia a natureza causal ou não causal da relação entre ovos e eventos cardiovasculares.

Veja como a análise conta uma história que faz sentido.

Tanto ovos quanto colesterol total da dieta foram associados a eventos cardiovasculares incidentes durante um seguimento mediano de 17,5 anos. Cada 300 mg adicionais de colesterol na dieta por dia aumentaria o risco em 17% após o ajuste para os fatores de risco. Cada meio ovo adicional aumentaria 6% do risco após o ajuste para os fatores de risco.

Agora, a análise multivariada: quando os ovos foram ajustados para o colesterol total da dieta, os ovos perderam totalmente a significância estatística (estudo negativo). Sugere que o consumo de ovos é apenas um marcador de uma dieta rica em colesterol. A verdadeira associação direta (embora isso não indique causalidade também) é entre colesterol total na dieta e eventos cardiovasculares. 

Para confirmar esse pensamento, quando o colesterol total da dieta foi ajustado para ovos, sua taxa de risco permaneceu a mesma, igualmente significativa. Assim, ovos não são intermediários da relação entre colesterol na dieta e eventos cardiovasculares, dando menos valor epidemiológico ao ovo. 

A primeira análise torna o estudo negativo para o valor preditivo independente dos ovos quanto a eventos cardiovasculares. A segunda análise mostra que o preditor independente é o colesterol total da dieta, após ajuste para ovos.

(OBS: no caso do colesterol total da dieta, preditor não é o mesmo que causador, predizer é uma condição necessária para sugerir causalidade, mas não suficiente. Mas meu assunto aqui é ovo).

Há outro truque para diferenciar a causalidade e confusão: comparar a mortalidade específica à não-específica.

A mortalidade depende de uma cadeia de eventos sujeitos a confusão. Assim, a análise da mortalidade específica fornece uma visão comparando as diferentes naturezas das mortes.

A maneira de diferenciar causalidade e confusão é testar a associação entre o preditor e um “desfecho fora de contexto”. A mortalidade cardiovascular é um "desfecho dentro de contexto" da hipótese de que o ovo causa doença cardiovascular. A mortalidade não cardiovascular não tem nada a ver com essa hipótese, sendo um “desfecho fora de contexto”. A associação do preditor com  um “desfecho fora de contexto” indica efeito de confusão no trabalho e estas variáveis de confusão podem mediar também o resultado do “desfecho contextual”.

Se o candidato a preditor de risco candidato estiver igualmente associado ao desfecho contextual (mortalidade cardiovascular) e ao desfecho fora de contexto (mortalidade não cardiovascular), a associação não é causal. O mesmo confundimento está mediando as duas associações.

Neste estudo, o consumo de ovos está associado a mortalidade cardiovascular. Pode fazer sentido. Mas foi similarmente associado à mortalidade não cardiovascular, o que não faz sentido. Indica uma forte influência do confundimento nesse ecossistema epidemiológico.

(OBS: o mesmo aconteceu para colesterol total da dieta. Mas meu assunto aqui é ovo).

Portanto, a ausência de valor preditor independente e a associação de ovo com um desfecho fora de contexto tornam este um estudo negativo, cuja conclusão sofreu um grosseiro spin positivo que não considerou o universo multivariado de estudos observacionais. 

Enquanto a leitura do um ensaio clínico é mais direta pois não há efeito de confusão, a leitura de um estudo observacional é mais laboriosa. A interpretação dos resultados deve levar em consideração a análise multivariada, que contém pistas da verdadeira realidade.

Minha Dieta


Eu como um ovo por dia, no café da manhã. O consumo médio nos Estados Unidos é de meio ovo por dia. Se a associação demonstrada no estudo fosse causal, meu hábito de ovo aumentaria meu risco em 6%. Como um homem de 49 anos, sem fatores de risco, tenho 5% de risco de eventos cardiovasculares. Comer meu ovo no café da manhã aumentaria meu risco de 5% para 5,3%. Portanto, manteria meu hábito mesmo que esse fosse um ensaio clínico randomizado que confirmasse o efeito deletério do ovo.

Isso me faz pensar. Nossa sequência de análise crítica, passa primeiro pela veracidade, depois pela relevância. Talvez devêssemos inverter essa ordem. Primeiro avaliar a força de associação, se o tamanho do efeito faz diferença. Se não, pouco importa a veracidade.

--------------------------------------------------------------------------------------------------------------------------

Mensagens Principais
  • Um estudo só deve ser comentado após sua devida publicação e leitura cuidadosa.
  • A regra de que estudos observacionais não demonstraram causalidade não deve ser generalizada para análise de dano
  • Duas condições devem ser obedecidas para confirmação de dano por estudo observacional: alta probabilidade pré-teste e grande tamanho de efeito.
  • Análise multivariada deve ser cuidadosamente analisada, pois resultados de ajustes estatísticos estão no cerne da avaliação da causalidade em estudos observacionais.
  • Um técnica de avaliação de efeito de confusão é a análise da associação com "desfechos fora de contexto".
  • Ovo não é o problema.
--------------------------------------------------------------------------------------------------------------------------

Acesse nosso Curso Online de MBE, clicando aqui

11 comentários:

  1. Sempre muito boa a leitura de sua discussão! Parabens!

    ResponderExcluir
  2. Prezado Professor. Parabéns pelo esclarecedor post. Sou um seguidor assíduo do seu blog e um declarado fã. Apenas uma dúvida (me desculpe se for uma dúvida idiota). O senhor comenta que no caso de estudos observacionais, a mortalidade não específica seria mais sujeita a fatores de confusão, o que eu concordo plenamente. Mas e no caso de Estudos clínicos randomizados? Considerar a mortalidade não específica não seria um endpoint mais "hard" do que a mortalidade específica? Nesse caso, poderia ser usada a mortalidade não específica? Obrigado desde já pela sua atenção

    ResponderExcluir
  3. Luis Correa você é um grande médico e seu Blog é excepcional. A análise crítica de trabalhos científicos não é feita de forma rotineira. Revistas médicas tornaram-se reténs de grupos econômicos, principalmente da indústria farmacêutica. Ao final desse artigo você nos oferece de forma precisa, oferece uma excelente orientação. O instituto Cochrane já foi colocado em check. O pensamento crítico cede ao efeito manada. Os ciclos se repetem. Muito mais de menos. Fica a lembrança: o certo é certo, mesmo que ninguém esteja fazendo; o errado (ou duvidoso) é errado (ou duvidoso), mesmo que todos estejam fazendo (sem questionamento), baseado num p <0,05, ou com amostras pequenas ou sem uma extratificação (ou contextualização). Você tem razão.Alfredo Guarischi, Cirurgião, Rio de Janeiro

    ResponderExcluir
  4. Luis Correa você é um grande médico e seu Blog é excepcional. A análise crítica de trabalhos científicos não é feita de forma rotineira. Revistas médicas tornaram-se reténs de grupos econômicos, principalmente da indústria farmacêutica. Ao final desse artigo você nos oferece de forma precisa, oferece uma excelente orientação. O instituto Cochrane já foi colocado em check. O pensamento crítico cede ao efeito manada. Os ciclos se repetem. Muito mais de menos. Fica a lembrança: o certo é certo, mesmo que ninguém esteja fazendo; o errado (ou duvidoso) é errado (ou duvidoso), mesmo que todos estejam fazendo (sem questionamento), baseado num p <0,05, ou com amostras pequenas ou sem uma extratificação (ou contextualização). Você tem razão.

    ResponderExcluir
  5. Caro Luis
    Perfeita a sua análise! Tenho sempre muito cuidado com estudos observacionais, mas, tenho mais cuidado ainda quando o estudo é ciencia nutricional. Estudos nutricionais são sujeitos a vieses inumeros, dado que se baseia, em geral, em questionarios alimentares. Os fatores de confusão são inumeros e nesse caso o colesterol dietário total (se é possivel, de fato, analisa-lo) é o maior fator. Mas, ajuste para a dose é ainda mais dificil uma vez que os habitos mudam. Qual seria a "carga" do colesterol ao fim de x anos? a carga tabagica, sabe-se, é mais facil medir- quantos cigarros/dia por x anos. Parabéns uma vez mIA
    Amélio Godoy Matos (RJ).

    ResponderExcluir
  6. Um outro fator precisa ser levado em conta: quem come o ovo. Provavelmente um diabético, revascularizado teria risco maior com dieta rica em gordura que um jovem, atleta, não diabético.

    ResponderExcluir
  7. É mais fácil vilanizar o ovo, que já está cansado de mudar de lado do que analisar o quê se faz e come além do ovo.

    ResponderExcluir
  8. Bom dia Luis.achei sua analise excelente.
    Hoje é dificil separar a ciência de fato, dos estudos vinculados aos interesses mercadologicos.
    Muito trabalhos sem qualquer valor científico, estabelecendo condutas e tratamentos médicos.
    Parabens

    ResponderExcluir
  9. Prezado Luis, boa polêmica!

    Esse post lembra-me duas expressões familiares: "achar pelos nos ovos" e "ser sutil como um elefante em um jardim de petúnias"...

    Eu adoro ovo: cozido; frito no Microondas, frito ou melhor "abafado" em uma frigideira antiaderente tampada; com um pingo de óleo de oliva; com a gema dura; com a gema mole; ou mesmo no tradicional "mexido mineiro", onde adicionamos uns "ovos mexidos" a uma mistura alquímica contendo, entre outros, aquele queijo mineiro bem curado que ficou esquecido na geladeira e uns pedaços do bom e velho bacon.

    Agora alguns "fatos"...

    - Estudos mostraram que "bactérias gram-negativas foram encontradas em gemas de ovo, mesmo antes de rompidas (salmonelas podem ser flora bacteriana comum em aves e répteis)". Bem, eu guardo meus ovos na geladeira (após cerca de 3 dias não há salmonela que resista) embora confesse: aquela gema mole do ovo bem frito é bastante "gourmet"!

    - Há quem argumente que alimentos processados no forno de Microondas sejam cancerígenos (não vou nem comentar...)

    - Dizem os nutricionistas que o "Ponto de fumaça" do óleo de Oliva é baixo, de maneira que "satura facilmente" (bem, o que eu quero mesmo é o "gourmet" do ovo produzido dessa forma especial; além disso, com a panela tampada a temperatura pode ser mantida mais baixa, desnaturando as proteínas a menor temperatura).

    - O excessivo consumo de gorduras saturadas de origem animal é um fator de risco para diversas doenças degenerativas (Aí sou indefensável: a meu favor, só tenho a dizer que há uma diferença entre "Prolongar a vida" e "tornar a vida longa"...!)

    "In a nutshell" ou sumarizando:

    - Toda ciência tem de ser bem avaliada, tendo em contexto tanto os achados de artigos científicos (bem elaborados) como os conhecimentos de base em: química, bioquímica, fisiologia, no caso até Bromatologia.

    - Por fim: há algo de que é fácil se esquecer. A Medicina Baseada em Evidência também deve levar em conta as preferências do paciente! A esse respeito, veja o gráfico dos pragmáticos alemães, cujo link insiro abaixo. Percebe-se que até este povo tido como "frio ou inflexível", pelo menos no ponto de vista teórico, já assumiu esse valor.

    https://www.aerzteblatt.de/callback/image.asp?id=72160


    https://www.aerzteblatt.de/callback/image.asp?id=72160

    ResponderExcluir