Qual o significado de "fake news científica"?

Informações incorretas sempre existiram. Ao se tornar um termo popular, a expressão "fake news" passou a alertar pessoas e promoveu um útil ceticismo, o que não é natural da mente humana.

A mente humana evoluiu de forma crente por 200.000 anos. De fato, a psicologia evolucionista sugere que nossa capacidade única de fantasiar fenômenos abstratos foi responsável pela sobrevivência da espécie sapiens.

Como Francis Bacon declarou certa vez, "a mente humana é mais excitada por afirmativas do que por negativas". E isto foi recentemente demonstrado no tweeter e publicado na Science: "fake news spread faster than true news".

Embora tenhamos evoluído tecnologicamente e a ciência esteja no centro dessa evolução, a mente humana não teve tempo suficiente para evoluir da fantasia para o ceticismo. Os últimos 500 anos não foram suficientes para superar 200.000 anos de evolução. Biologicamente, somos crentes.

A raiz do pensamento científico é o ceticismo. Na ciência, devemos ter um método para superar nossa predisposição a acreditar. Este método é chamado de hipótese nula: começamos por não acreditar e apenas mudamos para a alternativa de acreditar depois que fortes evidências rejeitam o nulo. Como esta não é a forma natural do pensar, ser cético é cansativo e às vezes chato.

Isso está no centro de um problema científico: a falta de reprodutibilidade, bem descrita por Ioannidis em seu popular artigo do PLOS One: "most published research findings are false". E nós acreditamos nelas.

O termo "fake news" tornou-se popular há dois anos e serviu como um alerta para as pessoas, antes de se tornar impopular por razões políticas.

Com um entendimento correto de seu significado, o termo "fake news científica" pode ajudar contra o problema da reprodutibilidade científica. Mas primeiro, devemos diferenciar "fake news científica" de "fake news".

A fake news é criada por uma pessoa ou um pequeno grupo de pessoas com interesse comum. A fake news científica é criada por um sistema que é defeituoso: os criadores não estão sozinhos, os revisores, editores, sociedades e leitores têm que aprová-la e espalhar a mensagem com entusiasmo. E eles podem fazer isso com boa intenção. 

Fake news decorre de comportamento pessoal, fake news científica é sistêmica, decorre do comportamento do universo científico.

Na fake news seu criador sabe que a notícia é falsa. Na fake news científica, o criador acredita na mensagem, uma crença reforçada por seu viés de confirmação.

A fake news tem um criador com problema de integridade pessoal. Na fake news científica, o criador sofre de integridade científica, mediada biologicamente por vieses cognitivos.

Fake news não tem evidências empíricas, fake news científica tem evidências experimentais que sugerem credibilidade.

Fake news são facilmente descartadas. Fake news científicas podem levar anos para serem descartadas. São responsáveis pelo fenômeno de "medical reversal", quando a informação inadequada conduz o comportamento médico por anos, apenas para ser revertida depois que uma evidência mais forte aparece. Foi o caso de terapias médicas que foram incorporadas como Xigris para sepse, hipotermia após parada cardíaca, beta-bloqueadores para cirurgia não cardíaca e assim por diante ...

Em seu artigo seminal sobre reversão médica, Vinay Prasad escreveu que "we must raise the bar and before adopting medical technologies".

E a última diferença: Donald Trump adora o termo "fake news", mas não tem a menor ideia do que "scientific fake news" significa.

Bem, não é que as notícias falsas científicas sejam totalmente ingênuas, há também conflito de interesses mediando o fenômeno. Mas o principal conflito vem do viés do positivismo, ou seja, autores, editores ou leitores preferem estudos positivos do que estudos negativos.

Seguindo a descrição dos vieses cognitivos da mente humana de Kahneman e Tversky, Richard Thaler surgiu com a solução para empurrar (nudge) o comportamento humano na direção certa. Nudge significa intervenções inconscientes para mudar comportamento, que poder ser mais eficazes do que argumentos racionais.

Por exemplo, para evitar que as pessoas soneguem nas declarações de impostos, em vez de explicar como é importante pagar impostos, um nudge diria apenas que "a maioria das pessoas preenche suas declarações de forma correta". Foi o mais eficaz para melhorar esse comportamento no Reino Unido.

No caso da ciência, a expressão "fake news" é tão forte que pode atuar como um estímulo à integridade científica. Sim, pode parecer politicamente incorreto, mas é um nudge disruptivo. Não basta ensinar metodologia científica, isso não tem sido suficiente, tal como recentemente mencionado por Marcia Angell, ex-editora do NEJM: "no longer possible to believe much of clinical research published".

Não penso que estamos em uma crise de integridade científica. Na verdade, acho que esse tipo de discussão nunca foi tão prevalente, o que me deixa otimista.

Mas um nudge pode acelerar o processo: antes de ler qualquer artigo, devemos fazer uma avaliação crítica de nossas crenças internas e nos perguntar: neste assunto específico, estou especialmente vulnerável a acreditar em "fake news científica"?

SCOT-HEART: como identificar fake-news científica (pré-leitura e leitura)

Ontem foi apresentado no Congresso Europeu de Cardiologia e simultaneamente publicado no NEJM um ótimo exemplo de fake-news científica, o SCOT-HEART Trial.  

Aproveitarei para mostrar que a leitura do artigo começa antes do processo tradicional. A pré-leitura que nos traz o espírito crítico necessário para o processo de leitura. Na pré-leitura começamos a desenvolver uma visão do todo, como se estivéssemos olhando uma cidade ainda da janela do avião.

Depois pousaremos o avião e iniciaremos a leitura, onde veremos os detalhes. 

A pré-leitura de um artigo é composta de duas perguntas: primeiro, a hipótese faz sentido, este estudo deveria ter sido realizado? (probabilidade pré-teste da ideia = plausibilidade + estudos prévios); segundo, o resultado é bom demais para ser verdade  (tamanho de efeito)?

Na pré-leitura devemos evitar inundar a cabeça de detalhe. Precisamos apenas identificar qual a hipótese testada e qual o resultado principal. Lendo apenas a conclusão do artigo, obtemos essas informações que devem ser acompanhada de uma olhada na linha dos resultados que apresenta os números principais para ter noção do tamanho do efeito (coisa de 30 segundos).

No caso do SCOT-HEART trial:

 "CTA in addition to standard care in patients with stable chest pain resulted in a significantly lower rate of death from coronary heart disease or nonfatal myocardial infarction at 5 years than standard care alone.

The 5-year rate of the primary end point was lower in the CTA group than in the standard-care group (2.3% [48 patients] vs. 3.9% [81 patients]; hazard ratio, 0.59; 95% confidence interval [CI], 0.41 to 0.84; P = 0.004)."

A partir dessas duas sentenças, percebemos a hipótese testada: o uso de tomografia em pacientes com dor torácica estável reduz eventos cardiovasculares. Qual a probabilidade pré-teste desta ideia? 

Há alguma plausibilidade mecanicista na medida em que informações anatômicas podem modificar condutas terapêuticas de médicos e estas modificarem desfechos. Quanto a evidências prévias, o estudo PROMISE randomizou 10.000 pacientes para tomografia versus avaliação não invasiva e foi totalmente negativo quanto a desfechos cardiovasculares. O grupo de comparação do PROMISE não é exatamente o mesmo que o SCOT-HEART, mas indiretamente o resultado daquele estudo modela para menos a probabilidade pré-teste da hipótese do SCOT-HEART ser verdadeira. Sendo assim, eu diria que a probabilidade pré-teste é baixa, porém não é nula, mantendo a aceitabilidade da realização do estudo.

Então vem a segunda pergunta: o tamanho do efeito é bom demais para ser verdade? Observem que a tomografia promoveu 41% de redução relativa do hazard. Essa magnitude de efeito é típica de tratamentos que funcionam. Importante salientar que a magnitude de efeito de um exame será sempre muito menor do que a de um tratamento, pois no primeiro há muito mais etapas entre a interveção e o desfecho. 

No caso de ensaio clínico que testa eficácia da realização de um exame, as seguintes etapas se fazem necessárias antes do benefício ocorrer:

O exame é feito em todos os pacientes - uma parcela deles tem um resultado que pode sugerir ao médico aprimorar o tratamento do paciente - em uma sub-parcela destes pacientes o médico de fato aprimora o tratamento - uma sub-sub-parcela dos pacientes que tiveram o tratamento aprimorado se beneficiam. Sendo assim, devemos esperar que a magnitude do efeito clínico de um exame seja muito menor do que a de um tratamento. 

Desta forma, concluímos que o resultado do SCOT-HEART é bom demais para ser verdade. 

Agora vamos fazer a leitura do artigo, a procura de problemas que justifiquem um achado tão inusitado, 41% de redução relativa do hazard pela realização de um exame. 

O primeiro ponto que chama a atenção foi a mínima a diferença de modificação do tratamento promovido pela realização da tomografia versus o grupo controle. Não houve diferença de procedimento de revascularização. No que tange a terapias preventivas do tipo estatina ou aspirina, a diferença entre os dois grupos foi de apenas 4% (19% versus 15%). 

O N de pacientes do grupo tomografia é 2.073 x 4% de aprimoramento da terapia = o grupo tomografia teve um adicional de 83 pacientes de terapia aprimorada em relação controle. 

O número de eventos prevenidos no grupo tomografia (em relação ao controle) foi 33. 

Sendo assim, o aprimoramento medicamentoso de apenas 83 pacientes preveniu 33 desfechos clínicos. Se fôssemos avaliar o tratamento que foi realizado no final da cascata que apresentei acima,  o NNT seria 2.5. Algo sem precedentes, que quase nenhum tratamento é capaz de promover, quando mais um exame. 

Este é um estudo definitivamente falso. 

A continuidade da leitura servirá para entendermos os mecanismos que geraram este falso resultado. 

"There were no trial-specific visits, and all follow-up information was obtained from data collected routinely by the Information and Statistics Division and the electronic Data Research and In- novation Service of the National Health Service (NHS) Scotland. These data include diagnostic codes from discharge records, which were classified according to the International Classification of Dis- eases, 10th Revision. There was no formal event adjudication, and end points were classified primarily on the basis of diagnostic codes."

Os desfechos foram obtidos pela revisão de prontuários eletrônicos, através do CID e sem auditoria pelos autores. Segundo, o estudo é aberto e viés de aferição do desfecho (ascertainment bias) podem acontecer. Por exemplo, o conhecimento de uma tomografia normal pode influenciar o médico que escreve o CID a interpretar um sintoma como inocente, enquanto em outro paciente do qual não se tem conhecimento da anatomia, um sintoma pode promover dosagem de troponina e conclusão por infarto não fatal. Isso é só uma potencial explicação, que serve de exemplo. 

Na realidade, nunca conseguimos abrir a caixa preta do exato mecanismo que prevaleceu na geração de um viés. Porém devemos ter em mente que a combinação de um estudo aberto com um método pouco acurado de mensuração do desfecho representa alto risco de viés. 

Uma das técnicas para explorar a possibilidade de viés de aferição é comparar o resultado da morte específica (sujeito a viés de aferição - subjetividade) com o resultado da morte por qualquer causa (imune a viés). Mesmo não sendo um desfecho primário ou estatisticamente significante, vale a pena como análise exploratória. É interessante observar que o hazard ratio é 0.46 para morte cardiovascular e 1.02 (totalmente nulo)  para morte geral. Na ausência de aumento substancial de morte não cardiovascular, isso sugere que o estudo é especialmente sujeito a viés de aferição em desfechos subjetivos. 

Mas não ficamos por aqui, este estudo apresenta também alto risco de erro aleatório, pois é subdimensionado para o desfecho clínico. Na verdade, o cálculo da amostra partiu da premissa de 13% de incidência do desfecho no grupo controle, porém ocorreu apenas 3.9%. Pelo meu cálculo, isso reduziu um poder estatístico pretendido de 80% para pífios 27%. Como sabemos, estudos pequenos são muitos mais predispostos a resultados falsos positivos, devido a sua imprecisão.  

Essa imprecisão não só aumenta a probabilidade do erro tipo I, como também incapacita o estudo de medir o tamanho do efeito. Ou seja, 41% de redução relativa do hazard apresentou um intervalo de confiança que variou de 16% a 59%).

Por fim, se considerássemos a informação verdadeira, valeria uma análise de aplicabilidade. A hipótese aqui testada é de caráter pragmático. Ou seja, um intervenção é feita no início, se esperando que na prática (pragmatismo) o médico reaja de uma forma que beneficie o paciente. No entanto, o estudo induziu os médicos ao comportamento preventivo.

"When there was evidence of nonobstructive (10 to 70%) cross-sectional luminal stenosis) or obstructive  coronary artery disease on the CTA, or when a patient had an ASSIGN score of 20 or higher, the attending clinician and primary care physician were prompted by the trial coordinating center to prescribe preventive therapies."

Essa metodologia reduz a validade externa do estudo, pois não sabemos se na ausência desta indução provocada pelo protocolo do estudo, os médicos agiriam da mesa forma preventiva. Caso o benefício fosse verdade, na prática seria de menor magnitude.

É comum estudos de qualidade insuficiente para assegurar a veracidade da informação. Mas o SCOT-HEART vai além: esse é estudo cuja informação é certamente falsa. Um ótimo exemplo de fake news científica.

---------------------------------------------------------------------------------------------------------------------

Conheça nosso curso online de medicina baseada em evidências, clicando aqui.

Dear Aseem: nutrition has hijacked evidence-based medicine

My friend Aseem, 

early this morning you shared with me a sensationalistic news of a “Harvard professor” claiming that coconut oil is poison, and my first reaction was “let me look at the evidence, I know nothing about this oil”. Actually, I'm too lazy to look for this evidence. I already know the answer: coconut oil does not matter; neither for good, nor for bad. 

Apart from eating enough calories to become obese or drink alcohol pathologically, food specifics should not be a major cardiovascular concern. Specially coconut. In a scientific sense, the value of food is overestimated. It usually happens with medical opinion: we tend to overestimate the value of beneficial interventions or the harmful effect of risk factors (JAMA Internal Medicine). That’s how the human mind evolved, not much calibrated for “value”. I think it happened with the so called "Harvard professor".

Quality scientific research either fail to show specific dieting effects on clinical outcomes or show very small effects. In a peculiar systematic review from Ioannidis exploring the tiniest effect sizes in literature, nutrition was the field most prevalent; second, when randomised trials adjust for calorie intake and confounding variables, the type of diet does not show much impact on weight or clinical outcomes (PLOS ONE systematic review). The DIETFITS trial recently published in JAMA is one example of such evidence.

So we should not invest our time discussing efficacy of diets, meaning an explanatory concept or intrinsic property.

I know, it seems frustrating, skepticism is boring. By I am not a boring skeptical. I just found a solution to make dieting an interesting issue again: Aseem, let’s shift the discussion to effectiveness.

Efficacy is tested by randomized trials, in which allocation for intervention takes nothing into account (it is random). Thus, a randomized trial does not evaluate the effect of preferences on outcomes, it is a pure explanatory concept.

In the real word, preferences may be taken into account for dieting decision. In this circumstances, if preference and choice match, effectiveness tend to be superior to efficacy, because patients get motivated to perform well with the intervention they prefer. Thus, if a type of diet is an easier match with general preferences, it should be a more effective diet. 

For example, in my non-scientific experience, I have a sense that people on low-carb diets are happier with the experience and results obtained, as compared with other diets. I claim the test of this hypothesis should be pursued. Studies should be planned to test effectiveness. 

Here are some ideas:

• Pragmatic randomized trials, in which just a general recommendation is given and we let people develop their eating habit, their meals in a pragmatic way. Just like a long-term diet takes place in the real world (habit). In this pragmatic circumstance, I suspect a low-carb individual will eat less calories, are happier, lose more weight.

• Observational studies with statistical adjustment for outcome predisposition, as opposed to propensity scores. The traditional propensity score should not be utilised for the test of effectiveness, because it adjust for the very preference that will improve result in a preference-matched choice. Observational studies lose opportunity to test effectiveness by focusing on the non-sense of pursing efficacy of life-style by adjusting for propensity.

• Cross-over studies, to measure the outcome happiness at the end of each intervention. Happiness improves effectiveness and if people are happier with a certain diet, the result will be better.  

Science is more about the right question as opposed to a platonic answer. Sometimes we ask the wrong questions in unfruitful debates. 

I am glad that you woke me up (considering our time difference) with your provocation on coconut oil. I know that, as a cardiologist, your concern is not coconut oil (maybe as a chef it is). You are really concerned with the “miscarriage of science” performed by fake scientific news of this type. To say that any specific food is poison is non-scientific. To use the title of a “Harvard professor” to make such a statement is a good example of eminence-based medicine, as opposed to evidence-based medicine. 

I think advocates should have a role to use the dieting issue to clarify the different values of these two complementary concepts: efficacy and effectiveness. The important issue here is science, not coconut oil.

Meanwhile, I have to confess: personally, I love the subject of dieting and I have my own preferences. Professionally, I should stick with evidence. We need effectiveness evidence.