O Manifesto da Medicina Baseada em Evidências: Oxford 2017

No mês passado estive no evento Evidence Live 2017, em Oxford, onde foi lançado o  “Evidence Based Medicine Manifesto for Better Health Care”. Esta foi uma iniciativa do Centre of Evidence Based Medicine (Oxford University) e do British Medical Journal. 

Em postagem recente neste Blog aprofundamos a discussão sobre a baixa confiabilidade das evidências científicas. O Manifesto é uma iniciativa para a melhoria da qualidade das evidências em saúde, onde se discute causas da pouca confiabilidade científica e objetivos voltados para a correção deste cenário. 

Afinal, como fazer medicina baseada em evidências se a maioria das evidências não são confiáveis? Na realidade, este não é um problema da proposta do uso de evidência para nortear nossas decisões (paradigma da medicina baseada em evidências), mas sim um problema do mundo científico que gera estas evidências. 

As causas do problema estão presentes nas diferentes fases da atividade de pesquisa, como descrevo abaixo:

Fase de Definição do Objetivo do Estudo

• O investimento de trabalho, tempo e dinheiro em perguntas científicas inúteis. A inutilidade destes estudos decorre da irrelevância do que está sendo avaliado, cujo resultado não terá impacto científico, nem clínico. Isto ocorre pois autores estão mais interessados em gerar artigos do que gerar conhecimento. Por exemplo, demonstrar um efeito benéfico em um desfecho substituto que já se sabe que não prediz benefício clínico, nem é uma condição intermediária para eficácia. O problema desses estudos é que são publicados como dados positivos e naturalmente os leitores se deixam influenciar por estes resultados no desenvolvimento de suas “crenças internas”.
• Testes de hipóteses claramente improváveis, relacionadas a uma baixa probabilidade pré-teste, levando a baixo valor preditivo positivo de estudos. Isto está bem detalhado em uma recente postagem.

• Você sabia que 85% do financiamento de pesquisa global é desperdiçado por estudos inúteis?

Fase de Definição do Método do Estudo

• Desenhos de estudos com amostras subdimensionadas para seus objetivos, levando a uma baixa veracidade de eventual significância estatística, que pode surgir ao acaso. 
• A construção de protocolos desprotegidos quanto a vieses de amostragem, seleção, confusão, mensuração do desfecho, acompanhamento de pacientes.
• O uso comum de interrupção pré-definida de estudos positivos em análises interinas (estudos truncados). 

• Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas a construção de protocolos enviesados?

Fase de Análise de Dados

• O problema do p-hacking ou mineração de dados. Utiliza-se em demasia análises de desfechos secundários ou de subgrupos, muitos destes testes nem são pré-determinados. Primeiro se faz várias destas análises e as que dão certo (significantes) serão transformadas nas perguntas dos estudos. É o fenômeno do texas sharp shooter, quando primeiro se atira, depois se desenha o alvo nos locais mais atingidos. 

• Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas, mineração de dados, troca de desfechos, descrição seletiva de desfechos (escondendo os negativos)?

Fase de Publicação

• Viés de publicação quando estudos que vão ao encontro do desejo do pesquisador são publicados e estudos de encontro ao desejo do pesquisador (ou da comunidade científica) não são publicados. Evidências negativas são silenciadas.

• Você sabia que metade de todos os trials nunca foram publicados e que trials positivos são duas vezes mais prováveis de serem publicados do que trials negativos? Quando se fala de estudos pequenos, este viés de publicação ocorre em muito maior escala. 

• Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas esconder conflitos de interesses?

Fase de Leitura do Artigo

• Os consumidores dos trabalhos não são devidamente treinados para reconhecer o potencial de vieses e erros aleatórios, compram gato por lebre. Profissionais de saúde não praticam ceticismo científico, tendendo a acreditar em demasia no que leem ou ouvem falar. 

O Conteúdo Inicial do Manifesto

No dia da abertura do Evidence Live, o Manifesto foi publicado no British Medical Journal, tendo como autores principais Carl Hannegan, diretor do Centre of Evidence Based Medicine, e Fionna Godlee (vide vídeo abaixo), editora chefe do British Medical Journal. Este Manifesto é considerando um “living document”, no sentido de que esta é a primeira versão, que será aprimorada ao longo do tempo. O primeiro passo para aprimoramento foi este workshop, onde nos reunimos em pequenos grupos para aprimorar as medidas sugeridas. 

Nesta primeira versão, 9 objetivos foram apontados:

• Tornar evidências científicas mais relevantes, aplicáveis e acessíveis a pacientes. 
• Expandir o papel de pacientes no processo de geração do conhecimento científico. Você sabia que o BMJ empregou no processo de avaliação de artigos os revisores-pacientes. Sim, pacientes não pesquisadores contribuem com o processo de revisão de trabalhos que versam sobre as condições das quais eles sofrem. Isto tende a estreitar a lacuna entre o que é pesquisado e o que mais interessa aos pacientes.
• Aumentar a utilização sistemática de evidências no processo de decisão médica.
• Reduzir práticas de pesquisa questionáveis, vieses e conflitos de interesse.
• Garantir que o processo de aprovação de drogas e devices seja mais robusto, transparente e independente.
• Produzir guidelines de melhor qualidade.
• Promover melhora de qualidade e segurança a partir do uso de dados do mundo real (estudos de efetividade).
• Educar profissionais e o público sobre prática clínica baseada em evidências. 
• Encorajar uma nova geração de líderes em medicina baseada em evidências.

Onde Estamos?

Durante as discussões em Oxford, falou-se em pessimismo e otimismo. Minha visão pessoal é otimista, pois não considero que estamos em uma “crise”. Crise conota algo que está piorado em relação a um momento prévio. Não é o caso. Ao invés de falar em crise, prefiro falar em evolução. Até o ano 1.500 não existia ciência e foi apenas no século passado que o método científico contemporâneo foi proposto para a prevenção de erros aleatórios e sistemáticos (Ronald Fisher), aprofundado filosoficamente por Karl Popper. 

Nos últimos anos, a discussão sobre conceitos de qualidade em pesquisa, transparência, reprodutibilidade tem se tornado mais prevalente no mundo científico e acadêmico. É o início de um processo, cujo primeiro passo é o reconhecimento de problemas que ainda se encontram em grande parte debaixo do tapete. De fato, não é prevalente a consciência de que “evidências” nem sempre são confiáveis. Há evidências para tudo e há todo tipo de interesse em utilizar evidências de má qualidade, deste que seu resultado seja interessante, em detrimento de uma análise isenta da qualidade dessas informações.

No momento em que estes problemas passam a ser profundamente discutidos, pode-se ter a impressão de que estamos em crise. Talvez não … Talvez estejamos apenas percebendo melhor a realidade. 

Veja a realidade do Brasil. Parece que estamos no pior momento político. Nem tanto, recentemente o (ex-) Ministro do Supremo Aires Brito se manifestou com um agradável e leve otimismo, quando retratou este como um momento evolutivo de nossa democracia. 

Seria uma “lava-jato científica”?

Se pensamos que a lava-jato está aí para lavar toda a sujeira, de forma efetiva, definitivamente o Manifesto não será uma lava-jato. Mas se pensamos de forma mais realista, talvez a gente não deva esperar que a lava-jato resolva plenamente os problemas políticos ou de corrupção.

Não é assim que acontece, uma lava-jato ou um Manifesto não são sozinhos suficientes para ajuste pleno dos problemas. Mas podem ser passos iniciais em um processo que requer transformação cultural. Sim, transformação na cultura da corrupção e na cultura científica. 

O Manifesto não será uma lavagem plena, nem muito menos a jato. Na verdade, uma limpeza-lenta (e não uma lava-jato), assim deveria ser o nome dessa operação da PF, assim como da nossa evolução cultura. 

Seria um “choosing wisely científico”?

Uma melhor analogia é com a campanha Choosing Wisely: o Manifesto está para a ciência como Choosing Wisely está para a decisão clínica. Choosing Wisely se define como uma “conversa”, algo que não coloca como objetivo uma redução imediata do overuse, mas a intenção é a reflexão como forma de promover uma mudança cultural. 

Manifesto, quais as estratégias para melhoria?

Nesta publicação seminal do Manifesto estão claros os objetivos, porém não há referência aos métodos pelos quais estes objetivos serão alcançados, que provavelmente devem passar por ações políticas, evolução do processo de revisão e editoração de publicações, ações educativas para pesquisadores, consumidores de pesquisas (leitores) e população leiga. 

A ausência de métodos e estratégias demonstra a função do Manifesto como uma provocação à nossa reflexão. Não será este Manifesto a causa única ou principal da evolução científica. Na verdade, existirão muitos manifestos, muitas iniciativas, e tudo junto contribuirá para uma evolução. Esta evolução depende de uma mudança cultural. 

Mas desde já podemos começar uma espécie de brainstorm de estratégias para melhorias. Foi o que ocorreu em Oxford, quando participantes foram convidados a apresentar ideias estratégicas, que contribuiriam para a evolução do “living Manifesto”, podendo estar presente em futuros artigos sobre o tema. 

Compartilho aqui algumas ideias que apresentamos na discussão:

• Editores de revistas devem categoricamente classificar os artigos originais em exploratórios (a maioria) ou confirmatórios (a minoria). Esta categorização, baseada no valor preditivo do trabalho, evitará crença demasiada em estudos geradores de hipóteses. Esta atitude promoverá a cultura de que trabalhos científicos isolados não necessariamente servem para confirmar hipóteses. Ciência é uma construção de pequenos tijolinhos, representados por cada trabalho.
• Editores devem estimar e publicar o valor preditivo positivo ou negativo de cada estudo, gerando valorização da comunidade quanto a este tipo de estimativa, que considera a plausibilidade da ideia, a dimensão do estudo, a qualidade metodológica e não só o "famigerado" valor de P (injustiçado pois P não foi originalmente criado por Fisher para ser assim mal utilizado). 
• O Manifesto deve promover não só evidência de mais qualidade, mas também pensamento clínico de maior qualidade científica: ênfase em estimativas adequadas do tamanho de efeito (evitando superestimativas), na utilização do pensamento probabilístico, no reconhecimento das incertezas em cada caso individual e na percepção e prevenção dos mais comuns vieses cognitivos do pensamento médico.
• Educação básica da população, desde a escola secundária, quanto à forma científica de pensar, promovendo no profissional futuro um pensamento mais naturalmente baseado em evidências. 

Convite!!

A discussão está aberta, agora é hora de discutir e apresentar estratégias. Convido os colegas que acompanham nosso Blog a escrever comentários nesta postagem, como forma de sugestões a serem encaminhadas aos líderes do Manifesto. Será a voz de nossa comunidade virtual influenciando esta importante iniciativa. 

Vídeos

Complementando esta postagem, publicarei nos próximos dias dois vídeos de conversas que Franz Porzsolt e eu tivemos em Oxford com colegas da área. 

Vídeo 1: Fionna Godlee, editora-chefe do British Medical Journal, onde conversamos sobre o paradigma da medicina baseada em evidências e o papel de revistas científicas na melhoria da qualidade de evidências. 

Vídeo 2: Janet Martin, meta-cientista canadense que trouxe para o evento dados impressionantes de suas pesquisas retratando inadequações do universo científico, como fenômenos de medical reversal e data mining.

Fiquem atentos para nos próximos dias. 

_______________________________________________________________________

Conheça nosso curso de medicina baseada em evidências, clicando aqui.