SUS deve oferecer medicamentos cuja eficácia é incerta?

No domingo passado, a jornalista Cláudia Collucci publicou em sua coluna na Folha de São Paulo um artigo sobre a dramática dificuldade de portadores de Mucopolissadaridose tipo 2 em receber do SUS o tratamento enzimático cujo custo supera 1,2 milhão de reais ao ano, por paciente. Naquele artigo, que passa por aspectos de judicialização, advogados argumentavam que a falta do tratamento equivalia a uma "pena de morte" para os pacientes.

Fiquei curioso, pesquisei o nível de evidência deste tratamento, resultando nesta carta (e-mail) que enviei para Cláudia, publicada por ela no dia seguinte em sua coluna no mesmo Jornal. Compartilho aqui minha reflexão.

--------------------------------------------------------------------------------------------------------------------------

Prezada Cláudia, 

em seu provocante artigo publicado na Folha de hoje, você termina com a frase “… decisões com base em evidências científicas”. E é desse ponto que partirá minha reflexão. 

Medicina baseada em evidências poderia (ou deveria) ser chamada de medicina baseada em VALOR. No verdadeiro valor das coisas. O valor de um tratamento está na veracidade de sua eficácia e no tamanho do efeito de sua eficácia. 

Terminando de ler seu artigo me motivei a ir no UpToDate e pesquisar a respeito da eficácia do tratamento enzimático para mucopolissacaridose 2 em crianças. 

Devemos nos perguntar: há benefício? Que tipo de benefício? E principalmente, qual a magnitude do benefício?

A magnitude do benefício é sempre muito importante, pois tudo tem um custo. Custo para o paciente ao ser submetido a um tratamento e custo monetário ao sistema de saúde.

O UpToDate cita uma revisão sistemática da Cochrane, muito elucidativa, pois mostra que há apenas 1 ensaio clínico randomizado, pequeno (96 pacientes). Este tipo de trabalho tem o valor “exploratório”, mas não “confirmatório” (nível de evidência baixo). 

Minha primeira conclusão, há incerteza quando a eficácia.  

Segunda conclusão, não há dados sobre mortalidade. Portanto, o advogado não tinha respaldo para usar o termo “pena de morte”, nem “dependem para sobreviver”. Há incerteza.

E o trabalho, se for verdadeiro, mostra que tamanho de efeito do tratamento (comparado a placebo)?

Houve melhora da capacidade da criança caminhar. Mas agora vem a pergunta mais importante: de quanto foi essa melhora (tamanho do efeito)? No teste de caminhada de 6 minutos, antes do tratamento a criança caminhava 400 metros em média. Após o tratamento, a criança aumentou sua capacidade de caminhar em 40 metros. 

Qual a magnitude do benefício desse tratamento? 40 metros em quem anda 400 metros muda a vida da pessoa? Deixo a questão em aberto.

Quanto a outros benefícios, não foram testados. Portanto, fica a incerteza.

Na difícil questão que você aborda, prevalecem há 3 vieses típicos da mente humana: 

(1) aversão pela incerteza (subestimamos nossa incerteza ou nem mesmo a reconhecemos); 

(2) Superestimativa do efeito dos tratamentos: o que tem alguma eficácia passa a ser uma panacéia. Porém, em geral, a magnitude dos tratamentos voltados para melhoria de prognóstico é modesta; 

(3) Pensamento anti-econômico: como demonstra o psicólogo Dan Ariely (recomendo o livro Predictable Irrationality), a mente humana não tem uma natural racionalidade econômica. Friso que quando falo economia não me refiro apenas ao monetário, embora no caso desta doença o custo monetário seja considerável. 

Nada do que coloco aqui tem VALOR frente ao sofrimento dos pais e à sensação de alívio em saber que algo está sendo feito (isso também é valor). Ou seja, o problema não é simples, porém o que coloco aqui (medicina baseada em valor) deve ser considerado como um importante componente nesta excelente discussão que você levanta.

Abraço,

Luis.

--------------------------------------------------------------------------------------------------------------------------

Para complementar, pedi opinião ao professor titular em saúde pública Jairnilson Paim. 

Vejam suas considerações.

Caro Luís,

Depois das absurdas decisões do Congresso Nacional e dos presidentes da República Dilma Rousseff e Rodrigo Maia (em exercício), respectivamente, sobre a fosfoetanolamina e os anorexígenos, lamento lhe dizer que esses fatos já não me surpreendem, ainda que reforcem a minha indignação. 

O SUS dispõe da Anvisa, uma agência reconhecida internacionalmente pela forma de atuação apoiada na produção científica e de uma instância para avaliação tecnológica em saúde vinculada ao Decit (Ministério da Saúde), que tem a responsabilidade de averiguar evidências para a incorporação de tecnologias (medicamentos, vacinas e procedimentos) no sistema de saúde.

Ignorar esses esforços racionalizadores e a preocupação com a segurança dos pacientes e usuários do SUS, assim como com a eficácia e efetividade de medicamentos, representa um retrocesso que, entre todos os males previsíveis, coloca o Brasil numa posição indefensável juntos aos países desenvolvidos e nações civilizadas.

Abs.

Jairnilson

Conversa com Janet Martin sobre Medical Reversal, P-haking, Data Mining

No mês passado participamos do evento Evidence Live, em Oxford, onde se discutiu o problema da baixa qualidade de publicações científicas, sendo lançado o Evidence Based Manifesto for Better Health Care. 

Este vídeo mostra nossa conversa com Janet Martin, meta-cientista canadense que estuda razões da maioria dos estudos serem falsos.  É um conteúdo relacionado a nossa recente postagem sobre o Manifesto.

Conheça nosso curso online de medicina baseada em evidências, clicando aqui. 

Conversa com Fionna Godlee sobre qualidade de publicações científicas

No mês passado participamos do evento Evidence Live, em Oxford, onde se discutiu o problema da baixa qualidade de publicações científicas, sendo lançado o Evidence Based Manifesto for Better Health Care. 

Este vídeo mostra nossa conversa com Fionna Godlee, editora do British Medical Journal sobre o Manifesto que foi tema de nossa postagem anterior.

“It is not to say that all evidence is bad, but we should be aware of the large amount of inadequate research”

“Benefits are usually overstated”

Fionna Godlee

“As a medical oncologist I had the impression that what was described in randomized trials did not reflect reality”

Franz Porzsolt

"We absolutely need a new generation of highly skilled evidence geniuses.”

Fionna Godlee 

“When I come back to Brazil in November I want to ask students what should we do to improve EBM”

“We should have strong scientific discussion, not emotional discussion”

Franz Porzsolt

“Publication is not the end of a story, it is the beginning of the story.”

“The opposite of evidence based medicine is eminence based medicine”.

Fionna Godlee

Conheça nosso curso online de medicina baseada em evidências, clicando aqui. 

O Manifesto da Medicina Baseada em Evidências: Oxford 2017

No mês passado estive no evento Evidence Live 2017, em Oxford, onde foi lançado o  “Evidence Based Medicine Manifesto for Better Health Care”. Esta foi uma iniciativa do Centre of Evidence Based Medicine (Oxford University) e do British Medical Journal. 

Em postagem recente neste Blog aprofundamos a discussão sobre a baixa confiabilidade das evidências científicas. O Manifesto é uma iniciativa para a melhoria da qualidade das evidências em saúde, onde se discute causas da pouca confiabilidade científica e objetivos voltados para a correção deste cenário. 

Afinal, como fazer medicina baseada em evidências se a maioria das evidências não são confiáveis? Na realidade, este não é um problema da proposta do uso de evidência para nortear nossas decisões (paradigma da medicina baseada em evidências), mas sim um problema do mundo científico que gera estas evidências. 

As causas do problema estão presentes nas diferentes fases da atividade de pesquisa, como descrevo abaixo:

Fase de Definição do Objetivo do Estudo

• O investimento de trabalho, tempo e dinheiro em perguntas científicas inúteis. A inutilidade destes estudos decorre da irrelevância do que está sendo avaliado, cujo resultado não terá impacto científico, nem clínico. Isto ocorre pois autores estão mais interessados em gerar artigos do que gerar conhecimento. Por exemplo, demonstrar um efeito benéfico em um desfecho substituto que já se sabe que não prediz benefício clínico, nem é uma condição intermediária para eficácia. O problema desses estudos é que são publicados como dados positivos e naturalmente os leitores se deixam influenciar por estes resultados no desenvolvimento de suas “crenças internas”.
• Testes de hipóteses claramente improváveis, relacionadas a uma baixa probabilidade pré-teste, levando a baixo valor preditivo positivo de estudos. Isto está bem detalhado em uma recente postagem.

• Você sabia que 85% do financiamento de pesquisa global é desperdiçado por estudos inúteis?

Fase de Definição do Método do Estudo

• Desenhos de estudos com amostras subdimensionadas para seus objetivos, levando a uma baixa veracidade de eventual significância estatística, que pode surgir ao acaso. 
• A construção de protocolos desprotegidos quanto a vieses de amostragem, seleção, confusão, mensuração do desfecho, acompanhamento de pacientes.
• O uso comum de interrupção pré-definida de estudos positivos em análises interinas (estudos truncados). 

• Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas a construção de protocolos enviesados?

Fase de Análise de Dados

• O problema do p-hacking ou mineração de dados. Utiliza-se em demasia análises de desfechos secundários ou de subgrupos, muitos destes testes nem são pré-determinados. Primeiro se faz várias destas análises e as que dão certo (significantes) serão transformadas nas perguntas dos estudos. É o fenômeno do texas sharp shooter, quando primeiro se atira, depois se desenha o alvo nos locais mais atingidos. 

• Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas, mineração de dados, troca de desfechos, descrição seletiva de desfechos (escondendo os negativos)?

Fase de Publicação

• Viés de publicação quando estudos que vão ao encontro do desejo do pesquisador são publicados e estudos de encontro ao desejo do pesquisador (ou da comunidade científica) não são publicados. Evidências negativas são silenciadas.

• Você sabia que metade de todos os trials nunca foram publicados e que trials positivos são duas vezes mais prováveis de serem publicados do que trials negativos? Quando se fala de estudos pequenos, este viés de publicação ocorre em muito maior escala. 

• Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas esconder conflitos de interesses?

Fase de Leitura do Artigo

• Os consumidores dos trabalhos não são devidamente treinados para reconhecer o potencial de vieses e erros aleatórios, compram gato por lebre. Profissionais de saúde não praticam ceticismo científico, tendendo a acreditar em demasia no que leem ou ouvem falar. 

O Conteúdo Inicial do Manifesto

No dia da abertura do Evidence Live, o Manifesto foi publicado no British Medical Journal, tendo como autores principais Carl Hannegan, diretor do Centre of Evidence Based Medicine, e Fionna Godlee (vide vídeo abaixo), editora chefe do British Medical Journal. Este Manifesto é considerando um “living document”, no sentido de que esta é a primeira versão, que será aprimorada ao longo do tempo. O primeiro passo para aprimoramento foi este workshop, onde nos reunimos em pequenos grupos para aprimorar as medidas sugeridas. 

Nesta primeira versão, 9 objetivos foram apontados:

• Tornar evidências científicas mais relevantes, aplicáveis e acessíveis a pacientes. 
• Expandir o papel de pacientes no processo de geração do conhecimento científico. Você sabia que o BMJ empregou no processo de avaliação de artigos os revisores-pacientes. Sim, pacientes não pesquisadores contribuem com o processo de revisão de trabalhos que versam sobre as condições das quais eles sofrem. Isto tende a estreitar a lacuna entre o que é pesquisado e o que mais interessa aos pacientes.
• Aumentar a utilização sistemática de evidências no processo de decisão médica.
• Reduzir práticas de pesquisa questionáveis, vieses e conflitos de interesse.
• Garantir que o processo de aprovação de drogas e devices seja mais robusto, transparente e independente.
• Produzir guidelines de melhor qualidade.
• Promover melhora de qualidade e segurança a partir do uso de dados do mundo real (estudos de efetividade).
• Educar profissionais e o público sobre prática clínica baseada em evidências. 
• Encorajar uma nova geração de líderes em medicina baseada em evidências.

Onde Estamos?

Durante as discussões em Oxford, falou-se em pessimismo e otimismo. Minha visão pessoal é otimista, pois não considero que estamos em uma “crise”. Crise conota algo que está piorado em relação a um momento prévio. Não é o caso. Ao invés de falar em crise, prefiro falar em evolução. Até o ano 1.500 não existia ciência e foi apenas no século passado que o método científico contemporâneo foi proposto para a prevenção de erros aleatórios e sistemáticos (Ronald Fisher), aprofundado filosoficamente por Karl Popper. 

Nos últimos anos, a discussão sobre conceitos de qualidade em pesquisa, transparência, reprodutibilidade tem se tornado mais prevalente no mundo científico e acadêmico. É o início de um processo, cujo primeiro passo é o reconhecimento de problemas que ainda se encontram em grande parte debaixo do tapete. De fato, não é prevalente a consciência de que “evidências” nem sempre são confiáveis. Há evidências para tudo e há todo tipo de interesse em utilizar evidências de má qualidade, deste que seu resultado seja interessante, em detrimento de uma análise isenta da qualidade dessas informações.

No momento em que estes problemas passam a ser profundamente discutidos, pode-se ter a impressão de que estamos em crise. Talvez não … Talvez estejamos apenas percebendo melhor a realidade. 

Veja a realidade do Brasil. Parece que estamos no pior momento político. Nem tanto, recentemente o (ex-) Ministro do Supremo Aires Brito se manifestou com um agradável e leve otimismo, quando retratou este como um momento evolutivo de nossa democracia. 

Seria uma “lava-jato científica”?

Se pensamos que a lava-jato está aí para lavar toda a sujeira, de forma efetiva, definitivamente o Manifesto não será uma lava-jato. Mas se pensamos de forma mais realista, talvez a gente não deva esperar que a lava-jato resolva plenamente os problemas políticos ou de corrupção.

Não é assim que acontece, uma lava-jato ou um Manifesto não são sozinhos suficientes para ajuste pleno dos problemas. Mas podem ser passos iniciais em um processo que requer transformação cultural. Sim, transformação na cultura da corrupção e na cultura científica. 

O Manifesto não será uma lavagem plena, nem muito menos a jato. Na verdade, uma limpeza-lenta (e não uma lava-jato), assim deveria ser o nome dessa operação da PF, assim como da nossa evolução cultura. 

Seria um “choosing wisely científico”?

Uma melhor analogia é com a campanha Choosing Wisely: o Manifesto está para a ciência como Choosing Wisely está para a decisão clínica. Choosing Wisely se define como uma “conversa”, algo que não coloca como objetivo uma redução imediata do overuse, mas a intenção é a reflexão como forma de promover uma mudança cultural. 

Manifesto, quais as estratégias para melhoria?

Nesta publicação seminal do Manifesto estão claros os objetivos, porém não há referência aos métodos pelos quais estes objetivos serão alcançados, que provavelmente devem passar por ações políticas, evolução do processo de revisão e editoração de publicações, ações educativas para pesquisadores, consumidores de pesquisas (leitores) e população leiga. 

A ausência de métodos e estratégias demonstra a função do Manifesto como uma provocação à nossa reflexão. Não será este Manifesto a causa única ou principal da evolução científica. Na verdade, existirão muitos manifestos, muitas iniciativas, e tudo junto contribuirá para uma evolução. Esta evolução depende de uma mudança cultural. 

Mas desde já podemos começar uma espécie de brainstorm de estratégias para melhorias. Foi o que ocorreu em Oxford, quando participantes foram convidados a apresentar ideias estratégicas, que contribuiriam para a evolução do “living Manifesto”, podendo estar presente em futuros artigos sobre o tema. 

Compartilho aqui algumas ideias que apresentamos na discussão:

• Editores de revistas devem categoricamente classificar os artigos originais em exploratórios (a maioria) ou confirmatórios (a minoria). Esta categorização, baseada no valor preditivo do trabalho, evitará crença demasiada em estudos geradores de hipóteses. Esta atitude promoverá a cultura de que trabalhos científicos isolados não necessariamente servem para confirmar hipóteses. Ciência é uma construção de pequenos tijolinhos, representados por cada trabalho.
• Editores devem estimar e publicar o valor preditivo positivo ou negativo de cada estudo, gerando valorização da comunidade quanto a este tipo de estimativa, que considera a plausibilidade da ideia, a dimensão do estudo, a qualidade metodológica e não só o "famigerado" valor de P (injustiçado pois P não foi originalmente criado por Fisher para ser assim mal utilizado). 
• O Manifesto deve promover não só evidência de mais qualidade, mas também pensamento clínico de maior qualidade científica: ênfase em estimativas adequadas do tamanho de efeito (evitando superestimativas), na utilização do pensamento probabilístico, no reconhecimento das incertezas em cada caso individual e na percepção e prevenção dos mais comuns vieses cognitivos do pensamento médico.
• Educação básica da população, desde a escola secundária, quanto à forma científica de pensar, promovendo no profissional futuro um pensamento mais naturalmente baseado em evidências. 

Convite!!

A discussão está aberta, agora é hora de discutir e apresentar estratégias. Convido os colegas que acompanham nosso Blog a escrever comentários nesta postagem, como forma de sugestões a serem encaminhadas aos líderes do Manifesto. Será a voz de nossa comunidade virtual influenciando esta importante iniciativa. 

Vídeos

Complementando esta postagem, publicarei nos próximos dias dois vídeos de conversas que Franz Porzsolt e eu tivemos em Oxford com colegas da área. 

Vídeo 1: Fionna Godlee, editora-chefe do British Medical Journal, onde conversamos sobre o paradigma da medicina baseada em evidências e o papel de revistas científicas na melhoria da qualidade de evidências. 

Vídeo 2: Janet Martin, meta-cientista canadense que trouxe para o evento dados impressionantes de suas pesquisas retratando inadequações do universo científico, como fenômenos de medical reversal e data mining.

Fiquem atentos para nos próximos dias. 

_______________________________________________________________________

Conheça nosso curso de medicina baseada em evidências, clicando aqui.