quinta-feira, 20 de janeiro de 2022

O Sequestro da CONITEC


 


** Este artigo reflete minha visão pessoal, sem qualquer pretensão em representar a visão de instituições das quais faço parte.


Erros são características inerentes de processos de decisão. Erros clínicos prejudicam um paciente por vez. Erros em saúde pública prejudicam milhões de uma só vez.

 

Minhas reflexões científicas advém, em sua maioria, da prática médica, quando exercito o desejo de não prejudicar e, se possível, beneficiar o indivíduo clínico. Mesmo embasadas em ciências, minhas ideias clínicas acabam por possuir um caráter pessoal, pois são também resultado de minhas vivências. 

 

Diferentemente, o presente texto não se refere a decisões clínicas. Este se refere a decisões sistêmicas, que afetam populações. Por outro lado, se assemelham às minhas usuais reflexões, pois possuem um aspecto pessoal advindo de uma vivência. Neste texto, minha vivência como membro da Conitec (Comissão Nacional de Incorporação de Tecnologias no SUS), particularmente nos últimos dois meses. 

 

Este texto possui três dimensões: fatos, análise científica e interpretações.

 

 

Fato Inusitado: gerador da hipótese de viés

 

Confesso que esta é uma história que me surpreendeu desde os primeiros capítulos. Durante minha vivência na Conitec, testemunhei um processo de rigorosa organização, funcionando como o epicentro da evolução do país nas análises de tecnologia em saúde. Somos munidos por minuciosas sínteses e análises da qualidade de evidências, realizadas pela Secretaria Executiva da Comissão e Núcleos de Tecnologia em Saúde. Bem servidos de informação, o desafio o é exercício da decisão, um processo mais complexo, que passa pela interpretação das evidências e necessita de um pensamento sistêmico que respeite incertezas e ambiguidades. Neste universo, somos sujeitos a erros aleatórios de decisão, que nunca serão eliminados, mas podem ser reduzidos por uma hierarquia de pensamento adequada. 

 

Essa discussão vinha sendo meu foco nos últimos dois anos na Conitec, quando fui tomado por uma nova percepção ao final de 2021: a predominância de erros aleatórios parecia dar lugar a erros sistemáticos, ou seja, vieses. Mas não exatamente os vieses cognitivos típicos da mente humana, mas sim vieses que levaram a momentos de opção pela irracionalidade epidemiológica quando o país mais precisava de sabedoria. 

 

A história que conto foi noticiada em tempo real pela imprensa brasileira. Assim, meu objetivo em relatar os fatos não é puramente descritivo, mas principalmente analítico, interpretativo, baseado em ciência e em percepções. 

 

Na manhã de alguma quinta-feira em outubro, deu-se início a Sexta Reunião Extraordinária da Conitec. A despeito do nome, para mim nada havia de extraordinário. Na pauta, três Diretrizes: Tratamento Medicamentoso Ambulatorial do Paciente com Covid-19, Esclerose Múltipla e Retocolite Ulcerativa. 

 

Diferentemente de incorporações de novas tecnologias, que geram debates e opiniões contrárias, discussões de diretrizes carecem de controvérsia. Estas servem para aprimorar os documentos, mas eu nunca vi alguma ser rejeitada. Na verdade, eu nunca vi um voto contrário a uma diretriz, embora eu não seja a pessoa mais indicada para falar do histórico de 10 anos da Conitec.

 

Foi quando, para minha surpresa, acordei de meus distraídos pensamentos naquela manhã  com gritos de manifestação de alguns integrantes do Conitec, questionando a posição da Diretriz contrária a drogas do tipo hidroxicloroquina. Esta posição vinha misturada com sugestões de que aquela Diretriz nem mesmo deveria existir. A discussão se prolongou (vídeo), repleta de argumentos que tentavam parecer científicos, mas primavam por violações de princípios básicos. Questionou-se que não havia prova de que hidroxicloroquina ou ivermectina não funcionava, enquanto outros argumentavam que diretriz que recomenda contra tratamentos não é diretriz, pois estes documentos servem para ditar ações. 

 

Terminou em votação, que terminou em empate de 6 x 6. O incômodo com a falta de posição da Conitec quanto ao assunto me levou a escrever uma análise, publicada Folha de São Paulo

 

Dos seis votos contrários, cinco foram de secretarias ligadas ao Ministério da Saúde e o sexto do Conselho Federal de Medicina. Esses eram votos contrários à minha opinião, e naquela época não me senti confortável em afirmar que eles estavam errados e eu certo. Limitei-me a uma análise probabilística de que algum dos lados houvera cometido um grande equívoco. Tentando ser fiel ao paradigma científico, sendo viés algo difícil de ser provado, apelei para a estatística. Baseado na distribuição binomial, e na premissa de que qualquer das duas decisões teria maior chance (odds 1:4 ou 4:1) de estar correta do que a decisão oposta, calculei que a probabilidade de um empate em 12 votos seria de 2% (P = 0,02). Assim, o observado naquele dia rejeitaria predito pelo acaso, praticamente eliminando a possibilidade de erro aleatório e sugerindo que o empate foi mediado por viés. 

 

Era uma ideia construída a posteriori do fato, portanto apenas uma hipótese, que precisaria de confirmação empírica. 

 


Comprovação da Hipótese de Viés I: Reprodutibilidade

 

Cheguei a pensar, e até mesmo desejar que esta confirmação não viesse, e conclui no meu texto que “se a Conitec seguir o padrão de qualidade que a fez reconhecida por 10 anos de serviço científico prestado ao SUS, um novo empate não acontecerá [na segunda votação].” 

 

Mais uma vez, errei durante esta pandemia … a comprovação da hipótese aconteceu, por uma sequência de fatos que cumprem formalmente o critério científico da reprodutibilidade.

 

O primeiro fato foi exatamente a segunda votação, que como de praxe ocorre após a consulta pública. Numa clara evidência contra o acaso, a mesma discussão se repetiu, os votos se reproduziram, e graças à presença do décimo terceiro voto da ANVISA, a Diretriz foi aprovada pelo plenário da CONITEC por 7 votos a favor contra 6 votos contrários. 


Não foi um equívoco casual, havia convicção de ambas as partes. Reprodutibidade sugere causalidade. 

 

 

Comprovação da Hipótese de Viés II: Caricatura Pseudocientífica


Mas foi outro desenrolar da história que tornou o viés explícito. Os cinco representantes do Ministério da Saúde que foram contrários à Diretriz, não se contentando com seus votos, foram além e encaminharam requerimento ao Secretário de Ciência, Tecnologia e Insumos Estratégicos do Ministério da Saúde para a anulação da Diretriz. No documento, os signatários apontavam “vícios processuais, técnicos e metodológicos” e “ausência de transparência”. 


Esse documento foi discutido na sétima reunião extraordinária, cujo vídeo está disponível no site do Conitec. 

 

Pseudocientífico é aquilo que assume um estilo científico com um objetivo de propor ideias anticientíficas. Caricatura é a representação exagerada de características verdadeiras. Em minha visão, o requerimento é um primor didático do uso inapropriado de princípios científicos, ignorando o própria natureza e aplicabilidade destes conceitos. O linguajar traz uma aparência científica, diria até intelectual, que pode confundir um leitor comum. Talvez o objetivo seja mesmo confundir. 

 

O documento em questão traz inúmeros exemplos do que me refiro como caricatural. Limitarei meus comentários a três que encontrei mais interessantes: a inversão do ônus da prova, o mal uso dos Critérios de Hill e a comparação das evidência de hidroxicloroquina e vacinas. São usos de conceitos científicos típicos de quem ouviu a banda tocar, mas não sabe onde. Inclusive me pareceu algo encomendado, pois eu nunca ouvira estes tipos de argumentos vindos de membros da Conitec. 

 

 

Inversão do Ônus da Prova

 

Nas “críticas metodológicas”, os autores reclamam das conclusões das Diretriz com o argumento de que significância estatística e intervalos de confiança nunca foram mandatórios para se provar ou refutar causalidade”. Esta frase implica na necessidade de eu assumir uma desconfortável posição didática, frente a pessoas que imagino dominar princípios científicos tanto quanto eu. 

 

Os autores do texto parecem confundir os conceitos de “necessário” (mandatório) e “suficiente” quando usam os termos “causalidade” e “significância”. Primeiro, causalidade: se por um lado a relação entre X e Y não é condição suficiente para que cause Yesta condição é necessária. Segundo, associação: para julgar uma associação verdadeirasignificância estatística não é suficiente, mas é necessária. Necessária porque a aparente associação pode ser mero resultado do acaso (erro tipo I) presente em amostras que intrinsecamente sofrem de imprecisão. 

 

Portanto, para rejeitar a hipótese nula (ausência de associação), faz-se necessário que baixa probabilidade do resultado observado se fazer presente se esta hipótese for verdadeira. Tão baixa que torna improvável a hipótese nula, que acaba por ser rejeitada. Visto que os autores do documento se referiram a “significância estatística”, acabo de descrever o paradigma da refutabilidade, que inspirou Fisher na criação do teste de hipótese estatística. Existem outras abordagens estatísticas, que não comento aqui pois não fizeram parte dos caricaturais argumentos. 

 

A inversão do ônus da prova ganha forma mais nítida quando os autores se queixam da posição contrária da Diretriz a tratamentos não comprovados com base no mesmo argumento: “[ausência de] significância estatística nunca foi necessária para se refutar causalidade”. Precisamos diferenciar “objetivo” de “método”. Tentar refutar é um método com objetivo de provar causalidade. Portanto, “refutar causalidade” não é objetivo da ciência, como sugere a frase. Provar que uma terapia é ineficaz não é uma condição necessária para não usar a terapia. É o contrário: usar tem como premissa prova de eficácia. 

 

A recomendação contrária a uma conduta não decorre da prova de ausência de eficácia, mas sim da ausência de prova. Portanto, não cabe o combate à negação. Para fins didáticos, a ausência de significância é falta de rejeição da hipótese nula, e não prova da hipótese nula. O ônus da prova está na ação e não na inação. Sem mesmo saber que chegaríamos a este ponto, há dois anos expliquei estes conceitos em uma postagem do Blog, ainda na época em que eu falava do assunto hidroxicloroquina.

 


O Sofisma de Hill

 

O sofisma baseado em termos epidemiológicos fora de contexto chega ao clímax quando os autores sugerem que os Critérios de Causalidade de Hill devam ser utilizados, independente da associação estatística: “recomendações divergentes que ignoram os postulados da causalidade de Hill (1965), principalmente valorizando o intervalo de confiança e o valor de P”. Bradford Hill deve estar se revirando no túmulo, e se pudesse ele ressurgiria das cinzas para explicar o contexto em que estes critérios foram criados e sua aplicabilidade. 

 

Na ausência do autor, explico: os critérios foram criados por Hill para tentar resolver a intensa controvérsia (cientistas versus indústria) quanto à causalidade entre tabagismo e câncer de pulmão. Mesmo após estudos de caso-controle e coorte terem demonstrado consistente associação (estatisticamente significante) entre estas duas variáveis, a indústria insistia em argumentar que a associação não era causalAssim foi criado um construto teórico para interpretar a associação sob a ótica da causalidade. 

 

No requerimento ao “secretário de ciência”, os autores propõem a utilização dos Critérios de Hill na ausência de associação estatisticamente comprovada, o que não tem lógica alguma. 

 

Além disso, os Critérios de Hill são utilizados para análise de fatores causadores de doença, como tabagismo, pois nestes casos o desenho dos estudos são observacionais, modelos que não geram o contrafactual para análise de causalidade. 

 

Imaginem uma paciente que fumou e teve câncer. Se esta mesma paciente, em um mundo paralelo (contrafactual) não houvesse fumado, ela teria câncer? Esta explicação é a definição  de causalidade baseado no contrafactual. 


Quando falamos de tratamento, o contexto é o dos ensaios clínicos randomizados, que artificialmente geram a comparação de pacientes semelhantes, simulando o contrafactual. Portanto, sugerir que se utilize Critérios de Hill no contexto de ensaios clínicos randomizados é inadequado. Neste contexto, os critérios tem sua utilidade limitada à inferência da probabilidade pré-teste da hipótese, mas não na defesa da ideia de causalidade para fins práticos. 

 


 A Tabela dos Tratamentos

 

E para concluir a salada de argumentação, os autores nos brindam com uma tabela em que analisam diferentes tratamentos em relação à algumas perguntas, dentre elas: “há demonstração de efetividade?” e “há demonstração de segurança?”. Surpreendentemente, hidroxicloroquina é classificada como SIM para efetividade e segurança, enquanto vacinas são classificadas como NÃO. 



 

Toda essa argumentação pseudocientífica representa a segunda evidência de viés na análise da Diretriz. Fico curioso em saber da motivação para a criação de trabalhosa “linha” de argumentação, fabricada por retalhos de argumentos costurados de forma não linear?


 

Comprovação da Hipótese de Viés III: o Secretário

 

O “secretário de ciência”, apresentado a um documento que fere princípios epistemológicos, parece não ter lido com o devido rigor científico e encaminha a questão para o Comitê de Ética da Presidência. Na sequência, solicita ao Ministro da Saúde a exoneração da Diretora da Conitec, que votou a favor da Diretriz. 

 

Mais uma vez pergunto: qual a motivação?

 

Assim, o que era uma hipótese no momento da primeira votação, parece se confirmar por uma sequência de fatos inusitados: a fonte de erro não era casual, evidências apontam para viés.  

 

 

Interpretação: Quando a Política agride Políticas de Saúde

 

Em português, a palavra política é usada em dois sentidos que por vezes assumem papéis contraditórios. Em inglês é mais difícil confundir ou fazer trocadilho. “Policy” é política com sentido de “medida”, enquanto “politics” tem o sentido de atividade de governar. A Conitec, uma das mais importantes ferramentas de tradução de evidências científicas em políticas de saúde, está sendo sequestrada para fins do segundo sentido da palavra política. 

 

Em um país democrático, líderes precisam justificar suas decisões, enquanto um secretário de ciência precisa ser científico em suas ações. Mudanças quando bem aplicadas são bem-vindas, mas esta me parece oportunista. Isto se trata de minha opinião pessoal, uma análise que pode estar sujeita a críticas, desde que os envolvidos expliquem uma lógica que tenho dificuldade de assimilar. 

 

A ciência epidemiológica explora causalidade entre "exposição" e "desfecho". Sugiro que o atual “secretário de ciência” utilize do tradicional paradigma epidemiológico e nos esclareça qual o desfecho desejado ao expor o Brasil a este constrangimento durante momento crítico de nossa saúde pública. 

 

O secretário atual deve lembrar que todos nós passaremos. Fica para a história o nosso legado. A Conitec já havia escrito seu legado em prol da saúde pública do Brasil. Os demais devem refletir sobre como desejam ser lembrados pela história. 


----------------------------------------------------------------------------------------------------------------------------


Atualização: Horas após a publicação desta postagem, sai a nota técnica do secretário de ciência desaprovando a Diretriz. 



Acompanhem nosso Curso Online de MBE, Canal do YouTube, Podcast e Twitter, acessíveis por este linkhttps://linktr.ee/curso_online_mbe

24 comentários:

  1. Blog comunista. Fala tanto em prova, blablabla, então porque nao fala da prova de que essas vacinas funcionam?? Ai não lhe interessa.Nao precisa provar, né

    ResponderExcluir
    Respostas
    1. Todas as vacinas passaram por diversas provas de eficácia e segurança para poderem de usadas no Brasil. Caso tenha interesse nas provas estas estão descritas em detalhes nas bulas no site da Anvisa. Deixo aqui link para a bula da vacina da Fiocruz como exemplo: https://consultas.anvisa.gov.br/#/bulario/q/?numeroRegistro=110630156

      Excluir
    2. Sua fala só demonstra que vc é um perfeito idiota!

      Excluir
    3. na verdade, no proprio blog tem algumas aulas de analise sobre efetividade e etica em ciencia. So olhar um pouco mais pra baixo. Incrivel como pode associar comunismo com uma analise critica....

      Excluir
    4. Betinho, você sabe o que é comunismo?

      Excluir
  2. Muita coragem Luis, parabens, tempos difíceis.

    ResponderExcluir
  3. Excelente. O mais dificil neste momento e fazer ouvir os que sabem e pensam. infelizmente os que nao pensam e so seguem a "boiada" sao os que fazem mais barulho... tempos dificeis. parabens pelo texto!!!

    ResponderExcluir
  4. Aplaudo de pé! Sempre admirei sua coerência e coragem, professor!

    ResponderExcluir
  5. Excelente explanação. A criação da Conitec foi um avanço importante para dar subsídio científico às decisões, garantir transparência e oportunidade para ampla manifestação do contraditório. Não é surpresa um governo que despreza a ciência tentar destruí-la.

    ResponderExcluir
  6. Engraçado que vc é o dono da verdade e parece acreditar tanto no poder da estatística que pelo seu cálculo probabilístico só se justifica um erro sistemático.
    Mas é uma visão reducionista, pois assume a MBE como paradigma único, esquecendo as outras bases da MBE e da ética que não é só a utilitarista como vc parece usar. Seria a medicina somente baseada em evidências, e mais nada. Pior é quando quer falar de política sem que seja um analista político ou tenha formação ou visão para tal. Não percebe que toda esta pandemia está tomada por viés político, desde a publicação das notícias (como desse "ótimo" jornal para o qual vc escreveu) quanto também de pesquisadores e revistas,tirando os conflitos de poder dos políticos e órgãos. A ciência não existe em forma pura na realidade, por isso também que é um absurdo querer tanta certeza, em apenas 2 anos, de algo que antes não existia. E sobre a HCQ, qual era é melhor evidência disponível no início da pandemia? A de estudos in vidro é modelos animais,qual evidência vc queria se a doença não existia? E a própria OMS já tinha uma diretriz sobre uso de medicações experimentais em situações semelhantes que permitia esse uso. A HCQ, independente da sua comprovação posterior, bem como os pesquisadores que ela sugeriram, deveriam ter sido tratados com mais respeito e não com polarização política e desprezo, que tem sido a tônica, basta ver os comentários no texto sobre o governo. Sinto muito, vc caiu nessa até por inocência, é mundo reducionista do cientificismo...

    ResponderExcluir
    Respostas
    1. Por que "Anonimo"? Parece que o dono da verdade é alguém que não quer dizer o nome. Deve ser modéstia (geralmente os sábios são modestos né). P.S. E interessante que eu não sabia que só analista político podia se pronunciar sobre política, foi mais uma coisa que eu aprendi hoje, valeu.

      Excluir
  7. Caro Luís. A discordância é necessária na ciência. Epistemológicamente falando, o fenômeno precede a observação, e a observação precede a comprovação. Seu texto inverte essa premissa básica. Descarregue sua frustração em outro campo. Concentre-se e comente o tema das vacinas que vc pode aliviar sua angústia.

    ResponderExcluir
  8. Boa tarde, Luis. Excelente texto. Pensamento muito claro e coerente.
    Fico intrigado com a analise estatistica (distribuição binominal e formação das odds). Teria alguma literatura ou curso para recomendar essa parte mais conceitual da estatistica?
    Gostaria que mais pessoas tivessem feito seu curso para nao misturar conceitos tão fundamentais sobre a logica de analise de estudos de tratamento. Incrivel como ainda se discute sobre hcq (que nao conseguiu demonstrar efeito em tempos que o risco era maior) quando se tem uma redução tao importante de efeito após as vacinas (tão questionadas a qualquer custo, mas podemos ver o efeito halo e os vieses de legiao e confirmação de bolhas argumentativas)
    No mais, ótimo ler seus textos novamente, continue com essa árdua missão de comunicar ciência

    ResponderExcluir
  9. A democracia é legítima e a discussão é saudável, desde que amparada por fundamentação científica. A argumentação apoiada na opinião de profissionais já é sabidamente enviesada e pouco relevante. Os serviços de saúde não tem tempo, não dispõe de recursos e tampouco de energia para abrir espaço para achismos e falácias insolidas. Não é justo, não é propício e não é constitucional que a população brasileira fique sujeita a ditames que a exponham a inércia e principalmente a insegurança. Parabéns pela redação do texto e pelo trabalho realizado.

    ResponderExcluir
  10. Simplesmente, sensacional. Respeito máximo ao autor.

    ResponderExcluir
  11. Parabéns, Luis. Texto impecável. Temos que combater o sofisma, o negacionismo e a contra ciência

    ResponderExcluir
  12. Me convidaram a voto em uma petição semelhante, contendo esse tipo de argumentação. O documento apresentava inclusive numerosas referências científicas, com links Internet e argumentação circular.

    Após ler as cerca de 50 páginas, que além de silogismos misturavam elementos factícios que considero em acordo com a ciência a outros (que a ciência já negou publicamente), o "legalês" e "cientifiquês" me deixaram confuso. A petição ao ser lida sequer confessava seus objetivos verdadeiros.

    Está passando da hora de nós, homens de bem da ciência (sim, me considero um deles) reagirmos.

    Precisamos conversar sobre isso.

    (a) Victor LA

    ResponderExcluir
  13. POSTEI HÁ 3 DIAS A MINHA OPINIÃO AQUI. ATÉ AGORA NÃO APARECEU NOS COMENTÁRIOS E NÃO ENTENDI A RAZÃO. TALVEZ ALGUM VIÉS MEU? DEIXO CLARO- SE EISTE UM VIÉS É A FAVOR DA CIENCIA, PURA E SIMPLES. NESSE CASO, SOU VISCERALMENTE PRÓ VACINA E SUPORTO A PUBLICAÇÃO DA DIRETRIZ QUE O GRUPO COMISSIONADO PARA ISSO, DE CIENTISTAS BRASILEIROS, BEM O FEZ. UMA VEZ MAIS, LUIS CLAUDIO, PARABÉNS PELO TEXTO E PELO POSICIONAMENTO

    ResponderExcluir
  14. Parabéns mais uma vez, pela sua coragem e clareza nos seus textos, análises e opiniões! Parabéns!

    ResponderExcluir
  15. Parabéns, Professor! Grata pelo aprendizado contínuo! Penso que caminhamos em direção à exploração de complexidades sistêmicas que permanecem ocultas e quanto mais nos aproximarmos delas, mais poderemos nos apropriar da nossa essência. Esse caminhar necessita bússolas e a isso se prestam as diretrizes, a meu ver. Importantíssimo contemplar paisagens, quem sabe, descobrir novos caminhos, quem sabe, revisar os mapas, mas manter-se na rota, se há um ponto de chegada escolhido a priori, que possa, no caso da saúde, beneficiar a humanidade. A serviço desta guiança deve estar a ciência. Infelizmente, não é o que testemuhado, nesses tempos de caos.Mas faz parte... Que venha "uma estrela brilhante" para as próximas gerações.

    ResponderExcluir
  16. É triste ver a ciência ser considerada como comunista ou de esquerda, quando ela não contempla as aspirações e desejos do governo ou de uma parcela da sociedade. Queríamos um medicamento para curar a infecção por COVID-19 e voltar às atividades laborais/econômicas e desejar que ela fosse menor do que foi. Mas se a realidade nos impõe o contraditório dos nossos desejos, podemos lutar contra ela? Apresentar estudos com alto viés e possíveis erros em sua formulação? Eu só fico triste.

    ResponderExcluir