** Este artigo reflete minha visão pessoal, sem qualquer pretensão em representar a visão de instituições das quais faço parte.
Erros são características inerentes de processos de decisão. Erros clínicos prejudicam um paciente por vez. Erros em saúde pública prejudicam milhões de uma só vez.
Minhas reflexões científicas advém, em sua maioria, da prática médica, quando exercito o desejo de não prejudicar e, se possível, beneficiar o indivíduo clínico. Mesmo embasadas em ciências, minhas ideias clínicas acabam por possuir um caráter pessoal, pois são também resultado de minhas vivências.
Diferentemente, o presente texto não se refere a decisões clínicas. Este se refere a decisões sistêmicas, que afetam populações. Por outro lado, se assemelham às minhas usuais reflexões, pois possuem um aspecto pessoal advindo de uma vivência. Neste texto, minha vivência como membro da Conitec (Comissão Nacional de Incorporação de Tecnologias no SUS), particularmente nos últimos dois meses.
Este texto possui três dimensões: fatos, análise científica e interpretações.
Fato Inusitado: gerador da hipótese de viés
Confesso que esta é uma história que me surpreendeu desde os primeiros capítulos. Durante minha vivência na Conitec, testemunhei um processo de rigorosa organização, funcionando como o epicentro da evolução do país nas análises de tecnologia em saúde. Somos munidos por minuciosas sínteses e análises da qualidade de evidências, realizadas pela Secretaria Executiva da Comissão e Núcleos de Tecnologia em Saúde. Bem servidos de informação, o desafio o é exercício da decisão, um processo mais complexo, que passa pela interpretação das evidências e necessita de um pensamento sistêmico que respeite incertezas e ambiguidades. Neste universo, somos sujeitos a erros aleatórios de decisão, que nunca serão eliminados, mas podem ser reduzidos por uma hierarquia de pensamento adequada.
Essa discussão vinha sendo meu foco nos últimos dois anos na Conitec, quando fui tomado por uma nova percepção ao final de 2021: a predominância de erros aleatórios parecia dar lugar a erros sistemáticos, ou seja, vieses. Mas não exatamente os vieses cognitivos típicos da mente humana, mas sim vieses que levaram a momentos de opção pela irracionalidade epidemiológica quando o país mais precisava de sabedoria.
A história que conto foi noticiada em tempo real pela imprensa brasileira. Assim, meu objetivo em relatar os fatos não é puramente descritivo, mas principalmente analítico, interpretativo, baseado em ciência e em percepções.
Na manhã de alguma quinta-feira em outubro, deu-se início a Sexta Reunião Extraordinária da Conitec. A despeito do nome, para mim nada havia de extraordinário. Na pauta, três Diretrizes: Tratamento Medicamentoso Ambulatorial do Paciente com Covid-19, Esclerose Múltipla e Retocolite Ulcerativa.
Diferentemente de incorporações de novas tecnologias, que geram debates e opiniões contrárias, discussões de diretrizes carecem de controvérsia. Estas servem para aprimorar os documentos, mas eu nunca vi alguma ser rejeitada. Na verdade, eu nunca vi um voto contrário a uma diretriz, embora eu não seja a pessoa mais indicada para falar do histórico de 10 anos da Conitec.
Foi quando, para minha surpresa, acordei de meus distraídos pensamentos naquela manhã com gritos de manifestação de alguns integrantes do Conitec, questionando a posição da Diretriz contrária a drogas do tipo hidroxicloroquina. Esta posição vinha misturada com sugestões de que aquela Diretriz nem mesmo deveria existir. A discussão se prolongou (vídeo), repleta de argumentos que tentavam parecer científicos, mas primavam por violações de princípios básicos. Questionou-se que não havia prova de que hidroxicloroquina ou ivermectina não funcionava, enquanto outros argumentavam que diretriz que recomenda contra tratamentos não é diretriz, pois estes documentos servem para ditar ações.
Terminou em votação, que terminou em empate de 6 x 6. O incômodo com a falta de posição da Conitec quanto ao assunto me levou a escrever uma análise, publicada Folha de São Paulo.
Dos seis votos contrários, cinco foram de secretarias ligadas ao Ministério da Saúde e o sexto do Conselho Federal de Medicina. Esses eram votos contrários à minha opinião, e naquela época não me senti confortável em afirmar que eles estavam errados e eu certo. Limitei-me a uma análise probabilística de que algum dos lados houvera cometido um grande equívoco. Tentando ser fiel ao paradigma científico, sendo viés algo difícil de ser provado, apelei para a estatística. Baseado na distribuição binomial, e na premissa de que qualquer das duas decisões teria maior chance (odds 1:4 ou 4:1) de estar correta do que a decisão oposta, calculei que a probabilidade de um empate em 12 votos seria de 2% (P = 0,02). Assim, o observado naquele dia rejeitaria predito pelo acaso, praticamente eliminando a possibilidade de erro aleatório e sugerindo que o empate foi mediado por viés.
Era uma ideia construída a posteriori do fato, portanto apenas uma hipótese, que precisaria de confirmação empírica.
Comprovação da Hipótese de Viés I: Reprodutibilidade
Cheguei a pensar, e até mesmo desejar que esta confirmação não viesse, e conclui no meu texto que “se a Conitec seguir o padrão de qualidade que a fez reconhecida por 10 anos de serviço científico prestado ao SUS, um novo empate não acontecerá [na segunda votação].”
Mais uma vez, errei durante esta pandemia … a comprovação da hipótese aconteceu, por uma sequência de fatos que cumprem formalmente o critério científico da reprodutibilidade.
O primeiro fato foi exatamente a segunda votação, que como de praxe ocorre após a consulta pública. Numa clara evidência contra o acaso, a mesma discussão se repetiu, os votos se reproduziram, e graças à presença do décimo terceiro voto da ANVISA, a Diretriz foi aprovada pelo plenário da CONITEC por 7 votos a favor contra 6 votos contrários.
Não foi um equívoco casual, havia convicção de ambas as partes. Reprodutibidade sugere causalidade.
Comprovação da Hipótese de Viés II: Caricatura Pseudocientífica
Mas foi outro desenrolar da história que tornou o viés explícito. Os cinco representantes do Ministério da Saúde que foram contrários à Diretriz, não se contentando com seus votos, foram além e encaminharam requerimento ao Secretário de Ciência, Tecnologia e Insumos Estratégicos do Ministério da Saúde para a anulação da Diretriz. No documento, os signatários apontavam “vícios processuais, técnicos e metodológicos” e “ausência de transparência”.
Esse documento foi discutido na sétima reunião extraordinária, cujo vídeo está disponível no site do Conitec.
Pseudocientífico é aquilo que assume um estilo científico com um objetivo de propor ideias anticientíficas. Caricatura é a representação exagerada de características verdadeiras. Em minha visão, o requerimento é um primor didático do uso inapropriado de princípios científicos, ignorando o própria natureza e aplicabilidade destes conceitos. O linguajar traz uma aparência científica, diria até intelectual, que pode confundir um leitor comum. Talvez o objetivo seja mesmo confundir.
O documento em questão traz inúmeros exemplos do que me refiro como caricatural. Limitarei meus comentários a três que encontrei mais interessantes: a inversão do ônus da prova, o mal uso dos Critérios de Hill e a comparação das evidência de hidroxicloroquina e vacinas. São usos de conceitos científicos típicos de quem ouviu a banda tocar, mas não sabe onde. Inclusive me pareceu algo encomendado, pois eu nunca ouvira estes tipos de argumentos vindos de membros da Conitec.
Inversão do Ônus da Prova
Nas “críticas metodológicas”, os autores reclamam das conclusões das Diretriz com o argumento de que “significância estatística e intervalos de confiança nunca foram mandatórios para se provar ou refutar causalidade”. Esta frase implica na necessidade de eu assumir uma desconfortável posição didática, frente a pessoas que imagino dominar princípios científicos tanto quanto eu.
Os autores do texto parecem confundir os conceitos de “necessário” (mandatório) e “suficiente” quando usam os termos “causalidade” e “significância”. Primeiro, causalidade: se por um lado a relação entre X e Y não é condição suficiente para que X cause Y, esta condição é necessária. Segundo, associação: para julgar uma associação verdadeira, significância estatística não é suficiente, mas é necessária. Necessária porque a aparente associação pode ser mero resultado do acaso (erro tipo I) presente em amostras que intrinsecamente sofrem de imprecisão.
Portanto, para rejeitar a hipótese nula (ausência de associação), faz-se necessário que baixa probabilidade do resultado observado se fazer presente se esta hipótese for verdadeira. Tão baixa que torna improvável a hipótese nula, que acaba por ser rejeitada. Visto que os autores do documento se referiram a “significância estatística”, acabo de descrever o paradigma da refutabilidade, que inspirou Fisher na criação do teste de hipótese estatística. Existem outras abordagens estatísticas, que não comento aqui pois não fizeram parte dos caricaturais argumentos.
A inversão do ônus da prova ganha forma mais nítida quando os autores se queixam da posição contrária da Diretriz a tratamentos não comprovados com base no mesmo argumento: “[ausência de] significância estatística nunca foi necessária para se refutar causalidade”. Precisamos diferenciar “objetivo” de “método”. Tentar refutar é um método com objetivo de provar causalidade. Portanto, “refutar causalidade” não é objetivo da ciência, como sugere a frase. Provar que uma terapia é ineficaz não é uma condição necessária para não usar a terapia. É o contrário: usar tem como premissa prova de eficácia.
A recomendação contrária a uma conduta não decorre da prova de ausência de eficácia, mas sim da ausência de prova. Portanto, não cabe o combate à negação. Para fins didáticos, a ausência de significância é falta de rejeição da hipótese nula, e não prova da hipótese nula. O ônus da prova está na ação e não na inação. Sem mesmo saber que chegaríamos a este ponto, há dois anos expliquei estes conceitos em uma postagem do Blog, ainda na época em que eu falava do assunto hidroxicloroquina.
O Sofisma de Hill
O sofisma baseado em termos epidemiológicos fora de contexto chega ao clímax quando os autores sugerem que os Critérios de Causalidade de Hill devam ser utilizados, independente da associação estatística: “recomendações divergentes que ignoram os postulados da causalidade de Hill (1965), principalmente valorizando o intervalo de confiança e o valor de P”. Bradford Hill deve estar se revirando no túmulo, e se pudesse ele ressurgiria das cinzas para explicar o contexto em que estes critérios foram criados e sua aplicabilidade.
Na ausência do autor, explico: os critérios foram criados por Hill para tentar resolver a intensa controvérsia (cientistas versus indústria) quanto à causalidade entre tabagismo e câncer de pulmão. Mesmo após estudos de caso-controle e coorte terem demonstrado consistente associação (estatisticamente significante) entre estas duas variáveis, a indústria insistia em argumentar que a associação não era causal. Assim foi criado um construto teórico para interpretar a associação sob a ótica da causalidade.
No requerimento ao “secretário de ciência”, os autores propõem a utilização dos Critérios de Hill na ausência de associação estatisticamente comprovada, o que não tem lógica alguma.
Além disso, os Critérios de Hill são utilizados para análise de fatores causadores de doença, como tabagismo, pois nestes casos o desenho dos estudos são observacionais, modelos que não geram o contrafactual para análise de causalidade.
Imaginem uma paciente que fumou e teve câncer. Se esta mesma paciente, em um mundo paralelo (contrafactual) não houvesse fumado, ela teria câncer? Esta explicação é a definição de causalidade baseado no contrafactual.
Quando falamos de tratamento, o contexto é o dos ensaios clínicos randomizados, que artificialmente geram a comparação de pacientes semelhantes, simulando o contrafactual. Portanto, sugerir que se utilize Critérios de Hill no contexto de ensaios clínicos randomizados é inadequado. Neste contexto, os critérios tem sua utilidade limitada à inferência da probabilidade pré-teste da hipótese, mas não na defesa da ideia de causalidade para fins práticos.
A Tabela dos Tratamentos
E para concluir a salada de argumentação, os autores nos brindam com uma tabela em que analisam diferentes tratamentos em relação à algumas perguntas, dentre elas: “há demonstração de efetividade?” e “há demonstração de segurança?”. Surpreendentemente, hidroxicloroquina é classificada como SIM para efetividade e segurança, enquanto vacinas são classificadas como NÃO.
Toda essa argumentação pseudocientífica representa a segunda evidência de viés na análise da Diretriz. Fico curioso em saber da motivação para a criação de trabalhosa “linha” de argumentação, fabricada por retalhos de argumentos costurados de forma não linear?
Comprovação da Hipótese de Viés III: o Secretário
O “secretário de ciência”, apresentado a um documento que fere princípios epistemológicos, parece não ter lido com o devido rigor científico e encaminha a questão para o Comitê de Ética da Presidência. Na sequência, solicita ao Ministro da Saúde a exoneração da Diretora da Conitec, que votou a favor da Diretriz.
Mais uma vez pergunto: qual a motivação?
Assim, o que era uma hipótese no momento da primeira votação, parece se confirmar por uma sequência de fatos inusitados: a fonte de erro não era casual, evidências apontam para viés.
Interpretação: Quando a “Política” agride Políticas de Saúde
Em português, a palavra “política” é usada em dois sentidos que por vezes assumem papéis contraditórios. Em inglês é mais difícil confundir ou fazer trocadilho. “Policy” é política com sentido de “medida”, enquanto “politics” tem o sentido de atividade de governar. A Conitec, uma das mais importantes ferramentas de tradução de evidências científicas em políticas de saúde, está sendo sequestrada para fins do segundo sentido da palavra política.
Em um país democrático, líderes precisam justificar suas decisões, enquanto um “secretário de ciência” precisa ser científico em suas ações. Mudanças quando bem aplicadas são bem-vindas, mas esta me parece oportunista. Isto se trata de minha opinião pessoal, uma análise que pode estar sujeita a críticas, desde que os envolvidos expliquem uma lógica que tenho dificuldade de assimilar.
A ciência epidemiológica explora causalidade entre "exposição" e "desfecho". Sugiro que o atual “secretário de ciência” utilize do tradicional paradigma epidemiológico e nos esclareça qual o desfecho desejado ao expor o Brasil a este constrangimento durante momento crítico de nossa saúde pública.
O secretário atual deve lembrar que todos nós passaremos. Fica para a história o nosso legado. A Conitec já havia escrito seu legado em prol da saúde pública do Brasil. Os demais devem refletir sobre como desejam ser lembrados pela história.
----------------------------------------------------------------------------------------------------------------------------
Atualização: Horas após a publicação desta postagem, sai a nota técnica do secretário de ciência desaprovando a Diretriz.
Acompanhem nosso Curso Online de MBE, Canal do YouTube, Podcast e Twitter, acessíveis por este link: https://linktr.ee/curso_online_mbe