quinta-feira, 20 de janeiro de 2022

O Sequestro da CONITEC


 


** Este artigo reflete minha visão pessoal, sem qualquer pretensão em representar a visão de instituições das quais faço parte.


Erros são características inerentes de processos de decisão. Erros clínicos prejudicam um paciente por vez. Erros em saúde pública prejudicam milhões de uma só vez.

 

Minhas reflexões científicas advém, em sua maioria, da prática médica, quando exercito o desejo de não prejudicar e, se possível, beneficiar o indivíduo clínico. Mesmo embasadas em ciências, minhas ideias clínicas acabam por possuir um caráter pessoal, pois são também resultado de minhas vivências. 

 

Diferentemente, o presente texto não se refere a decisões clínicas. Este se refere a decisões sistêmicas, que afetam populações. Por outro lado, se assemelham às minhas usuais reflexões, pois possuem um aspecto pessoal advindo de uma vivência. Neste texto, minha vivência como membro da Conitec (Comissão Nacional de Incorporação de Tecnologias no SUS), particularmente nos últimos dois meses. 

 

Este texto possui três dimensões: fatos, análise científica e interpretações.

 

 

Fato Inusitado: gerador da hipótese de viés

 

Confesso que esta é uma história que me surpreendeu desde os primeiros capítulos. Durante minha vivência na Conitec, testemunhei um processo de rigorosa organização, funcionando como o epicentro da evolução do país nas análises de tecnologia em saúde. Somos munidos por minuciosas sínteses e análises da qualidade de evidências, realizadas pela Secretaria Executiva da Comissão e Núcleos de Tecnologia em Saúde. Bem servidos de informação, o desafio o é exercício da decisão, um processo mais complexo, que passa pela interpretação das evidências e necessita de um pensamento sistêmico que respeite incertezas e ambiguidades. Neste universo, somos sujeitos a erros aleatórios de decisão, que nunca serão eliminados, mas podem ser reduzidos por uma hierarquia de pensamento adequada. 

 

Essa discussão vinha sendo meu foco nos últimos dois anos na Conitec, quando fui tomado por uma nova percepção ao final de 2021: a predominância de erros aleatórios parecia dar lugar a erros sistemáticos, ou seja, vieses. Mas não exatamente os vieses cognitivos típicos da mente humana, mas sim vieses que levaram a momentos de opção pela irracionalidade epidemiológica quando o país mais precisava de sabedoria. 

 

A história que conto foi noticiada em tempo real pela imprensa brasileira. Assim, meu objetivo em relatar os fatos não é puramente descritivo, mas principalmente analítico, interpretativo, baseado em ciência e em percepções. 

 

Na manhã de alguma quinta-feira em outubro, deu-se início a Sexta Reunião Extraordinária da Conitec. A despeito do nome, para mim nada havia de extraordinário. Na pauta, três Diretrizes: Tratamento Medicamentoso Ambulatorial do Paciente com Covid-19, Esclerose Múltipla e Retocolite Ulcerativa. 

 

Diferentemente de incorporações de novas tecnologias, que geram debates e opiniões contrárias, discussões de diretrizes carecem de controvérsia. Estas servem para aprimorar os documentos, mas eu nunca vi alguma ser rejeitada. Na verdade, eu nunca vi um voto contrário a uma diretriz, embora eu não seja a pessoa mais indicada para falar do histórico de 10 anos da Conitec.

 

Foi quando, para minha surpresa, acordei de meus distraídos pensamentos naquela manhã  com gritos de manifestação de alguns integrantes do Conitec, questionando a posição da Diretriz contrária a drogas do tipo hidroxicloroquina. Esta posição vinha misturada com sugestões de que aquela Diretriz nem mesmo deveria existir. A discussão se prolongou (vídeo), repleta de argumentos que tentavam parecer científicos, mas primavam por violações de princípios básicos. Questionou-se que não havia prova de que hidroxicloroquina ou ivermectina não funcionava, enquanto outros argumentavam que diretriz que recomenda contra tratamentos não é diretriz, pois estes documentos servem para ditar ações. 

 

Terminou em votação, que terminou em empate de 6 x 6. O incômodo com a falta de posição da Conitec quanto ao assunto me levou a escrever uma análise, publicada Folha de São Paulo

 

Dos seis votos contrários, cinco foram de secretarias ligadas ao Ministério da Saúde e o sexto do Conselho Federal de Medicina. Esses eram votos contrários à minha opinião, e naquela época não me senti confortável em afirmar que eles estavam errados e eu certo. Limitei-me a uma análise probabilística de que algum dos lados houvera cometido um grande equívoco. Tentando ser fiel ao paradigma científico, sendo viés algo difícil de ser provado, apelei para a estatística. Baseado na distribuição binomial, e na premissa de que qualquer das duas decisões teria maior chance (odds 1:4 ou 4:1) de estar correta do que a decisão oposta, calculei que a probabilidade de um empate em 12 votos seria de 2% (P = 0,02). Assim, o observado naquele dia rejeitaria predito pelo acaso, praticamente eliminando a possibilidade de erro aleatório e sugerindo que o empate foi mediado por viés. 

 

Era uma ideia construída a posteriori do fato, portanto apenas uma hipótese, que precisaria de confirmação empírica. 

 


Comprovação da Hipótese de Viés I: Reprodutibilidade

 

Cheguei a pensar, e até mesmo desejar que esta confirmação não viesse, e conclui no meu texto que “se a Conitec seguir o padrão de qualidade que a fez reconhecida por 10 anos de serviço científico prestado ao SUS, um novo empate não acontecerá [na segunda votação].” 

 

Mais uma vez, errei durante esta pandemia … a comprovação da hipótese aconteceu, por uma sequência de fatos que cumprem formalmente o critério científico da reprodutibilidade.

 

O primeiro fato foi exatamente a segunda votação, que como de praxe ocorre após a consulta pública. Numa clara evidência contra o acaso, a mesma discussão se repetiu, os votos se reproduziram, e graças à presença do décimo terceiro voto da ANVISA, a Diretriz foi aprovada pelo plenário da CONITEC por 7 votos a favor contra 6 votos contrários. 


Não foi um equívoco casual, havia convicção de ambas as partes. Reprodutibidade sugere causalidade. 

 

 

Comprovação da Hipótese de Viés II: Caricatura Pseudocientífica


Mas foi outro desenrolar da história que tornou o viés explícito. Os cinco representantes do Ministério da Saúde que foram contrários à Diretriz, não se contentando com seus votos, foram além e encaminharam requerimento ao Secretário de Ciência, Tecnologia e Insumos Estratégicos do Ministério da Saúde para a anulação da Diretriz. No documento, os signatários apontavam “vícios processuais, técnicos e metodológicos” e “ausência de transparência”. 


Esse documento foi discutido na sétima reunião extraordinária, cujo vídeo está disponível no site do Conitec. 

 

Pseudocientífico é aquilo que assume um estilo científico com um objetivo de propor ideias anticientíficas. Caricatura é a representação exagerada de características verdadeiras. Em minha visão, o requerimento é um primor didático do uso inapropriado de princípios científicos, ignorando o própria natureza e aplicabilidade destes conceitos. O linguajar traz uma aparência científica, diria até intelectual, que pode confundir um leitor comum. Talvez o objetivo seja mesmo confundir. 

 

O documento em questão traz inúmeros exemplos do que me refiro como caricatural. Limitarei meus comentários a três que encontrei mais interessantes: a inversão do ônus da prova, o mal uso dos Critérios de Hill e a comparação das evidência de hidroxicloroquina e vacinas. São usos de conceitos científicos típicos de quem ouviu a banda tocar, mas não sabe onde. Inclusive me pareceu algo encomendado, pois eu nunca ouvira estes tipos de argumentos vindos de membros da Conitec. 

 

 

Inversão do Ônus da Prova

 

Nas “críticas metodológicas”, os autores reclamam das conclusões das Diretriz com o argumento de que significância estatística e intervalos de confiança nunca foram mandatórios para se provar ou refutar causalidade”. Esta frase implica na necessidade de eu assumir uma desconfortável posição didática, frente a pessoas que imagino dominar princípios científicos tanto quanto eu. 

 

Os autores do texto parecem confundir os conceitos de “necessário” (mandatório) e “suficiente” quando usam os termos “causalidade” e “significância”. Primeiro, causalidade: se por um lado a relação entre X e Y não é condição suficiente para que cause Yesta condição é necessária. Segundo, associação: para julgar uma associação verdadeirasignificância estatística não é suficiente, mas é necessária. Necessária porque a aparente associação pode ser mero resultado do acaso (erro tipo I) presente em amostras que intrinsecamente sofrem de imprecisão. 

 

Portanto, para rejeitar a hipótese nula (ausência de associação), faz-se necessário que baixa probabilidade do resultado observado se fazer presente se esta hipótese for verdadeira. Tão baixa que torna improvável a hipótese nula, que acaba por ser rejeitada. Visto que os autores do documento se referiram a “significância estatística”, acabo de descrever o paradigma da refutabilidade, que inspirou Fisher na criação do teste de hipótese estatística. Existem outras abordagens estatísticas, que não comento aqui pois não fizeram parte dos caricaturais argumentos. 

 

A inversão do ônus da prova ganha forma mais nítida quando os autores se queixam da posição contrária da Diretriz a tratamentos não comprovados com base no mesmo argumento: “[ausência de] significância estatística nunca foi necessária para se refutar causalidade”. Precisamos diferenciar “objetivo” de “método”. Tentar refutar é um método com objetivo de provar causalidade. Portanto, “refutar causalidade” não é objetivo da ciência, como sugere a frase. Provar que uma terapia é ineficaz não é uma condição necessária para não usar a terapia. É o contrário: usar tem como premissa prova de eficácia. 

 

A recomendação contrária a uma conduta não decorre da prova de ausência de eficácia, mas sim da ausência de prova. Portanto, não cabe o combate à negação. Para fins didáticos, a ausência de significância é falta de rejeição da hipótese nula, e não prova da hipótese nula. O ônus da prova está na ação e não na inação. Sem mesmo saber que chegaríamos a este ponto, há dois anos expliquei estes conceitos em uma postagem do Blog, ainda na época em que eu falava do assunto hidroxicloroquina.

 


O Sofisma de Hill

 

O sofisma baseado em termos epidemiológicos fora de contexto chega ao clímax quando os autores sugerem que os Critérios de Causalidade de Hill devam ser utilizados, independente da associação estatística: “recomendações divergentes que ignoram os postulados da causalidade de Hill (1965), principalmente valorizando o intervalo de confiança e o valor de P”. Bradford Hill deve estar se revirando no túmulo, e se pudesse ele ressurgiria das cinzas para explicar o contexto em que estes critérios foram criados e sua aplicabilidade. 

 

Na ausência do autor, explico: os critérios foram criados por Hill para tentar resolver a intensa controvérsia (cientistas versus indústria) quanto à causalidade entre tabagismo e câncer de pulmão. Mesmo após estudos de caso-controle e coorte terem demonstrado consistente associação (estatisticamente significante) entre estas duas variáveis, a indústria insistia em argumentar que a associação não era causalAssim foi criado um construto teórico para interpretar a associação sob a ótica da causalidade. 

 

No requerimento ao “secretário de ciência”, os autores propõem a utilização dos Critérios de Hill na ausência de associação estatisticamente comprovada, o que não tem lógica alguma. 

 

Além disso, os Critérios de Hill são utilizados para análise de fatores causadores de doença, como tabagismo, pois nestes casos o desenho dos estudos são observacionais, modelos que não geram o contrafactual para análise de causalidade. 

 

Imaginem uma paciente que fumou e teve câncer. Se esta mesma paciente, em um mundo paralelo (contrafactual) não houvesse fumado, ela teria câncer? Esta explicação é a definição  de causalidade baseado no contrafactual. 


Quando falamos de tratamento, o contexto é o dos ensaios clínicos randomizados, que artificialmente geram a comparação de pacientes semelhantes, simulando o contrafactual. Portanto, sugerir que se utilize Critérios de Hill no contexto de ensaios clínicos randomizados é inadequado. Neste contexto, os critérios tem sua utilidade limitada à inferência da probabilidade pré-teste da hipótese, mas não na defesa da ideia de causalidade para fins práticos. 

 


 A Tabela dos Tratamentos

 

E para concluir a salada de argumentação, os autores nos brindam com uma tabela em que analisam diferentes tratamentos em relação à algumas perguntas, dentre elas: “há demonstração de efetividade?” e “há demonstração de segurança?”. Surpreendentemente, hidroxicloroquina é classificada como SIM para efetividade e segurança, enquanto vacinas são classificadas como NÃO. 



 

Toda essa argumentação pseudocientífica representa a segunda evidência de viés na análise da Diretriz. Fico curioso em saber da motivação para a criação de trabalhosa “linha” de argumentação, fabricada por retalhos de argumentos costurados de forma não linear?


 

Comprovação da Hipótese de Viés III: o Secretário

 

O “secretário de ciência”, apresentado a um documento que fere princípios epistemológicos, parece não ter lido com o devido rigor científico e encaminha a questão para o Comitê de Ética da Presidência. Na sequência, solicita ao Ministro da Saúde a exoneração da Diretora da Conitec, que votou a favor da Diretriz. 

 

Mais uma vez pergunto: qual a motivação?

 

Assim, o que era uma hipótese no momento da primeira votação, parece se confirmar por uma sequência de fatos inusitados: a fonte de erro não era casual, evidências apontam para viés.  

 

 

Interpretação: Quando a Política agride Políticas de Saúde

 

Em português, a palavra política é usada em dois sentidos que por vezes assumem papéis contraditórios. Em inglês é mais difícil confundir ou fazer trocadilho. “Policy” é política com sentido de “medida”, enquanto “politics” tem o sentido de atividade de governar. A Conitec, uma das mais importantes ferramentas de tradução de evidências científicas em políticas de saúde, está sendo sequestrada para fins do segundo sentido da palavra política. 

 

Em um país democrático, líderes precisam justificar suas decisões, enquanto um secretário de ciência precisa ser científico em suas ações. Mudanças quando bem aplicadas são bem-vindas, mas esta me parece oportunista. Isto se trata de minha opinião pessoal, uma análise que pode estar sujeita a críticas, desde que os envolvidos expliquem uma lógica que tenho dificuldade de assimilar. 

 

A ciência epidemiológica explora causalidade entre "exposição" e "desfecho". Sugiro que o atual “secretário de ciência” utilize do tradicional paradigma epidemiológico e nos esclareça qual o desfecho desejado ao expor o Brasil a este constrangimento durante momento crítico de nossa saúde pública. 

 

O secretário atual deve lembrar que todos nós passaremos. Fica para a história o nosso legado. A Conitec já havia escrito seu legado em prol da saúde pública do Brasil. Os demais devem refletir sobre como desejam ser lembrados pela história. 


----------------------------------------------------------------------------------------------------------------------------


Atualização: Horas após a publicação desta postagem, sai a nota técnica do secretário de ciência desaprovando a Diretriz. 



Acompanhem nosso Curso Online de MBE, Canal do YouTube, Podcast e Twitter, acessíveis por este linkhttps://linktr.ee/curso_online_mbe

sábado, 18 de setembro de 2021

Confusão entre Equações Clínicas e Populacionais: vacinas em jovens


Um bom processo de decisão se apoia em  “modelos” adequados. Modelos representam simplificações do universo, que servem para testar hipóteses científicas ou estimar consequências de nossas decisões. Para avaliar causalidade, modelos são testados estatisticamente, enquanto nos processos de decisão servem como projeções de como o mundo reagirá diante de premissas pré-definidas. 


Diferentes modelos devem estar presentes em uma caixa de ferramentas mentais, que permitirá uma escolha estratégica de pensamento para cada situação. Um martelo deve ser escolhido para enfiar um prego na parede, enquanto uma chave de fenda para girar um parafuso. Se poucas vezes erramos na escolha entre chave de fenda ou martelo, erramos mais em escolhas baseadas em nuances. Erros sutis, de consequências escaláveis. 


Esse é o caso da escolha entre a ferramenta de pensamento clínico (individual) versus a ferramenta de saúde pública (sistêmica). Com o início das aprovações das vacinas de RNA para utilização em adolescentes, e brevemente em crianças, surgem opiniões que utilizam o modelo clínico de risco-benefício, argumentando contra a vacinação destes jovens na pandemia de COVID-19. Embora estas vacinas tenham eficácia > 90%, esta propriedade aplicada a pacientes de baixo risco (jovens) resulta em um benefício individual (redução absoluta ou número necessário a tratar) pouco impactante. Aliás, toda vacina tem usualmente um grande NNT, principalmente as que são aplicadas fora de uma pandemia. 


Embora sujeito a críticas por sua metodologia, usarei um recente artigo (pre-printpara fazer um exercício de numerologia. Os autores estimaram 62 hospitalizações por COVID-19 por milhão de adolescentes não vacinados e 162 miocardites por milhão de adolescentes vacinados. Assim, calculo um NNT de benefício da vacina em torno de 16.000, porém um NNH para causar uma miocardite em torno de 6.000. Ou seja, risco > beneficio. 


Embora pareça racional, este pensamento desconsidera o caráter sistêmico da pandemia, reduzindo a decisão ao nível do indivíduo. Para entender melhor o pensamento sistêmico, podemos usar a analogia de que, em problemas sistêmicos, nosso doente é a população com uma única entidade. A este doente, desejamos administrar um remédio que trate todas as suas células, fazendo com que o todo fico curado. As células desta entidade populacional são as pessoas. Na pandemia, o que precisamos curar é a população. 


OBS 1: não estou querendo reduzir pessoas a células, foi apenas uma analogia. Pessoas tem direitos humanos, células não ...


Este pensamento torna escalável o benefício da vacinação de um grupo populacional, para além do indivíduo vacinado. Em se considerando que o paciente é esta entidade populacional, o número necessário a tratar de populações (NNTp) para que haja um benefício é 1. Ou seja, a existência de algum impacto favorável de jovens vacinados na pandemia, em relação ao contrafactual de jovens não serem vacinados, é quase uma garantia (NNT = 1). 


NNTp = 1 ocorre porque benefícios de ações sistêmicas são menos incertos do que ações individuais. É uma questão de probabilidade: o paciente é um sujeito, candidato a um evento em um experimento de milhões de indivíduos. Já o efeito na população resulta da média do que acontece com os indivíduos, e uma média é muito mais previsível do que um evento isolado: as variabilidades naturais se anulam na média (Lei dos Grandes Números). 


OBS 2: é importante salientar que eu não estou propondo abolir o raciocínio clínico para vacinas, nem a escolha individual. A escolha individual é cabível, porém dentro de quatro paredes de um consultório, caso o paciente demonstre preocupações com condições clínicas específicas, aspectos religiosos, valores e preferências. Em políticas de saúde deve prevalecer a preferência da sociedade, e esta precisa primar pela racionalidade coletiva. 


Outro aspecto digno de nota é que mesmo que fosse uma questão de se aplicar o pensamento clínico individual, as probabilidades do benefício e risco são de escalas tão pequenas que não faz sentido comparar probabilidades. Se fizéssemos, estaríamos pesando nos processos de decisão duas variáveis sem peso algum, pois na imensa maioria das vezes, nada aconteceria (nem benefício, nem malefício). Sendo assim, no caso de uma decisão clínica, esta não deve se basear em probabilidade, mas na decisão compartilhada e influenciada pela preferência do paciente.


Temos visto se repetir esse equívoco durante a pandemia, até por partes de gestores de saúde pública. Um exemplo foi a demanda para que o CONITEC analisasse a implementação de ECMO como tratamento de COVID-19, em meio a uma pandemia. Uma proposta de tratamento individual, porém de impacto potencialmente deletério ao frágil sistema complexo que rege a saúde pública em um momento de caos. 


Conclusão


Em processos de decisão, o primeiro passo é identificar qual a dimensão do problema e depois escolher o modelo mental adequado. Profissionais de saúde usam do paradigma clínico em seu cotidiano, mas precisam trocar de ferramenta de pensamento quando necessário. A mais importante tecnologia em saúde pública é o pensamento, ou seja, a gestão mental do conhecimento


OBS: Esse texto foi escrito antes da sugestão do Ministro da Saúde de que adolescentes não deveriam ser vacinados devido ao risco de complicações. Julguei que o texto fala por si só, sendo desnecessário e redundante inserir um comentário sobre o fato desta semana.


-------------------------------------------------------------------------------------


Acompanhem nosso MBE PodcastCanal do YouTube e tweeter


Conheçam nosso Curso Online de MBE, que oferece de forma ampla e organizada o conhecimento que suporta as reflexões científicas deste Blog. 




quarta-feira, 11 de agosto de 2021

O que é Odds Ratio Proporcional?

O recente estudo publicado no New England Journal of Medicine “demonstrando” suposta eficácia da anticoagulação plena em paciente com COVID-19 moderado foi tema do nosso podcast da semana passada. Naquele podcast, apresentamos argumentos múltiplos para a conclusão de que a publicação se trata de um “anti-estudo”: o tipo que nos afasta da verdade, desrespeitando a “constituição do conhecimento”. O que discutirei nesse texto não é um dos múltiplos fatores que reduzem a veracidade deste estudo. O objetivo é discutir a interpretação do odds ratio proporcional, uma medida de associação menos intuitiva do que as tradicionais odds ratio, risco relativo ou hazard ratio, e que deixou dúvida em muitos colegas.

A escolha desta medida de associação pelo estudo em questão foi estatisticamente adequada, portanto não estamos diante de um viés de análise de dados. O uso desta medida de associação incrementa o poder estatístico, traz precisão ao estudo, encurtando seus intervalos de confiança, reduzindo erros aleatórios do tipo I e II. Portanto, a discussão do odds ratio proporcional não se trata de avaliação de veracidade. Mas cabe ao consumidor da ciência avaliar também a relevância da conduta, o impacto, o tamanho de efeito. E o aspecto pouco compreensível desta medida dificulta esta tarefa. 


Portanto, neste texto mostrarei como interpretar esta medida, mostrando que uma análise pode evidenciar um fenômeno verdadeiro, porém pouco relevante. 


Ensaios clínicos são modelos de estudos que acompanham longitudinalmente pacientes inicialmente virgens do desfecho, permitindo o cálculo de risco ou hazard. Portanto, usualmente se utiliza risco relativo ou hazard ratio. No entanto, quando se faz uso de regressão logística tradicional (desfecho dicotômico), a equação matemática nos fornece o odds ratio. No entanto, neste estudo o desfecho primário não é dicotômico, é numérico, representado pelos dias livres de suporte ventilatório ou circulatório. Assim, um paciente poderia ter a pontuação de 0 dias ou um máximo de 21 dias. Caso o paciente morresse, seria a ele atribuído uma pontuação de -1, para caracterizar este como um paciente pior do que aquele que ficou em suporte circulatório todos os primeiros 21 dias, mas sobreviveu. 


Originalmente esta é uma variável numérica discreta (pois não tem decimais entre os dias), que passa a ser considerada ordinal no modelo de regressão logística. Portanto, o desfecho é ordinal com 22 posições possíveis (-1 a 21) e não dicotômico (sim ou não). E para este tipo de desfecho ordinal se usa regressão logística ordinal cujo resultado é apresentado em odds ratio proporcional. 


Até agora expliquei o porquê do uso deste tipo de odds ratio. Agora vamos discutir como interpretar, o que o odds ratio proporcional de "1.27 (95% IC, 1.03 to 1.58)" apresentado pelo artigo e que indica proteção da terapia de anticoagulação. Lembrando, o odds ratio tradicional é simplesmente a chance (P/1-P) de um evento acontecer no grupo tratamento / chance do evento acontecer no grupo controle. Portanto um valor < 1 significa proteção. Mas nesse caso os autores inverteram, colocaram o tratamento no denominador e o controle no numerador. Portanto, OR = 1,27 significa 27% de aumento de chance de um prognóstico melhor. Se fosse um odds ratio tradicional, indicaria 27% maior chance do de benefício do grupo tratamento. Mas no caso do OR proporcional não é bem assim, pois não há evento dicotômico. 


O que a regressão logística faz, em seus “bastidores”, é criar diferentes definições de desfechos dicotômicos baseados em todos os possíveis pontos de corte da variável ordinal que definiria um evento. Por exemplo, se eu usar o ponto de corte de 10 dias livre de oxigênio, pacientes com < 10 dias serão evento e pacientes com 10 dias ou mais serão não evento. Isso é feito com todos os pontos de corte, gerando vários odds ratios para cada definição. O odds ratio proporcional é uma média destes odds ratios tradicionais. 


Este procedimento aumenta o poder estatístico em encontrar alguma diferença verdadeira, pois estamos testando de várias formas, do ponto de corte mais baixo ao ponto de corte mais alto. Observe que aqui não existe uma tendência de usar algum ponto de corte que mais favoreça o resultado, se utiliza todos. Por outro lado, o odds ratio pode ser resultado de dicotomizações que criaram diferenças, mas os pacientes ainda podem ser muito parecidos se considerássemos a variável como numérica (comparação do número de dias entre os grupos). Por exemplo, pacientes < 10 podem ser todos 9 dias, e pacientes > 10 podem ser todos 11 dias. 


E observe que é exatamente isso que acontece neste estudo. Na figura acima, as cores representam a proporção de pacientes em cada número de dias, veja como as duas barras coloridas são quase idênticas. Do mesmo jeito, o gráfico abaixo mostra a proporção de pessoas em cada posição da variáveis ordinal. Observem como as barras são muito parecidas. Portanto, estamos diante de um número de dias muito parecido entre os dois grupos, embora estatisticamente significante. Na verdade, a tradução para relevância clínica desta achado é um tamanho de efeito muito pequeno, não bem representado pelo odds ratio proporcional. 




Se já existe alguma dificuldade em interpretar a relevância clínica do desfecho “dias sem oxigênio”, fica mais difícil intuir a partir do odds ratio proporcional. Portanto, este tipo de desfecho, aliado a este tipo de medida de associação podem ter um valor em prova de conceito, mas dificilmente em demonstrar a relevância de um efeito que justifique uma recomendação médica. Principalmente em se tratando de anticoagulação. 


------------------------------------------------------------------------------------------------------------


Acompanhem nosso MBE PodcastCanal do YouTube e tweeter


Conheçam nosso Curso Online de MBE, que oferece de forma ampla e organizada o conhecimento que suporta as reflexões científicas deste Blog. 





quinta-feira, 15 de julho de 2021

Efetividade da CoronaVac no Chile: mensagens das entrelinhas

 



O estudo de efetividade da vacina CoronaVac, publicado no New England Journal of Medicine na semana passada, merece ser discutido não apenas por sua conclusão geral, mas também por suas nuances. Trata-se de uma coorte de 10 milhões de pessoas, em que foram comparados 4 milhões de plenamente vacinados versus 5 milhões não vacinados no período de 84 dias do início da campanha do Chile. Na amostra de vacinados a taxa de incidência de COVID sintomático foi 68% menor em relação aos não vacinados  (0,1340 versus 0,3019 por 100 pessoas-dia) e a taxa de mortalidade por COVID 86% menor neste grupo (0,0044 versus 0,0045 por 100 pessoas-dia). Vale salientar que não houve diferença destes resultados entre idosos e jovens. 

Este é um estudo de alta qualidade, sem vieses e com imensa precisão. Mas como um estudo não randomizado, aberto, com pequeno tempo de seguimento pode ser considerado alto nível de evidência? A resposta está no objetivo do estudo, que não é testar se a vacina funciona, mas sim avaliar se quem é vacinado apresenta tem menos doença e morte. Embora estes objetivos se pareçam, não são a mesma coisa. 


Observem atentamente como eu descrevi o resultado do estudo no parágrafo anterior: não falei em “redução de mortalidade” (efeito), preferi apenas descrever que as incidências foram menores nos vacinados. Mas como podemos falar de efetividade se não podemos inferir causalidade? Podemos, mas não devido a este estudo. Podemos falar em efetividade pois a eficácia foi demonstrada previamente por um estudo randomizado e aparentemente de boa qualidade. A conclusão por efetividade em um dado estudo depende do conhecimento prévio da eficácia. 


Reforço esse conceito pois é comum a conotação de que o estudo de "efetividade" (mundo real) é a confirmação da eficácia. Como se um ensaio clínico positivo mostrasse algo promissor, mas que a dúvida só seria resolvida quando o tratamento fosse testado no mundo real. Infelizmente, o mundo real é uma fábrica de enganos, portanto o estudo de efetividade não serve para confirmar a propriedade de eficácia do tratamento. 


Precisamos entender porque efetividade é diferente de eficácia. A eficácia depende apenas do efeito direto do tratamento, por isso precisamos controlar todas as outras variáveis, isolamos esse efeito. Por outro lado, a efetividade é um conceito ecológico, depende do tratamento, do ambiente, do comportamento das pessoas e de aspectos sociais. A pergunta de efetividade não é se o tratamento funciona no mundo real, é se o paciente que recebe o tratamento tem melhor desfecho no mundo real. Fazendo um exercício de pensamento, imaginemos que vacinados passassem a ignorar a necessidade de distanciamento social ou uso de máscaras por se sentirem mais seguros, e por isso experimentassem um aumento na incidência de COVID. Não é que a vacina não tenha funcionado (eficácia) e que outros fatores gerados pela vacinação (percepção de segurança) causaram mais COVID. 


Observem que quando mencionei aspectos ambientais, comportamentais e sociais, não falei em aspectos biológicos. Poderia ter mencionado, mas isso não é uma razão frequente de efetividade ser diferente de eficácia. Muitos acham que o fato da população ser restrita no ensaio clínico, o resultado tem menor validade no mundo real. Esse pensamento biológico é contradito pela raridade do fenômeno de interação, por isso a preocupação com efetividade não é o tipo de paciente. Ou pelo menos, é pouco provável que o tipo de paciente interfira na efetividade. O pensamento relativo ao tipo de paciente se refere mais ao raciocínio clínico de individualização, não ao conceito de eficácia. 


Portanto, é importante que entendamos o significado verdadeiro deste trabalho, o que nos permite interpretar melhor os resultados. 


O Resultado


Interessante notar que a efetividade de 68% é maior do que a eficácia de 50% demonstrada no ensaio clínico brasileiro da CoronaVac (ainda não foi publicado na íntegra). Por quê? Difícil precisar, mas podemos especular. Efetividade depende do ambiente. Um ambiente em que parte significativa da população geral está vacinada, há menos vírus circulante. 


Imaginem uma pessoa que entra em um ônibus e tem contato com muitas pessoas, alguns infectados assintomáticos. Nos dias de hoje (vacinação) estes alguns são em menor número, a carga viral recebida pode ser menor, e taxa de ataque (probabilidade de uma pessoa ficar doente quando entra em contato com ambiente doente) de vacinados pode ser menor nos dias atuais do que em uma época em que não havia campanha vacinal, época dos ensaios clínicos. Assim, a vacina consegue prevenir mais o ataque quando a carga de contato com pessoas infectadas é menor. Mais um exemplo interessante da diferença de efetividade e eficácia. 


Devemos reconhecer também que esta diferença pode se dever à imprecisão do ensaio clínico, de menor tamanho amostral.


E as variantes? Os autores relatam um estudo chileno, desta mesma época, que estimou em torno de 44% dos casos de COVID decorrente das variantes P1 ou B117. Aparentemente esta variação ambiental não fez grande diferença. Boa notícia. 


Nuances


Observem o impacto de grande tamanho amostral na precisão do estudo. Vejam o que um estudo de 10 milhões de pacientes faz com o intervalo de confiança. Ao dizer que a efetividade foi 65.9%, o intervalo de confiança 95% foi de 65.2% a 66.6%. Quase exato. Só para comparar, deixando as controvérsias de lado, a eficácia desta vacina no ensaio clínico brasileiro foi de 51%, mas o intervalo de confiança foi enorme = 36% a 62%). Não que tenha sido um estudo de pequeno tamanho amostral, porém a incidência do desfecho não é tão alta. 


Como conseguiram uma coorte de milhões de pacientes. Os chilenos usaram o registro dos pacientes do sistema público de saúde (Fondo Nacional de Salud), que cobre 80% da população. Neste organizado sistema, há o registro de quem é vacinado e o registro de quem ficou doente. Bom de ver. 


Mas cuidado, se um estudo enviesado (inacurado) tiver milhões de pacientes, o erro sistemático do estudo terá muita precisão, ou seja, o falso vai parecer muito verdadeiro. Por isso, cuidado com estudos observacionais de grande base de dados, que desejam afirmar eficácia. Não importa que o tamanho amostral seja grande, pois precisão não anula viés. São tipos de erros diferentes. 



Comunicação de Ciência


Parte dos chilenos tem sido vacinados com as vacinas da Pfizer, baseadas em RNA. Sabe-se que tipo de vacina é o que tem apresentado os melhores resultados de eficácia nos ensaios clínicos, em torno de 95%. O resultado da efetividade da vacina da Pfizer não está descrito no texto principal do artigo aqui discutido. Porém os autores documentaram nos anexos do artigo: foram 490.000 pessoas plenamente vacinadas pela Pfizer neste período e a comparação com o grupo de pessoas não vacinadas demonstrou 93% de efetividade (95% IC = 91.5%-93.5%) para COVID-19 e 91.0% (64.0%-97.8%) para morte. 


A escolha em deixar transparente estes achados, porém não fazer uma análise comparativa com a CoronaVac mostra a verdadeira postura científica dos autores. Digo isto pois cientista não é apenas quem faz pesquisa, mas é o que sabe o que, quando e como comunicar. Ciência é a uma aventura exploratória que visa beneficiar a sociedade. Portanto, o cientista deve saber o que é relevante comunicar e as consequências da sua comunicação. 


Enfocar na comparação das vacinas daria um trabalho mais completo e provocativo, com maior probabilidade de publicação em uma grande revista e mais citações. Mas esta não seria uma informação útil socialmente, pois a questão não está em saber que vacina é a de preferência. Não é uma questão de prescrição. Portanto, os autores preferiram fazer algo mais simples e útil, analisando apenas a vacina que despertava mais dúvida, e evitando que a comparação ancorasse negativamente a percepção da efetividade da CoronaVac. 


Ter colocado o resultado da Pfizer no anexo e não ter feito a comparação direta é um exemplo de que ciência não se trata apenas de produção e publicação. Trata-se também de saber o tom da música. O melhor tom para beneficiar a sociedade. 


------------------------------------------------------------------------------------------------------------


Acompanhem nosso MBE PodcastCanal do YouTube e tweeter


Conheçam nosso Curso Online de MBE, que oferece de forma ampla e organizada o conhecimento que suporta as reflexões científicas deste Blog.