A (In) Utilidade do Estudo da Vitamina C na Sepse

Recentemente publicado no JAMA estudo que trouxe a impressionante figura em destaque, cujo visual e números mostram redução relativa de 45% na mortalidade em pacientes com sepse ou SARA que são tratados com vitamina C. O estudo impressionou com 55.000 acessos e altimetrics de 494, sendo tema de vídeo em nosso canal do YouTube, quando discuti de forma caricatural conceitos filosóficos da ciência, utilizando o gancho deste vitaminado estudo.  

Sim, este estudo é útil, não pelo teste de sua hipótese, mas pelas reflexões provocadas. Este reflexão é constituída de conceitos pouco intuitivos, que pretendo apresentar nesse texto. Afinal, o pensamento científico não é intuitivo. 

Não me refiro a um estudo negativo para o desfecho primário evidenciar graficamente a positividade “encontrada” em mortalidade, um dos 46 desfechos secundários testados. 

Não me refiro a este desfecho não ser estatisticamente significante, se submetido à correção das múltiplas comparações (Bonferroni: P = 0,03 x 46 comparações = 1,00). 

Nem me refiro a um dos mais importantes mecanismos de erro tipo I: baixo poder estatístico dos estudos (estudo pequeno necessita de uma diferença tão grande para ser significativo, que esta diferença se torna boa demais para ser verdade). Isso Ioannidis já demonstrou em seu artigo mais citado: “por que a maioria das evidências são falsas?”. 

Não, essa postagem não se presta ao óbvio. Essas coisas não tornam esse estudo inusitado, seria apenas mais um “daqueles”. O que importa aqui são discussões mais originais. 

Por que um estudo de desfecho intermediário não deve ter morte como desfecho secundário?

Em primeiro lugar, precisamos revisar o real propósito de desfechos secundários, sob uma ótica de integridade científica: refinar o conhecimento a respeito do desfecho primário (positivo ou negativo). Desta forma, o desfecho secundário é, em sua origem, subordinado hierarquicamente ao desfecho primário. 

Desfechos secundários, se adequadamente aplicados, explicam o resultado primário. Observem que nesse processo, partimos do resultado do primário (mais importante) e depois evoluímos para o secundário (menos importante). Vamos a exemplos. 

Tendo morte como desfecho primário positivo, é interessante saber os mecanismos da redução de mortalidade. Neste momento ganha importância a análise secundária da morte específica. Morte na verdade é desfecho líquido, combinado de múltiplos tipos de morte. Da mesma forma, quando não há redução de mortalidade é interessante entender se isso ocorreu porque o tratamento não impactou em nada, ou porque reduziu um tipo de morte e aumentou outro tipo de morte. Por exemplo, no primeiro resultado do estudo STICH, não houve redução de mortalidade com revascularização em pacientes com miocardiopatia dilatada. Secundariamente, isso ficou explicado pela redução de morte cardiovascular com a cirurgia cardíaca, anulada pelo aumento de morte por complicação cirúrgica. Podem ser secundários também os componentes de desfechos combinados ou marcadores intermediários do processo que levou ao desfecho final. 

Quanto mais relevante é um desfecho, mais próximo da via final ele está. Portanto, as vias intermediárias de explicação tendem a ser desfechos menos importantes do que o desfecho explicado. Sendo assim, o sentido primário de um desfecho secundário (explicar o primário) faz com que sua natureza também deva ser de importância secundária. 

Quando colocamos um desfecho que representa a via final como secundário, este perde o papel de secundário, assumindo o papel de um “penetra” no pensamento primário. Morte na posição secundária não exerce o propósito explanatório, mas tende a “roubar a cena” se positivo. Ocorrerá aqui o fenômeno de outcome interpretation bias, quando o desfecho secundário, se positivo, exerce a função de amenizar a negatividade do estudo. No caso de morte, o efeito vai além de amenizar, sugestiona totalmente nosso pensamento. E sugestiona no pior cenário de veracidade, pois não sendo o estudo dimensionado para aquele desfecho, a probabilidade de falso positivo é alta. 

Portanto, o desfecho morte não deve ser listado de secundário em estudos de desfechos substitutos ou intermediários. Ocorre o que ocorreu, um resultado probabilisticamente falso, mas tão entusiasmante que gerou um gráfico para colocarmos nas aulas de congressos, gerando visibilidade, entusiasmo e citações. 

Por que probabilidade pré-teste não é influenciada pela lógica de potenciais mecanismos?

Sabe-se, desde os primórdios do pensamento médico-científico, que plausibilidade biológica não é o mesmo que probabilidade de benefício. Este é um dos princípios superbásicos da medicina baseada em evidências. Exceto o caso da homeopatia, estudos negativos costumam ter vários mecanismos plausíveis de funcionamento. Portanto, não são “razões para funcionar” que tornam o desfecho mais ou menos provável. A esta ilusão Daniel Kahneman denomina “confiança por coerência”. Nada tem a ver com probabilidade.

Então para que serve aventar mecanismos? Serve para pensar na possibilidade, serve para os primórdios do surgimento da ideia. Mas entre pensar na ideia e decidir fazer um estudo, precisa-se avançar para a estimativa da probabilidade pré-teste. 

Como estimar a probabilidade pré-teste?

Isso se parece com a clínica. Quando nos deparamos com um quadro clínico, não é uma boa ideia utilizar heurística de semelhança para estimar a probabilidade pré-teste. Na verdade, o melhor é utilizar dados epidemiológicos que não dizem respeito àquele paciente em particular. Ou seja, a prevalência da doença diante de uma circunstância é a verdadeira probabilidade pré-teste, não a semelhança clínica (“confiança por coerência”).

O mesmo ocorre quando pensamos em um estudo. A probabilidade pré-teste não está no quanto a ideia é promissora na lógica. A probabilidade começa no pensamento epidemiológico. Na epidemiologia das “vitaminas”, os resultados são normalmente positivos? No campo das vitaminas, a negatividade dos estudos é consistente, mesmo quando se depositou grande expectativas em vitaminas prevenindo cânceres ou doença cardiovascular. Lembro-me que na década de 90, quando nossa tribo cardiológica acreditava no efeito anti-oxidante da vitamina E em prevenir infarto. 

O "viés de habilidade", também descrito por Daniel Kahneman, está por trás da crença. Pois, paradoxalmente, a crença é mais prevalente em quem se seduz por seu conhecimento. No viés de habilidade, o indivíduo superestima o valor de sua habilidade. No caso médico, especialistas que entendem mais dos detalhes heurísticos acham que isto serve para cálculo de probabilidade pré-teste. Se assemelham aos entendidos operadores de bolsas de valores que utilizam monitores parecidos com os de UTI, porém sua capacidade de predição não supera o acaso, segundo Nassim, o Taleb. 

Vale também para a via negativa. Há coisas que não “parecem” fazer mal, mas depois descobrimos que faz mal. No início do século passado, não era coerente que os cigarros fumados por elegantes médicos nos corredores dos hospitais causassem câncer de pulmão. Foi a epidemiologia que mudou esse pensamento. 

Ao inventarem cigarros eletrônicos, julgaram que não fazia mal por alguma lógica desenvolvida. Mas se iniciássemos pela epidemiologia das coisas semelhantes, o mal que cigarro comum faz aumentaria a probabilidade dos eletrônicos não serem inocentes. Deu no que deu … agora começamos observar  casos fatais de morte em quem fuma os eletrônicos (vaping). 

Outro bom exemplo é o que nos mostra o campo da nutrição. Ioannidis argumenta que este é o campo dos menores tamanhos de efeito. Portanto, quando alguém disser que alho previne câncer, cuidado: a probabilidade disso ser verdade é próxima a zero. E quem propõe também traz uma série de mecanismos plausíveis. 

Qual a diferença entre vitamina C e alho?

Mas tem um segundo componente da probabilidade pré-teste: estudos prévios que testaram a mesma hipótese específica. Os verdadeiros estudos exploratórios. 

Por que o termo “estudos exploratórios” é banalizado?

A banalização surge da confusão entre estudo ruim e exploratório. Muitas vezes um estudo com alto risco de viés ou acaso mostra um resultado interessante. Daí entusiastas chamam isso de exploratório ou geradores de hipótese. Estudos de baixo valor preditivo não geram nada além de entusiasmo. Não geram hipótese!

Estudos exploratórios são boas observações empíricas, com risco de viés e acaso suficientes para moldar a probabilidade de uma hipótese ser verdadeira; mas insuficientes para confirmar a hipótese.

Portanto, essa história de dizer que esse estudo da vitamina C gerou hipótese de redução de mortalidade a ser testada por futuros estudos não é real. Na verdade, esse resultado gerou um entusiasmo, mas não é capaz de moldar a probabilidade da crença ser verdade. É como um reforço à crença que servirá de justificativa para realização de futuro estudos para testar o que não precisava ser testado. 

Mas por que não precisa ser testado?

Porque este futuro estudo não consegue mudar nada. Se for negativo, já sabíamos; se for positivo, ele elevará uma probabilidade pré-teste baixa para moderada. Não confirmará. 

Sim, é verdade que há descobertas que surgem como um cisne negro, imprevisibilidades que mudam o mundo. Mas estas, imprevisíveis que são, não são hipóteses previamente fabricadas e testadas por estudos de má qualidade. Estas surgem ao acaso, como a descoberta da penicilina. 

Administrar vitamina C pode não causar muito dano ao paciente (?), mas causa dano à cognição coletiva, quando a crença toma lugar da racionalidade. 

Crença não é ruim, na verdade é inato do Sapiens. Mas seu valor está no aspecto pessoal, na espiritualidade e religiosidade das pessoas. Não podemos deixar o valor pessoal das crenças invadir o conceito de profissionalismo. Profissionalismo médico está em respeitar a ordem das coisas, baseadas em evidências. 

Este texto não é sobre vitamina C. Vitamina C foi um gancho para despertar uma discussão muito mais importante do que a sua “eficácia” em sepse. 

Este texto é sobre um ecossistema científico de hipóteses de baixa probabilidade, testadas por estudos com severas limitações metodológicas, que se utilizam de spin, outcome reporting bias e viés de publicação, gerando estudos de baixo valor preditivo positivo, considerados verdadeiro positivos, promovendo recomendações de guidelines, que anos depois sofreram “reversão médica”. 

Resta saber se queremos continuar nesse mundo fantasioso ou assumir uma postura profissional, verdadeiramente científica. Ciência não é a procura de novidades, é a humilde tentativa de identificar como o mundo funciona e encontrar soluções reais para nossos problemas. 

Como disse o pai da integridade estatística, Douglas Altman, “we need less research, better research and research done for the right reasons”.