sexta-feira, 11 de outubro de 2019

A (In) Utilidade do Estudo da Vitamina C na Sepse


Recentemente publicado no JAMA estudo que trouxe a impressionante figura em destaque, cujo visual e números mostram redução relativa de 45% na mortalidade em pacientes com sepse ou SARA que são tratados com vitamina C. O estudo impressionou com 55.000 acessos e altimetrics de 494, sendo tema de vídeo em nosso canal do YouTube, quando discuti de forma caricatural conceitos filosóficos da ciência, utilizando o gancho deste vitaminado estudo.  

Sim, este estudo é útil, não pelo teste de sua hipótese, mas pelas reflexões provocadas. Este reflexão é constituída de conceitos pouco intuitivos, que pretendo apresentar nesse texto. Afinal, o pensamento científico não é intuitivo. 

Não me refiro a um estudo negativo para o desfecho primário evidenciar graficamente a positividade “encontrada” em mortalidade, um dos 46 desfechos secundários testados. 

Não me refiro a este desfecho não ser estatisticamente significante, se submetido à correção das múltiplas comparações (Bonferroni: P = 0,03 x 46 comparações = 1,00). 

Nem me refiro a um dos mais importantes mecanismos de erro tipo I: baixo poder estatístico dos estudos (estudo pequeno necessita de uma diferença tão grande para ser significativo, que esta diferença se torna boa demais para ser verdade). Isso Ioannidis já demonstrou em seu artigo mais citado: “por que a maioria das evidências são falsas?”

Não, essa postagem não se presta ao óbvio. Essas coisas não tornam esse estudo inusitado, seria apenas mais um “daqueles”. O que importa aqui são discussões mais originais. 

Por que um estudo de desfecho intermediário não deve ter morte como desfecho secundário?


Em primeiro lugar, precisamos revisar o real propósito de desfechos secundários, sob uma ótica de integridade científica: refinar o conhecimento a respeito do desfecho primário (positivo ou negativo). Desta forma, o desfecho secundário é, em sua origem, subordinado hierarquicamente ao desfecho primário. 

Desfechos secundários, se adequadamente aplicados, explicam o resultado primário. Observem que nesse processo, partimos do resultado do primário (mais importante) e depois evoluímos para o secundário (menos importante). Vamos a exemplos. 

Tendo morte como desfecho primário positivo, é interessante saber os mecanismos da redução de mortalidade. Neste momento ganha importância a análise secundária da morte específica. Morte na verdade é desfecho líquido, combinado de múltiplos tipos de morte. Da mesma forma, quando não há redução de mortalidade é interessante entender se isso ocorreu porque o tratamento não impactou em nada, ou porque reduziu um tipo de morte e aumentou outro tipo de morte. Por exemplo, no primeiro resultado do estudo STICH, não houve redução de mortalidade com revascularização em pacientes com miocardiopatia dilatada. Secundariamente, isso ficou explicado pela redução de morte cardiovascular com a cirurgia cardíaca, anulada pelo aumento de morte por complicação cirúrgica. Podem ser secundários também os componentes de desfechos combinados ou marcadores intermediários do processo que levou ao desfecho final. 

Quanto mais relevante é um desfecho, mais próximo da via final ele está. Portanto, as vias intermediárias de explicação tendem a ser desfechos menos importantes do que o desfecho explicado. Sendo assim, o sentido primário de um desfecho secundário (explicar o primário) faz com que sua natureza também deva ser de importância secundária. 

Quando colocamos um desfecho que representa a via final como secundário, este perde o papel de secundário, assumindo o papel de um “penetra” no pensamento primário. Morte na posição secundária não exerce o propósito explanatório, mas tende a “roubar a cena” se positivo. Ocorrerá aqui o fenômeno de outcome interpretation bias, quando o desfecho secundário, se positivo, exerce a função de amenizar a negatividade do estudo. No caso de morte, o efeito vai além de amenizar, sugestiona totalmente nosso pensamento. E sugestiona no pior cenário de veracidade, pois não sendo o estudo dimensionado para aquele desfecho, a probabilidade de falso positivo é alta. 

Portanto, o desfecho morte não deve ser listado de secundário em estudos de desfechos substitutos ou intermediários. Ocorre o que ocorreu, um resultado probabilisticamente falso, mas tão entusiasmante que gerou um gráfico para colocarmos nas aulas de congressos, gerando visibilidade, entusiasmo e citações. 

Por que probabilidade pré-teste não é influenciada pela lógica de potenciais mecanismos?


Sabe-se, desde os primórdios do pensamento médico-científico, que plausibilidade biológica não é o mesmo que probabilidade de benefício. Este é um dos princípios superbásicos da medicina baseada em evidências. Exceto o caso da homeopatia, estudos negativos costumam ter vários mecanismos plausíveis de funcionamento. Portanto, não são “razões para funcionar” que tornam o desfecho mais ou menos provável. A esta ilusão Daniel Kahneman denomina “confiança por coerência”. Nada tem a ver com probabilidade.

Então para que serve aventar mecanismos? Serve para pensar na possibilidade, serve para os primórdios do surgimento da ideia. Mas entre pensar na ideia e decidir fazer um estudo, precisa-se avançar para a estimativa da probabilidade pré-teste. 

Como estimar a probabilidade pré-teste?


Isso se parece com a clínica. Quando nos deparamos com um quadro clínico, não é uma boa ideia utilizar heurística de semelhança para estimar a probabilidade pré-teste. Na verdade, o melhor é utilizar dados epidemiológicos que não dizem respeito àquele paciente em particular. Ou seja, a prevalência da doença diante de uma circunstância é a verdadeira probabilidade pré-teste, não a semelhança clínica (“confiança por coerência”).

O mesmo ocorre quando pensamos em um estudo. A probabilidade pré-teste não está no quanto a ideia é promissora na lógica. A probabilidade começa no pensamento epidemiológico. Na epidemiologia das “vitaminas”, os resultados são normalmente positivos? No campo das vitaminas, a negatividade dos estudos é consistente, mesmo quando se depositou grande expectativas em vitaminas prevenindo cânceres ou doença cardiovascular. Lembro-me que na década de 90, quando nossa tribo cardiológica acreditava no efeito anti-oxidante da vitamina E em prevenir infarto. 

O "viés de habilidade", também descrito por Daniel Kahneman, está por trás da crença. Pois, paradoxalmente, a crença é mais prevalente em quem se seduz por seu conhecimento. No viés de habilidade, o indivíduo superestima o valor de sua habilidade. No caso médico, especialistas que entendem mais dos detalhes heurísticos acham que isto serve para cálculo de probabilidade pré-teste. Se assemelham aos entendidos operadores de bolsas de valores que utilizam monitores parecidos com os de UTI, porém sua capacidade de predição não supera o acaso, segundo Nassim, o Taleb. 

Vale também para a via negativa. Há coisas que não “parecem” fazer mal, mas depois descobrimos que faz mal. No início do século passado, não era coerente que os cigarros fumados por elegantes médicos nos corredores dos hospitais causassem câncer de pulmão. Foi a epidemiologia que mudou esse pensamento. 

Ao inventarem cigarros eletrônicos, julgaram que não fazia mal por alguma lógica desenvolvida. Mas se iniciássemos pela epidemiologia das coisas semelhantes, o mal que cigarro comum faz aumentaria a probabilidade dos eletrônicos não serem inocentes. Deu no que deu … agora começamos observar  casos fatais de morte em quem fuma os eletrônicos (vaping). 

Outro bom exemplo é o que nos mostra o campo da nutrição. Ioannidis argumenta que este é o campo dos menores tamanhos de efeito. Portanto, quando alguém disser que alho previne câncer, cuidado: a probabilidade disso ser verdade é próxima a zero. E quem propõe também traz uma série de mecanismos plausíveis

Qual a diferença entre vitamina C e alho?

Mas tem um segundo componente da probabilidade pré-teste: estudos prévios que testaram a mesma hipótese específica. Os verdadeiros estudos exploratórios. 

Por que o termo “estudos exploratórios” é banalizado?


A banalização surge da confusão entre estudo ruim e exploratório. Muitas vezes um estudo com alto risco de viés ou acaso mostra um resultado interessante. Daí entusiastas chamam isso de exploratório ou geradores de hipótese. Estudos de baixo valor preditivo não geram nada além de entusiasmo. Não geram hipótese!

Estudos exploratórios são boas observações empíricas, com risco de viés e acaso suficientes para moldar a probabilidade de uma hipótese ser verdadeira; mas insuficientes para confirmar a hipótese.

Portanto, essa história de dizer que esse estudo da vitamina C gerou hipótese de redução de mortalidade a ser testada por futuros estudos não é real. Na verdade, esse resultado gerou um entusiasmo, mas não é capaz de moldar a probabilidade da crença ser verdade. É como um reforço à crença que servirá de justificativa para realização de futuro estudos para testar o que não precisava ser testado. 

Mas por que não precisa ser testado?


Porque este futuro estudo não consegue mudar nada. Se for negativo, já sabíamos; se for positivo, ele elevará uma probabilidade pré-teste baixa para moderada. Não confirmará. 

Sim, é verdade que há descobertas que surgem como um cisne negro, imprevisibilidades que mudam o mundo. Mas estas, imprevisíveis que são, não são hipóteses previamente fabricadas e testadas por estudos de má qualidade. Estas surgem ao acaso, como a descoberta da penicilina. 

Administrar vitamina C pode não causar muito dano ao paciente (?), mas causa dano à cognição coletiva, quando a crença toma lugar da racionalidade. 

Crença não é ruim, na verdade é inato do Sapiens. Mas seu valor está no aspecto pessoal, na espiritualidade e religiosidade das pessoas. Não podemos deixar o valor pessoal das crenças invadir o conceito de profissionalismo. Profissionalismo médico está em respeitar a ordem das coisas, baseadas em evidências. 

Este texto não é sobre vitamina C. Vitamina C foi um gancho para despertar uma discussão muito mais importante do que a sua “eficácia” em sepse. 

Este texto é sobre um ecossistema científico de hipóteses de baixa probabilidade, testadas por estudos com severas limitações metodológicas, que se utilizam de spin, outcome reporting bias e viés de publicação, gerando estudos de baixo valor preditivo positivo, considerados verdadeiro positivos, promovendo recomendações de guidelines, que anos depois sofreram “reversão médica”. 

Resta saber se queremos continuar nesse mundo fantasioso ou assumir uma postura profissional, verdadeiramente científica. Ciência não é a procura de novidades, é a humilde tentativa de identificar como o mundo funciona e encontrar soluções reais para nossos problemas. 

Como disse o pai da integridade estatística, Douglas Altman, “we need less research, better research and research done for the right reasons”.

4 comentários:

  1. Penso que as definições do que de fato é medicina estão confusas no nosso mundo. É necessário recontratar. Doa o que doer, essa análise representa mais um ensaio elegante, um convite para ampliarmos os horizontes apontando para um rumo racional. Desconforto é um efeito colateral inerente aos instantes imediatamente anteriores às mudanças de pensamento. Que possamos ler mais de você, pois caminhos se abrem nesses momentos, mudando a prática médica de cada um dos seus leitores.

    ResponderExcluir
  2. Professor Luis. É impressionante sua capacidade de síntese e clareza ao expor ideias.

    Pensamento coerente, com a profundidade necessária e suficiente para modificar nossa maneira de iniciar uma argumentação.

    Probabilidade pré-teste de um exame deveria estar presente no pensamento do médico antes da solicitação de qualquer exame. Provavelmente isso contribuiria para a redução do overuse diagnóstico na prática médica. E por conseguinte, redução de todas as consequências “negativas” da realização dos exames.

    Seu brilhante texto nos ajuda a compreender a medicina como uma ciência probabilística. Dessa forma, iremos caminhar para um excercicio pratico de nossa profissão com maior precisão, certamente.

    Mais uma vez. Parabéns pelo conteúdo, expressão, clareza e poder de persuasão.

    ResponderExcluir
  3. Caro amigo Luís,


    Já estou tomando Vitamina C!


    Explico-me: É que sou aquarista “científico-amador” desde criança. Nessas férias — das quais, retorno hoje — resolvi retomar o meu amado hobby, e redecorar meus aquários tropicais de água doce; também não resisti a comprar um “nano-cube” pra fazer nova tentativa no camaronismo amador com a linhagem “Blue Dreamm”. São camarões de aquário, com tamanho de 2 – 5 cm, e de cor azul intensa.

    Bem, no meu “estudo exploratório” sobre o assunto, determinei que o consumo de vitamina C pelo aquarista implica em melhora da alimentação dos camarões.

    Não: não estou fazendo qualquer sandice como utilizar minha urina (com o excesso de vitamina C) em aquários. Isso seria mortal. O fato é que as rações oferecidas no mercado aquarista chegam em pequenos envelopes. Estes são muito frágeis; há necessidade de variar a alimentação, e a ração dura muito; a sua conservação necessita de um frasco seco e limpo. Assim, não hesitei: comprei logo uma coleção de frascos efervescentes da vitamina, com a menor dosagem que encontrei (1g) e sem zinco ou outros aditivos. Enfim: Os mais baratos frascos herméticos, com silicone anti-umectante na tampa, e que podem ser facilmente lavados e secos para acondicionar as rações. Para rotular, recorto e colo os rótulos originais.

    — "Ça y est!" — para os Franceses, ou — "Así es!" — para os Espanhóis.

    Só tomo os efervescentes (sem dúvida, com adoçante sintético para me produzir “dibioses” ao invés de hiperglicemia, pois sou diabético). Interromperei a “terapia” quando tiver frascos suficientes.


    CONCLUSÃO

    Ao fazermos um estudo qualquer — Principalmente “estudos exploratórios” ou “estudos observacionais”, é necessário “filtrar” bem os Desfechos que vamos estudar logo no projeto do estudo; senão, vejamos: ficaremos com resultados que até podem ser satisfatórios em termos estatísticos, mas que não apresentam encadeamento lógico suficiente quando confrontados com ciências básicas. Ou então, nos prendemos a fatores de confusão.

    Perde-se o dinheiro dos financiadores e o tempo dos leitores. Isso enquanto alguém não resolve chamar o nosso amigo o “Vested Bias” pra ajudar nas análises.


    -------------------------------

    Aprenda algo sobre os curiosos “Blue Dream” no link abaixo, quem sabe resolve aderir ao hobby. Como para nós humanos, é necessário um pequeno laboratório de testes, onde fazemos estudos e determinações, diagnósticos e intervenções sobre os pequenos pacientes. Treinamento: Laboratório, pesquisa e clínica.

    https://www.youtube.com/watch?v=oHjBDMMsKAk

    ResponderExcluir
  4. Prezado professor Luis Cláudio, poderia comentar sobre a tendência na redução da mortalidade no artigo abaixo?

    Vitamin C Supplementation in the Critically Ill: A Systematic Review and Meta-Analysis

    Eleven randomized trials were included. When 9 RCTs (n = 1322) reporting mortality were pooled, vitamin C was not associated with reduced risk of mortality (risk ratio [RR] 0.72, 95% confidence interval [CI]: 0.43–1.20, P = .21). No effect was found on infections, ICU or hospital LOS, or duration of MV. In multiple subgroup comparison, no statistically significant subgroup effects were observed. However, we did observe a tendency towards a mortality reduction (RR 0.21; 95% CI: 0.04–1.05; P = .06) when intravenous high- dose vitamin C monotherapy was administered. Current evidence does not support supplementing critically ill patients with vitamin C. A moderately large treatment effect may exist, but further studies, particularly of monotherapy administration, are warranted. (JPEN J Parenter Enteral Nutr. 2018;00:1–12)

    grato

    ResponderExcluir