Como calcular o intervalo de confiança do NNT

Na postagem sobre o estudo PARADIGM-HF, analisamos a medida pontual do número necessário a tratar (NNT) do LCZ696. Naquela oportunidade prometi que voltaria ao assunto a fim de discutir como avaliar a precisão da estimativa do NNT. Isto é importante, pois devemos nos condicionar a avaliar não apenas a medida pontual, mas também os limites do intervalo de confiança, os quais representam a estimativa na pior e na melhor hipótese. No contexto de um ensaio clínico, isso vale para as medidas do risco relativo, hazard ratio, risco absoluto e NNT.

Normalmente, o NNT não vem descrito pelos trabalhos, o que fazemos é calcular a redução absoluta do risco (subtraindo o risco de um grupo por outro) e fazendo 100/redução absoluta do risco = NNT. 

Mas como saber o intervalo de confiança do NNT ?

Em termos de precisão, o PARADIGM-HF nos forneceu apenas o intervalo de confiança do hazard ratio. Mas o bom é que podemos usar este para chegar ao intervalo de confiança do NNT. Sabemos que hazard é diferente de risco (postagem antiga - hazard leva em conta o tempo livre do evento e não apenas o evento), mas para simplificar usarei hazard ratio como se fosse um risco relativo para o cálculo que virá a seguir. 

O risco relativo foi de 0.80, com intervalo de confiança entre 0.73 e 0.87. Desta forma, podemos calcular o intervalo de confiança da redução relativa do risco (1 - risco relativo), que fica entre 13% (1 - 0.73) e 27% (1 - 0.87). 

O segredo para estimar o intervalo de confiança da redução absoluta de risco está em utilizar a incidência do desfecho no grupo controle, como representante do que seria esperado de risco sob o tratamento usual com enalapril (risco basal). Este risco no grupo controle foi 26.5%. 

Agora, para saber a redução absoluta de risco, devemos multiplicar a redução relativa de risco pelo risco basal. Por exemplo, se eu ganhar 50% de uma herança (relativo), para saber o valor que receberei, multiplico 50% pelo valor absoluto da herança (50% x 10.000.000 = me dei bem). 

No PARADIGM-HF, a pior hipótese da redução relativa do risco é 13%. Sendo assim, na pior das hipóteses, a redução absoluta do risco será de 3.4% (13% x 26.5%).

Na melhor das hipóteses, a redução relativa do risco é 27%. Sendo assim, na melhor das hipóteses, a redução absoluta do risco será de 7.2% (27% x 26.5%).

Portanto, o intervalo de confiança da redução absoluta do risco é 3.4% a 7.2%.

Agora vamos usar esse intervalo de confiança da redução absoluta do risco para saber o intervalo de confiança do NNT: 100/3.4% a 100/7.2%. Ou seja, enquanto a estimativa pontual do NNT é de 21 (tratamento de grande impacto) e seu intervalo de confiança fica entre 14 e 29. Observem que isso é preciso, pois na pior das hipóteses o NNT seria de 29, o que se considera um benefício relevante. Se fizermos essa análise para morte, o NNT seria de 30, com intervalo de confiança entre 21 e 55. Na pior das hipóteses a redução de mortalidade seria de magnitude moderada. 

Este estudo de grande tamanho amostral nos fornece uma satisfatória precisão do NNT. Lembro que embora o NNT sugira grande magnitude, este estudo tem problema sério de aplicabilidade pois não se definiu como um estudo de prova de conceito ou pragmático (vide postagem anterior).

Percebam que para realizar essa análise, pensamos se a pior hipótese do NNT ainda seria uma número razoável. Essa é a técnica, pensar sempre na pior hipótese.

De intervalo de confiança em intervalo de confiança (RR - RRR - RAR - NNT), terminamos por encontrar o intervalo de confiança do NNT. 

Agora vamos a outro exemplo, onde a medida pontual do NNT sugere grande impacto, porém o estudo não tem precisão. 

Em postagem antiga do Blog discutimos um ensaio clínico de apenas 76 pacientes com endocardite bacteriana e vegetação grande, que foram randomizados para cirurgia imediata ou tratamento conservador (cirurgia apenas se instabilidade). O trabalho mostra que a cirurgia precoce reduz o desfecho primário combinado de morte e embolia sistêmica de 23% (controle) para 3% (intervenção) - a custa apenas de redução de embolia. Observem que isso resulta em redução absoluta do risco de 20% (23% - 3%), o que dá um impressionante NNT = 5. 

Embora esta cirurgia seja de alto risco (paciente usualmente com quadro infeccioso ainda não controlado, muitas vezes instável clinicamente), um NNT de 5 nos motivaria a aventurar esta conduta. Porém devemos nos perguntar qual a precisão deste NNT = 5 ?

Observem que o hazard ratio do estudo é 0.10 (90% de redução do hazard), porém o intervalo de confiança deste hazard ratio vai de 0.01 a 0.82. Isto indica que a redução relativa do risco (hazard) é muito imprecisa, com intervalo de confiança de 18% a 99%. O risco basal (grupo controle) é 23%. Aplicando estas reduções relativas do risco ao risco basal, encontramos que a redução absoluta do risco pode ser tão grande quanto de 22.77% (99% x 23%) ou tão pequena quanto 4,14% (18% x 23%). 

Sendo assim, este NNT = 5 tem um intervalo de confiança variando de 4 (100/23) a 25 (100/4). Ou seja, é muito impreciso. E considerando a possibilidade de um NNT = 25 para prevenir um evento embólico (sem reduzir mortalidade), ficamos muito na dúvida se devemos arriscar complicações advindas de uma cirurgia em momento não ideal. Este é um exemplo de estudo pequeno não garantindo precisão suficiente do NNT.

Uma das utilidades de meta-análises é obter um intervalo de confiança do RR mais estreito e permitir melhor precisão do intervalo de confiança do NNT. Da mesma forma que os artigos, as meta-análises não trazem este dado, mas podemos calcular pelo intervalo de confiança do RR e pela medida basal do risco demonstrado da meta-análise.

Desta forma, fica a mensagem de que não devemos nos limitar à interpretação da medida pontual do NNT. Devemos ir além e interpretar o intervalo de confiança desta medida. Esta postagem teve o propósito de mostrar como fazer este cálculo (intervalo de confiança RR → RRR → RAR → NNT).

* Para análise de magnitude de efeito quando o desfecho é numérico, acesse esta postagem do Blog H1 Estatística. 

Em que candidato a Medicina Baseada em Evidências votaria?

Se a medicina baseada em evidências fosse uma pessoa, ela procuraria para eleger um candidato que reconhecesse a incerteza de suas propostas. Isso mesmo, pois ciência é em primeiro lugar reconhecer as incertezas, fazer as perguntas certas e procurar responder estas questões com base em experimentação. 

A medicina baseada em evidências votaria no candidato que entendesse a complexidade dos problemas, considerasse que soluções criadas com base em lógica são incertas, e propusesse ensaios que comparassem estratégias. Por exemplo, o problema da saúde. Um candidato científico apresentaria três possíveis soluções, que seriam alocadas em diferentes cidades por processo de randomização em cluster. As estratégias seriam avaliadas quanto à melhora de um desfecho primário definido de forma objetiva o suficiente para evitar o viés político de aferição. Após identificada a estratégia de melhor eficácia, esta seria implementada nas demais regiões do país. Claro que neste processo o governo deveria avaliar aplicabilidade, ou seja, até que ponto aquela evidência aplicada a uma cidade terá o mesmo resultado em outra cidade. Avaliaria eficácia e efetividade. Seria um governo embasado em evidências. 

A medicina baseada em evidências também votaria em um candidato cuja equipe realizasse revisões sistemáticas de relatos bem e mal sucedidos, procurando gerar fontes secundárias de evidências que norteariam suas ações.

A medicina baseada em evidências votaria em um candidato que utilizasse o paradigma da racionalidade, do less is more, concentrando os recursos disponíveis em medidas de maior custo-efetividade e utilidade.

O problema é que parece não existir este candidato. Incertezas nunca são reconhecidas, propostas são feitas de forma presunçosa, promete-se tudo e mais um pouco de forma demagógica, nunca sendo mencionada a racionalidade das escolhas, a boa aplicação dos sempre finitos recursos.

Na ausência de preditores de um governo embasado em evidências, ficamos em território de incerteza de qual seria o candidato ideal. Reconhecendo esta incerteza, a solução seria randomizar uma amostra de Brasis para Dilma ou Aécio, verificando o resultado de cada um dos candidatos em desfechos duros, tais como os parâmetros relacionados à educação, saúde, corrupção, infraestrutura. Porém não temos uma amostra de vários Brasis. Temos apenas um Brasil. 

Daí me ocorreu a solução de realizar um ensaio clínico do tipo N = 1. Em certas circunstâncias, este é um desenho aceitável, aplicável quando precisamos de uma evidência para um paciente em particular, sendo este o mesmo paciente a ser testado no experimento. Em ensaios clínicos N = 1, uma primeira estratégia é implementada (estratégia A), depois trocada pela estratégia B, comparando-se o momento do paciente quando estava com a estratégia A versus B (desenho quasi-experimental - antes e depois). Imaginem dois analgésicos oferecidos desta forma a um paciente, sendo que o analgésico que melhor sedou a dor seria o escolhido par uso crônico.

Lembra alguma coisa? Sim, lembra o Brasil que tem problemas crônicos e já realizou a primeira etapa do ensaio N = 1. Caso julguemos que o país está indo bem, torna-se dispensável transitar para a estratégia B. Caso julguemos que o problema clínico persiste, devemos prosseguir o ensaio clínico e cruzar as estratégias. É uma questão de julgamento.

Assim faria a medicina baseada em evidências se ela fosse um eleitor.

A mente científica não vota com base em fanatismo ou crença. Não permite que vieses de confirmação nos façam cegos em relação a qualquer um dos lados. Evita um mundo de fantasia, reconhece a incerteza de nossas impressões, sabe que nossa percepção tende a ser enviesada por nossos preconceitos.

“Não há evidência para tudo”

Esta é uma das frases mais utilizadas por quem sofre do Complexo de Deus e deseja ter a liberdade de definir condutas médicas com base em crenças. Como não há evidência para tudo, podemos fazer quase tudo.

Às vezes esta afirmação vem quantificada, dando ainda mais força ao complexo: "apenas 30% das condutas necessárias possuem evidências". Porém, isto é um grande equívoco.

Na realidade, ao utilizar sequencialmente os princípios da medicina baseada em evidências, concluiremos que muitas das condutas correntes não deveriam ser praticadas, enquanto haverá respaldo para as condutas que devem ser utilizadas. Vamos ver.

Primeiro, o princípio da hipótese nula diz que devemos partir da premissa de ausência do fenômeno e só considerar algo como verdadeiro após devida demonstração científica. Este é um princípio científico básico, essencial para a organização do pensamento e prevenção de falsas afirmações. Portanto, muitas das condutas que se faz, não deveriam estar sendo feitas. Estas não devem ser computadas no percentual de condutas necessárias, porém sem evidências.

E dentre as condutas que devem ser adotadas? Essas possuem 3 tipos de justificativas. A primeira é exatamente a rejeição da hipótese nula por um estudo válido e relevante, realizado em amostra populacional e realidade semelhante à de nosso paciente. Estão são evidências diretas, que justificam aproximadamente 30% das condutas corretas. 

Em segundo lugar, entra o princípio da complacência, o qual orienta a utilização de evidências indiretas. O processo ocorre da seguinte forma: um trabalho científico tem a função de gerar a prova de conceito. Uma vez provado o conceito (por amostra populacional e método específicos para prevenção de erros aleatórios e sistemáticos), este deve ser individualizado para uma gama mais ampla de pacientes e realidades práticas; desde que não haja uma grande razão para que não se  aplique a seu paciente ou à sua realidade. 

Quando utilizamos beta-bloqueador para o tratamento da insuficiência cardíaca em um paciente de 85 anos, estamos aplicando o princípio da complacência, pois este paciente foi pouco (ou não foi) representado pelos estudos que validaram este tratamento. Esta é uma evidência indireta para o nosso paciente, como ocorre em boa parte dos casos. O que precisamos julgar é se há incerteza suficiente para limitar a aplicação do conceito. Por exemplo, aos 95 anos, a evidência fica mais indireta, aos 105 anos mais indireta ainda, e nossa reflexão precisa ser mais ponderada na aplicação do conceito. Se há razão para moderada incerteza, devemos ficar com a hipótese nula e não utilizar a evidência indireta. 

Este princípio se baseia no fato de que interação entre tipo de paciente e efeito da conduta é um fenômeno raro. Ou seja, uma vez demonstrado um benefício, este se reproduz na maioria das situações. Observem como acontece com as análises de subgrupo de estudos positivos. Normalmente, todos os subgrupos reproduzem o resultado. 

Outra grande equívoco de pensamento ocorre na forma de utilização da conduta. Imaginem que um estudo utilizou uma dose fixa de beta-bloqueador, pela necessidade de cegar o médico (prevenção de viés), não permitindo que a dose fosse ajustada. Uma vez provado o benefício, não somos obrigados  a utilizar aquela mesma dose do beta-bloqueador em todos os pacientes (copiar o artigo). O certo é se nortear pelo conceito provado pelo artigo e individualizar a dose do beta-bloqueador para diferentes tipos de pacientes. Ao usar uma dose reduzida em um paciente com frequência mais baixa ou uma dose aumentada em um paciente com frequência mais alta, estamos aplicando uma evidência indireta (dose intermediária). Neste caso, esta é a melhor forma de fazer.

Medicina baseada em evidências não é copiar o artigo científico; medicina baseada em evidências é individualizar para o paciente um conceito demonstrado no artigo científico.

Sendo assim, evidências indiretas quanto ao tipo de paciente ou forma de aplicação justificam em torno de 40% de nossas condutas. Neste ponto, já cobrimos 70% das condutas médicas. 

E os 30% restantes?

Estes são justificados pelo princípio da plausibilidade extrema. Estas são situações incontestáveis que devemos adotar a conduta. Seria anti-ético realizar um ensaio clínico. O melhor exemplo é o uso do paraquedas em indivíduos que pulam de um avião. Esse dispositivo reduz mortalidade e sabemos disso sem realizar um ensaio clínico. Desfibrilar um paciente cujo monitor mostra fibrilação ventricular. Faríamos um ensaio clínico para esta situação? Claro que não. Plausibilidade extrema é algo que incontroverso, ninguém teria uma opinião contrária. Esta é a evidência do óbvio. 

Dentro deste princípio, existem também as condições de curso clínico inexorável. Na década de 80, o neurocirurgião Ben Carson "curou" uma criança epiléptica, que sofria 30 convulsões ao dia e já tinha tentado todos as medicações possíveis. Ele realizou a retirada de todo o hemisfério cerebral esquerdo da criança, interrompendo as convulsões e deixando poucas sequelas. Esta é uma condição diferente da do paraquedas, pois havia pouca garantia de sucesso. Mas a garantia estava no insucesso de não tentar nada. Esta é uma variação do princípio da plausibilidade extrema. Mas cuidado para não generalizar este exemplo e achar que em toda situação inexorável devemos adotar condutas livremente. Precisamos também evitar condutas fúteis.

Sendo assim, diante de um problema clínico, devemos raciocinar qual princípio se aplica. Se for plausibilidade extrema, deve-se adotar a conduta. Do contrário, aplica-se o princípio da hipótese nula, utilizando evidências diretas ou indiretas (princípio da complacência) para respaldar as decisões. Na ausência de evidências de qualidade, devemos evitar a conduta. 

Fica assim demonstrado que condutas corretamente indicadas são respaldadas pelo raciocínio médico baseado em evidências. Enquanto parte das condutas não deveriam ser indicadas, pois representam o Complexo de Deus propondo tratamentos embasados em lógica, mentalidade do médico ativo ou conflitos de interesse. 

Portanto, quando ouvirem alguém usar a frase “não há evidência para tudo”, desconfiem do Complexo de Deus.

Curso de Medicina Baseada em Evidências (FMB)

O Complexo de Deus

Esta semana estive em Campos de Jordão, para proferir uma Keynote Lecture no International Back Pain Forum (Simplifying the Complex and Complicating the Simple). Este é um evento que reúne cientistas em dor lombar de diversas partes do mundo. Setenta por cento dos participantes eram estrangeiros, predominando Austrália, Reino Unido, Dinamarca, Holanda, de acordo com minha estatística visual. Chamo a atenção desta estatística, pois me pareceu predominar países onde se exerce uma medicina mais racional e socializada. Fico otimista quanto interajo nestes ambientes, onde percebo que os princípios da medicina baseada em evidências de fato fazem parte do consciente ou inconsciente coletivo. 

Na semana anterior, aconteceu em Brasília o Congresso Brasileiro de Cardiologia. Este é um ambiente em que percebo grande avidez por parte dos cardiologistas por discussões reflexivas e baseadas em evidências. Isso também me deixa otimista, vejo um futuro promissor, estamos evoluindo. No entanto, em contraste com o ambiente científico de Campos de Jordão, o Complexo de Deus ainda é muito prevalente no meio cardiológico, principalmente por parte dos “formadores de opinião”. 

Leonardo Costa, organizador do evento em Campos, me pediu para retratar como os princípios científicos influenciam (ou não) o raciocínio cardiológico, para fazer um paralelo com a realidade deles. Sendo assim, o tema de minha conferência foi o Complexo de Deus, cujo conteúdo está apresentado na postagem abaixo.

O Complexo de Deus

O maior obstáculo para a implementação dos princípios da medicina baseada em evidências é o Complexo de Deus. Esta enfermidade psicológica de alta prevalência entre médicos é caracterizada pela presunção de que podemos inventar condutas baseadas em lógica e considerá-las benéficas sem  testá-las devidamente. 

O Complexo de Deus é promovido pela ignorância de dois fatos importantes: a incerteza do pensamento lógico e a existência de fenômenos ilusórios no universo. 

A Incerteza do Pensamento Lógico

Como serem humanos, temos uma tendência natural a acreditar, muito mais do que duvidar. Assim evoluiu nossa mente ao longo destes 200.000 anos. Nos primórdios na humanidade, nossa característica crente foi necessária para um entendimento inicial do universo e por questões de sobrevivência de nossos ancestrais. Naquela fase, não havia conhecimento coletivo organizado, o que obrigava nossos ancestrais em acreditar e aplicar qualquer coisa. Algumas davam certo e eles iam começando a entender o universo e encontrando soluções para coisas básicas. O mundo evoluiu, hoje entendemos o universo de forma mais profunda e não há mais sentido em ser crente. Porém nossa mente evoluiu de forma crente e permanece com esta característica que um dia teve razão de ser.

Além deste tropismo pela crença, nosso raciocínio evoluiu de forma cartesiana. Geralmente pensamos em uma ou duas causas e planejamos intervir nessas poucas causas como forma de solucionar nossos problemas. O que não nos damos conta é que o mundo é formado de sistemas complexos, especialmente o mundo biológico. Um sistema complexo pode ser definido como aquele no qual o desfecho é resultado de um multiplicidade de causas, que interagem entre si de forma imprevisível, tornando impossível garantirmos o efeito de uma intervenção com base em nossa lógica. Isto promove a incerteza do pensamento lógico. 

O problema é que não nos damos conta disso e nossa mente crente nos faz confiar cegamente nas predições lógica. Em medicina, são inúmeros os pensamentos lógicos (plausibilidade biológica) que são negados quando propriamente testados. Inúmeras postagens deste blog contam essas histórias. 

Uma vez acreditando fortemente em nossa lógica, um outro processo cognitivo se encarrega de validar nossa crença: o viés de confirmação.

Imaginem que eu acredite que a posição de uns planetas no momento do nascimento define a personalidade das pessoas (astrologia). Não é difícil olhar ao meu redor e encontrar dentre meus amigos pessoas cuja personalidade coincidem com seu signo. Ao encontrar essas pessoas, registro mentalmente estes casos e minha crença é validada. Por outro lado, não registro os casos em que a personalidade não coincide com o signo. Isso é o processo natural de memória seletiva pelo qual o viés de confirmação atua. Ou seja, o viés de confirmação se aproveita das coincidências (acaso) para validar nossas crenças. 

Percebam como nossa mente nos engana. Como dizia Kant, a percepção do universo não depende apenas dos sentidos, resulta da interação dos sentidos com nossa mente (nossas crenças). Vemos o que queremos ver. 

Para corrigir este processo crente, existe a ciência. Sim, a função da ciência é diferenciar causa de acaso. Se as personalidades fossem causadas mesmo pelos astros, haveria mais acertos do que erros por parte dos astrólogos. Bem, isso foi testado. Em 1985, foi publicado na Revista Nature um  elegante estudo, no qual os astrólogos acertaram de forma cega a personalidade de parte dos indivíduos. No entanto, erraram na mesma proporção. Em suma, não houve associação estatisticamente significante entre mapa astral e personalidade. Pronto, está apropriadamente testado e a crença está desconstruída por uma observação não enviesada do universo. 

Isto ocorre o tempo todo com condutas médicas, que entram na rotina clínica com base na crença lógica, e depois estudos apropriados mostram que estas nunca deveriam ter sido adotadas. Tudo isso decorre do nosso Complexo de Deus, que nos impede de reconhecer a incerteza do pensamento lógico.

Fenômenos Ilusórios no Universo

Outro mecanismo mediador do Complexo de Deus é a ignorância de que o mundo a nossa volta é  repleto de associações que parecem, mas não são, causais. Já comentamos neste Blog uma associação verdadeiramente existente e estatisticamente significante entre consumo de chocolate per capita e conquista de prêmio nobel por países. Difícil pensar nesta como uma associação causal, muito provavelmente isto decorre de vies de confusão, ou seja, variáveis associadas ao consumo de chocolate e às premiações, promovendo uma ligação ilusória entre estas duas coisas. 

Assim se acreditou que vitaminas tinham efeito anti-cancerígeno, efeito não confirmado quando avaliado por desenhos de estudos que ajustam para variáveis de confusão (ensaios randomizados). Isto demonstra o segundo papel da ciência, que é diferenciar causa de viés. 

Diferenciando causa de acaso e causa de viés, a ciência discrimina mito e realidade. 

No entanto, nosso Complexo de Deus nos faz desconsiderar a incerteza do pensamento lógico e a existência de fenômenos ilusórios presentes no universo. Preferimos acreditar em nossas crenças. Preferimos instituir terapia de hipotermia pós-parada baseada em crença falsamente validada por fenômenos ilusórios promovidos por dois estudos repletos de vieses. E mesmo depois de um estudo apropriado ter demonstrado a ausência de benefício, as pessoas continuam propondo este tratamento, com base em subterfúgios de pensamento. Como gosto deste exemplo ...

Mesmo depois da ciência demostrar ausência de benefício, continuamos a dilatar coronárias de pacientes assintomáticos, com base na crença lógica de que é sempre bom desentupir o que está entupido. 

E continuamos a afirmar enfaticamente que exercício físico previne eventos cardiovasculares maiores, mesmo depois da negatividade do estudo LOOK-AHEAD. 

O problema é o que Complexo de Deus traz prejuízos clínicos, financeiros e culturais. Um dos grandes prejuízos que experimentamos recentemente foi a vexatória derrota de 7 x 1 contra a Alemanha, na Copa do Mundo dentro do Brasil. Sim, isso decorreu da crença de que éramos um bom time, de que iríamos ganhar aquele jogo e a copa do mundo. Se uma visão realista sobre aquele time estivesse presente, o Brasil entraria no jogo de forma defensiva, retrancada. Poderíamos até perder, porém não da forma como ocorreu. Assim fizeram brilhantemente nossos irmãos argentinos.

Somos assim, sofremos do Complexo de Deus. Nossa presunção impede que evidências científicas tenham um papel de protagonista na construção de nossas ideias. O Complexo de Deus torna o homem dogmático, acredita por acreditar. Ou acredita motivado por conflitos de interesse. 

Nosso raciocínio lógico deve servir para a geração de hipóteses a serem testadas cientificamente, diferenciando associações causais de acaso ou viés. O pensamento científico propõe uma posição de humildade do homem perante os fenômenos do universo.

O cientista é humilde. O crente é dogmático. Como profissionais, queremos ser humildes ou dogmáticos?