Análise Crítica das Evidências Internas: a quinta dimensão

A prática da medicina/saúde (baseada em evidências) é permeada por uma problema recorrente. Vamos bem até certo ponto, quando a coisa desanda. Todos (quase todos) reconhecem a importância de embasamento científico, nos interessamos por pesquisar evidências, avaliamos o nível de evidência de forma cada vez mais competente. No entanto, ao nos deparamos com a decisão clínica, muitas vezes tomamos um rumo não científico. Na hora H desafinamos. Por que?

A resposta é que falta um importante passo na sequência de ações que caracterizam medicina baseada em evidências.  

Classicamente, a prática de medicina baseada em evidências segue os seguintes passos sequenciais: (1) a partir de um dilema clínico, desenvolver uma pergunta científica; (2) Em seguida, pesquisar evidências a respeito da pergunta científica; (3) Analisar criticamente a qualidade e relevância das evidências; (4) Caso válida e relevante, incorporar a evidência na prática clínica. Nesta sequência clássica, nossa decisão é norteada por “evidências externas”. 

No entanto, por trás de toda decisão, existe o que chamamos de “evidências internas”, que exercem (voluntária ou involuntariamente) um papel crítico na forma como interagimos com evidências externas no processo de tomada de decisão. As evidências internas podem nos aproximar ou nos afastar do paradigma da decisão científica, a depender se estas concordam ou discordam das evidências externas. 

Desta forma, na prática da medicina baseada em evidências não devemos apenas acessar e julgar a qualidade das evidências externas. Devemos fazer o mesmo processo com evidências internas. 

O acesso das evidências internas foi originalmente proposto por Franz Porzsolt em artigo publicado no Evidence Based Medicine, em 2006. Em conversa recente com Franz, evoluímos para o conceito de (não só acessar), mas também analisar criticamente as evidências internas (critical appraisal of internal evidences), tal como fazemos com evidências científicas externas. 

Sendo assim, a análise de evidências internas deve preceder a análise das evidências externas. 

Como ?

Após determinar a pergunta científica, devemos “pesquisar” nossas evidências internas. Ou seja, utilizar um processo mental de busca das nossas crenças a respeito da determinada questão. No que eu acredito ou tento acreditar? Qual minha preferência a respeito desta questão? 

Uma vez identificando as evidências internas, devemos passar para a análise crítica destas evidências. Neste caso, podemos verificar de onde vem nossa crença interna: da percepção de plausibilidade extrema (válida), do conhecimento de trabalhos válidos que trazem evidência suficiente a respeito da questão? Por outro lado, podemos verificar que temos uma crença interna não embasada em evidências. Este processo mental nos traz uma conscientização de um preconceito que pode ser justificável ou não justificável. 

Portanto, ao identificar que já temos uma evidência interna, devemos fazer a seguinte sequência para o “critical appraisal”:

1. Minha evidência interna tem plausibilidade extrema?
2. Minha evidência interna é respaldada por trabalho científicos de qualidade que tomei conhecimento previamente?
3. Se a resposta das questões acima for negativa, partiremos para uma avaliação mais crítica em relação à nossa opinião:

• Minha crença pode ser provocada por uma vantagem pessoal a respeito da questão (conflitos de interesse material ou intelectual)? Observem que conflitos de interesse não representam apenas questões materiais. Como acadêmico da área, eu posso ser demasiadamente cético em relação a algo, assim como um natureba pode ser demasiadamente crente em relação a algum tratamento natural. 
• Minha crença é provocada pelo desejo de tomar o rumo mais confortável, pois isto é o que a maioria dos médicos faz? (embora duvidoso).
• Estou caindo na mentalidade do médico ativo, quando agir predomina sobre não agir, sem um  racional específico. 
• Estou valorizando devidamente a incerteza ou prefiro me basear em uma certeza platônica?

Após este processo, teremos nos preparado melhor para analisar as evidências externas. Embora não haja garantia de que nosso inconsciente não vá nos trair, este é um processo de conscientização que reduz vieses cognitivos comuns na mente médica. 

Além da análise crítica de nossas crenças, esse processo nos permite reconhecer as preferências nossas e dos nossos clientes. Ou seja, partimos da preferência, olhamos as evidências e se pudermos sincronizar as duas coisas, o faremos. Evidências nos trazem um norte para tomada de decisão, que no entanto devem ser revistas em relação à individualidade e preferência de cada um. Um tratamento eficaz pode ser inefetivo se aplicado a um paciente que o rejeite e cuja aderência será ruim. Precisamos alinhar as duas coisas e o primeiro passo para isso é a análise de nossas evidências internas. 

A Verdadeira Medicina Baseada em Evidências

Medicina baseada em evidências internas e externas. Essa é a verdadeira. 

Esta abordagem leva em consideração que por traz de uma decisão médica, há um ser humano. Mesmo vestido de profissional de saúde, este indivíduo continua humano, sujeito às emoções e contradições de suas condutas. 

Por vezes, noto uma abordagem burocrática em medicina baseada em evidências, principalmente por parte dos norte-americanos. Esta abordagem incomoda médicos e profissionais de saúde, que sentem que o paradigma científico como algo técnico e que não respeita a subjetividade da decisão. Isto distancia ciência de profissionalismo.

O que proponho não é a liberdade de fazer o que simplesmente o que se prefere. Pelo contrário, mantenho uma certa rigidez científica. Mas em primeiro lugar o olhar deve ser para o interior do profissional que estuda evidências, mas que tem crenças, que vive angústias relacionadas às suas decisões. 

Este olhar não implica em nortear decisões pelas emoções. Pelo contrário, implica em reconhecermos, respeitarmos e nos preparamos para evitar que emoções gerem vieses cognitivos em nossas decisões.

O quinto passo aqui apresentado é o reconhecimento de que temos preferências, embora nem sempre estas devam nos nortear.  Falta este passo em abordagens tradicionais e burocráticas. Precisamos evoluir o pensamento médico. E pensamento envolve emoções e preferências. 

Os Dois Lados do Efeito Placebo

O efeito placebo possui várias formas de influência na vida humana, passando pelos aspectos social, emocional, clínico e até econômico. Não há como deixar de ser influenciado de alguma forma por este efeito, cuja existência tem demonstração científica estabelecida.

De acordo com a Wikipedia, placebo é definido como uma simulação de tratamento, que frequentemente promove uma melhora, seja apenas perceptível ou real.

Em medicina baseada em evidências, quando falamos que uma intervenção tem apenas efeito placebo, a conotação tende a ser negativa para a conduta médica, representando falta de eficácia intrínseca. 

Por outro lado, pensando de forma pragmática, o efeito placebo traz um benefício real ao usuário, demonstrado por ensaios clínicos randomizados que testam a hipótese do placebo, onde este é comparado à ciência de ausência de tratamento como controle. 

Considerando este aspecto pragmático, por que não oferecer placebo ao paciente? 

Essa pergunta não é simples, pois de um lado há o benefício do placebo, do outro lado há a necessidade de fazer o paciente acreditar que a conduta não é um mero placebo. Assim, nos encontramos diante de um dilema. 

O intuito desta postagem é nos aproximar da resolução deste dilema, sugerindo circunstâncias  em que seria adequado o uso do placebo e outras em que esta conduta não deve ser utilizada. Denominarei estas duas situações de placebo tipo I e tipo II, respectivamente, uso adequado e inadequado. 

Mas antes de diferenciar estas circunstâncias, contarei a história de um inteligente estudo que trouxe um novo conceito a respeito do valor do placebo.

O Preço do Placebo

Em 2008, o grupo do psicólogo Dan Ariely, pertencente ao Massachussets Institute of Technology, publicou no JAMA um provocativo experimento, intitulado “Comercial Features of Placebo and Therapeutic Efficacy”, o qual descreve uma nova prova de conceito relacionada ao efeito placebo.  

Foram recrutados 82 voluntários saudáveis, para serem submetidos a choques elétricos em intensidade crescente. Os voluntários receberam a primeira sessão de choques elétricos, quando foi mensurada a intensidade da dor. Depois, os mesmos voluntários receberam uma suposta pílula analgésica (placebo) e nova sessão de choque foi realizada. Subtraindo a intensidade da dor depois - antes do uso do medicamento, quantificou-se o efeito analgésico (o quanto reduziu de dor). Houve de fato uma redução bastante significativa da dor após o uso do placebo. Mas isso não é novidade, pois estudos de metodologia melhor que esta (grupo controle de indivíduos alocados para diferente conduta) já haviam comprovado o efeito placebo no tratamento da dor.

Mas a grande sacada desse estudo foi a seguinte: metade dos voluntários eram randomizados para serem informados de que o preço do analgésico seria $2,50 por pílula e a outra metade randomizada para serem informadas que o preço do analgésico seria $0,01 por pílula. Observem no gráfico abaixo que a melhora da dor (delta da dor - eixo vertical do gráfico) foi significativamente maior no grupo da pílula supostamente cara. 

O conceito usual do placebo é o de ilusão do tratamento (achar que está recebendo o tratamento). Mas este estudo gera um novo conceito: o de ilusão do valor do tratamento influenciando na eficácia. 

Esta é uma importante evidência para a discussão que faremos a seguir, pois abordaremos o uso profissional do placebo e profissão implica em remuneração pelo “valor” de algo.

Usos Adequado e Inadequado do Placebo (como distinguir?)

Considerando que o placebo é benéfico, seria adequado utilizar este efeito com adjuvante de tratamentos? 

Em certos casos, sim. Há situações em que o efeito placebo se faz presente, porém o paciente não está sendo ludibriado em relação à essência de uma conduta. Por exemplo, imaginem que o médico recomenda a um paciente religioso que procure apoio de sua igreja quando do diagnóstico de uma doença terminal. Muito provavelmente, este apoio religioso, para aquele paciente que se identifica com sua igreja, terá um efeito de melhora da sua qualidade de vida, incluindo sintomas. E isto é legítimo, pois a proposta é meramente baseada em fé. Não é um ato médico, é um ato religioso. E isto está claro para o médico e para o cliente.

Percebam que isso é diferente de uma cirurgia espiritual, que se propõe a funcionar como um procedimento anatômico, onde algum pedaço de tecido é (supostamente) retirado, com presença de sangue e espíritos médicos encarnando no “curandeiro”. Neste caso, estamos diante de um ato meramente de fé, que está sendo travestido de ato médico. Ao propor esta conduta como um ato médico, sua eficácia precisaria ser comprovada por ensaios clínicos randomizados. Não sendo, isto se torna medicina baseada em fantasia. 

A fim de trazer um segundo exemplo de contraste, comparo apoio de um psicólogo versus o uso de homeopatia, ambas ações “vendidas” como atos profissionais. 

No primeiro caso, há dados mostrando melhoria de qualidade de vida em pacientes com câncer que recebem apoio psicológico. E esta é uma oferta legítima, pois o objetivo do tratamento é focado exatamente no psicológico.

Por outro lado, vejam o caso da homeopatia, em que ensaios clínicos de boa qualidade metodológica mostram de forma consistente o efeito benéfico da homeopatia em alguns sintomas, porém este efeito não supera o placebo (Lancet 2005). 

No entanto, diferente do apoio psicológico, homeopatia não é vendida apenas como um apoio psicológico, há argumentos farmacológicos de que aquelas soluções milhares de vezes diluídas, sem moléculas ativas, teria efeito direto, independente do psicológico. Neste caso, não se assume que o efeito é um mero placebo, sendo a homeopatia proposta como um ato médico profissional, apoiado por sociedades médicas/políticas, como a Organização Mundial de Saúde (a mesma que diz não ter dúvida de que Zika causa microcefalia).

Aí está a questão. Se homeopatia traz algum benefício, este pode ser uma opção, desde que o cliente saiba o que está recebendo. Enquanto um ato não médico, semelhante ao apoio religioso acima descrito, homeopatia tem sua validade. Porém ao se travestir de ato médico, homeopatia torna-se anticientífica, pois sua eficácia além do placebo não está comprovada pelos inúmeros ensaios clínicos de alta qualidade metodológica. 

Acho aceitável que uma pessoa procure um astrólogo para conversar, mesmo que a acurácia da astrologia em prever personalidade seja nula de acordo com evidências científicas. Digo aceitável, pois o cliente não espera necessariamente uma visão científica da astrologia. A expectativa é de algo mais lúdico do que decisivo. Astrologia não se define como ato médico. O problema da homeopatia e afins é quando estes se definem como ato médico.

Assim, os placebos do tipo I são aqueles que assumem ser placebos, pois esta é a sua natureza. Os placebos do tipo II são aqueles que não se aceitam como placebos e simulam uma fantasia de que são diferentes. Negam sua própria identidade, sua maior virtude, que é justamente o efeito placebo.

Parênteses: (é neste ponto da postagem os adeptos da homeopatia se irritam comigo e,  de forma previsível, floreiam nosso Blog com comentários caricatos. Gosto desses comentários, pois refletem uma forma prevalente de pensamento. Estes se apresentam de diferentes forma, sendo as mais frequentes: “eu sou ignorante, pois há estudos que comprovam eficácia da homeopatia” ou “existe um outro tipo de ciência para avaliar homeopatia, que não é SUA forma bitolada de entender ciência”.

Confesso que tenho coincidência que incomodo com essas observações sobre homeopatia. Me entendam, não é nada pessoal. Meu interesse não é específico em criticar homeopatia, mas o problema é que este é um exemplo excelente para várias discussões que travamos nesse Blog. Para mim, um dos grandes valores da homeopatia é refletir como nós, meros serem humanos, somos propícios a nos seduzir por fantasia.

Fechando agora os parênteses).

A segunda forma de ter um placebo do tipo I é quando o tratamento oferece um benefício real, alinhado ao efeito placebo. Assim, é legítimo adotar o tratamento e de quebra desfrutar do efeito placebo. 

A Ilusão do Valor do Tratamento

Vamos agora voltar o estudo de Dan Ariely, pois este nos mostra como pode ser perigosa a utilização do placebo tipo II: este estudo torna o caráter comercial do efeito placebo altamente favorável para o “vendedor” de placebo.

Se o tratamento é meramente um placebo, precisaremos enganar o paciente para que este funcione. E quando mais eu superestimar o falso valor do tratamento, mais o paciente vai se beneficiar do placebo. O problema é que quando tornamos este tratamento um ato profissional, para superestimar seu valor, precisaremos cobrar mais por ele. Assim, cobrança excessiva passa a fazer parte de uma fantasia necessária para otimizar o efeito placebo. É um mundo ideal, todos saem ganhando com base na fantasia. 

Desta forma, fica evidente de que a partir do momento que o placebo é travestido de tratamento ativo, este se torna incompatível com princípios econômicos de remuneração com base no valor do produto.

Conclusão

Há duas formas adequadas de aplicar o placebo: não considerar a conduta como um ato profissional (religião, astrologia, por exemplo) ou considerar um ato profissional que se assume como uma intervenção psicológica (apoio de psicólogo, por exemplo). Assim, resolvemos nosso dilema do uso do placebo. Fora estas situações, correremos o risco de cruzar uma linha tênue de transparência em nossa relação médico-paciente, e o modesto benefício do placebo pode ser antagonizado por outros prejuízos.

Placebo é um fenômeno real, benéfico e que deve ser aproveitado como parte de certos tratamentos. Mas o que está faltando na prática é autenticidade: fantasia deve assumir seu papel de fantasia e realidade deve ser sempre comprovada cientificamente. Tanto a fantasia como a realidade têm seu papel legítimo no mundo, desde que assumam sua verdadeira essência, sem querer se travestir de outra coisa.

Assim, todos terão seu merecido espaço, sem controvérsias. 

A Tríade do Pragmatismo em Pesquisa Clínica

Tenho percebido um uso crescente do termo estudo pragmático na literatura médica. Recentemente foi publicada uma revisão no New England Journal of Medicine dedicada a este tipo de estudo. No entanto, há uma evidente heterogeneidade na literatura quanto à definição do significado e propósito deste tipo de estudo. Em meio a esta heterogeneidade, há equívocos que precisam ser clarificados. 

Em recente revisão realizada por nossa equipe de pesquisadoras no tema “evidências sobre evidências”, percebemos que os trabalhos falham em apontar importantes detalhes na distinção de estudos pragmáticos e discordam quanto a definições. 

Esta postagem tem o intuito de discutir de forma didática o sentido da palavra pragmático em estudos científicos, classificando-os em três tipos de contexto: a mensagem pragmática de eficácia, ensaio clínico pragmático de eficácia e estudo pragmático de efetividade. Enfatizo que os dois primeiros contextos se referem a estudos que avaliam eficácia, enquanto o terceiro caso representa o verdadeiro tipo de estudo de efetividade. Vocês perceberão ao longo deste texto que enfatizarei a importância da preferência na escolha do tratamento como um importante componente da efetividade. 

Mensagem Pragmática de Eficácia

Esta situação se refere a um tradicional ensaio clínico, onde a alocação para o tipo de conduta médica é randomizada. Neste caso, utilizamos o termo mensagem pragmática quando o resultado do estudo  se limita a orientar qual a melhor conduta, porém o seu significado científico não prova um conceito mecanicista. Utilizamos este raciocínio na análise do SPRINT trial, que traz a mensagem pragmática de que devemos almejar um controle mais intenso da pressão arterial. Porém, o desvio-padrão dos valores de pressão arterial alcançados nesse grupo foi amplo, indicando que boa parte dos pacientes randomizados para o tratamento intenso (PA < 120/80) apresentavam valores pressóricos acima disso. Sendo assim, o estudo não serviu para provar o conceito de que níveis de pressão hoje considerados normais podem na verdade causar de injúria vascular a ponto de predispor a efeitos adversos. Neste caso, denominamos a mensagem pragmática, pois este não é um estudo de prova de conceito. 

Por outro lado, quando analisamos o estudo IMPROVE-IT, interpretamos que este teria o valor de provar o conceito do colesterol como fator de risco para doença coronária. Alguns ainda tinham dúvida se o benefício do tratamento com estatina decorria da redução de colesterol ou do efeito direto (pleiotrópico) deste tipo de droga. Pois bem, ao demonstrar redução de eventos com outro tipo de droga (ezetimibe), este estudo serve para reafirmar o conceito de que colesterol é um fator de risco. A partir do critério de causalidade denominado reversibilidade, este é um estudo que prova o conceito de que colesterol incrementa risco cardiovascular, pois ao reduzir o valor do colesterol, o risco foi revertido. No entanto, não julgo que este estudo tem uma mensagem pragmática de nos indicar o uso corrente do ezetimibe associado à estatina, pois a redução do risco foi de pequena monta, com alto NNT. 

Um bom exemplo hipotético é o efeito do exercício na perda de peso. Já publiquei neste Blog uma postagem mostrando ensaios clínicos randomizados que negam este efeito. Nestes ensaios clínicos, o padrão dietético é igual entre os grupo exercício e não exercício, portanto avalia-se o efeito direto do exercício, independente da dieta. Esse efeito direto significa um teste de conceito mecanicista, explanatório. Mas se os pacientes fossem randomizados para exercício ou não exercício, e se deixasse livre a dieta, poderia ser que ao iniciar exercício os pacientes se motivassem a comer menos e perdessem peso. Daí haveria uma mensagem pragmática de que exercício leva a perda de peso, porém não uma mensagem mecanicista. 

Nestes casos, o efeito é demonstrado no mundo controlado dos ensaios clínicos randomizados, onde não há preferências na escolha da conduta (definida aleatoriamente). Por isso a mensagem se refere a eficácia e não efetividade. 

Ensaio Clínico Pragmático de Eficácia

Aqui nos referimos à implementação da conduta. Imaginem que queremos demonstrar a eficácia da fisioterapia para um quadro osteomuscular. Os pacientes são randomizados para realizar ou não realizar fisioterapia. Porém como exatamente será realizada a fisioterapia (tipo de exercício, número de sessões) ficará a cargo do fisioterapeuta. A pergunta é se devemos indicar fisioterapia, porém neste caso a liberdade dada ao fisioterapeuta se aproxima da forma como a conduta é adotada no mundo real. Mesmo assim, este ainda é um estudo de eficácia (não de efetividade), pois não há preferência do profissional ou do paciente na decisão médica (randomizada). 

Outro bom exemplo é o de estudos que randomizam pacientes para fazer ou não o screening de doença e depois deixam a critério do médico o que fazer com o resultado do exame. A pergunta se refere ao screening e é necessário avaliar o efeito real deste screening, por isso deixa-se o médico livre para tomar a conduta após saber o resultado do exame. Aí está o pragmatismo. Mas isso também não é efetividade (é eficácia), pois a decisão em questão é fazer ou não o exame, e neste caso a decisão é artificialmente determinada por um sorteio. 

Vejam que nesses estudos, a conduta é randomizada, mas a implementação da conduta não é precisamente definida, deixando uma certa liberdade ao profissional de saúde para definir a forma como fará. 

Há também outros critérios que trazem um certo pragmatismo a ensaios clínicos randomizados, como uma seleção ampla de tipos de pacientes, o não uso do placebo quando se quer avaliar o efeito total de um tratamento e outras questões. Porém julgo que o mais importante para a definição de pragmatismo é a implementação do tratamento.

Estudo Pragmático de Efetividade

Como sabemos, efetividade é eficácia no mundo real. Eficácia responde a pergunta: este tratamento pode funcionar? Isso é testado no mundo ideal, no laboratório dos ensaios clínicos, quando se mostra que a conduta gera um efeito. Efetividade é uma pergunta que hierarquicamente deve vir depois da demonstração controlada e válida de eficácia, e se refere à seguinte questão: este tratamento funciona?

Efetividade tem dois componentes que a fazem diferente de eficácia: um primeiro componente que se refere a uma maior variabilidade de tipos de pacientes e da qualidade de aplicação da conduta médica (aderência menor, cirurgiões menos experientes, coisas do mundo real). Este primeiro componente é bastante lembrado. Mas há um segundo componente, tão importante quanto, que é pouco lembrado na literatura: a preferência do binômio médico-paciente na escolha do tratamento. 

Aqui não coloco preferência de uma forma pejorativa, a conotação é de escolha mental, individualização do tratamento. Uma escolha norteada por conceitos de eficácia, mas que requer julgamento clínico para saber se aquele paciente deve de fato receber esse tratamento (qual o desfecho de interesse, risco de evento adverso).

Recomendações de conduta Classe I são aquelas que devem ser feitas quase universalmente. Por exemplo, a prescrição de uma antibiótico para um paciente com pneumonia. Esse tipo de tratamento não deve considerar muito preferência, deve ser quase uma regra, e neste caso é possível que a eficácia (mundo ideal) seja superior à efetividade (mundo real). 

Mas há as recomendações Classe II, onde deve-se ponderar risco/benefício, por exemplo. É um caso do uso de anticoagulantes na fibrilação atrial. Deve-se ponderar a magnitude do benefício da prevenção do AVC versus a magnitude do risco de sangramento. Ou no caso de indicação de cirurgias eficazes, porém cujo risco de complicação em pacientes específicos pode superar o benefício. Nestes casos que devemos ponderar, um estudo de efetividade traz uma informação adicional, pois este avalia se a escolha do médico, caso a caso, incrementa o resultado do tratamento no mundo real. Preferência, portanto, deve ser um aspecto importante nos estudos de efetividade. 

Enfim, nestes casos em que se precisa ponderar, um bom médico decidindo de forma individualizada pode ter um melhor resultado do que a escolha do tratamento por sorteio. A efetividade (mundo real) tende a ser superior à eficácia (mundo ideal).

A preferência do paciente também pode influenciar a efetividade. Por exemplo, imagine que rezar melhora a qualidade de vida de pacientes com câncer. Se a reza for uma escolha do paciente, se for sua preferência, este “tratamento” funcionará melhor do que em um ensaio clínico randomizado, onde a reza foi definida por sorteio, não por preferência. No ensaio clínico, pessoas que não gostam de rezar podem ser alocadas para a reza. 

Imaginem que estamos avaliando o benefício do exercício físico na melhora da capacidade funcional de pacientes com câncer. Se o exercício for um desejo do paciente que gosta de se movimentar, este poderá funcionar melhor do que se o exercício for definido por randomização. Um paciente que prefere o exercício, pode fazer o exercício de maneira mais dedicada do que um paciente foi que não gosta, mas foi randomizado para fazer. Mais uma vez, a efetividade (mundo real) tende a ser superior à eficácia (mundo ideal).

Desta forma, fica claro que um verdadeiro estudo de efetividade não pode ser randomizado. Pois ao randomizar, anulamos a escolha do tratamento por um processo mental. Saliento isto pois alguns autores, de forma equivocada (a meu ver), utilizam o termo ensaio clínico randomizado de efetividade, o que é uma contradição.

Definido o que é a verdadeira efetividade, vamos agora descrever como se faz um “estudo pragmático de efetividade”. Como falamos, este não deve ser um estudo randomizado, é na verdade um estudo observacional. Compara-se pacientes que fazem versus os que não fazem o tratamento. 

Logo, surge uma questão: haverá efeitos de confusão, claro, pois não houve randomização e pessoas que fazem o tratamento são diferentes das que não fazem. Portanto, neste tipo de estudo (observacional) se faz necessário um ajuste para estas variáveis de confusão. Agora vem o pulo do gato: no verdadeiro estudo de efetividade, o ajuste deve ser feito para o risco do paciente em ter o desfecho de interesse e não para a propensão do paciente receber o tratamento. 

Isso é diferente do que normalmente se faz em estudos de coorte que não avaliam impacto de tratamentos, como geradores de hipótese. Cria-se um escore de propensão do paciente receber o tratamento (preditores independentes do tratamento) e se ajusta o efeito do tratamento para estes fatores. Percebam que nesta situação, anula-se o efeito da preferência pelo tratamento, pois esta é representada pelo escore de propensão. Desta forma, estes tipos de estudo servem para gerar um hipótese de eficácia, antes da realização de um ensaio clínico. Depois de realizado o ensaio clínico randomizado que demonstra eficácia, um estudo pragmático deve ser realizado para avaliar a efetividade. E como a efetividade depende da preferência, o ajuste deve ser feito para variáveis associadas a risco do desfecho e não para um escore de propensão ao tratamento.

Assim, sequência cronológica dos testes de hipótese deve ser a seguinte:

1. Estudo observacional que gera hipótese de eficácia (ajuste para propensão a receber o tratamento).
2. Ensaio clínico randomizado que prova eficácia.
3. Estudo pragmático que prova efetividade (ajuste de propensão para desfecho).

É simples, eu diria que há dois tipos de estudos observacionais que avaliam tratamentos: um primeiro que serve para gerar a hipótese de que o tratamento é eficaz, onde se deve ajustar para variáveis relacionas ao tratamento; um segundo que serve para avaliar efetividade de algo eficaz, onde se deve ajustar para o risco do desfecho. 

Estes método de estudo pragmático de efetividade está formalmente descrito por Franz Porzsolt, na revista Pragmatic and Observational Research (2015; 6: 47-54).

Na verdade, qualquer tipo de estudo pode ter um valor pragmático. Mas pragmático não é sinônimo de efetividade. Há pragmatismos relacionados a eficácia e há pragmatismos relacionados a efetividade. Devemos saber diferenciar o uso da palavra pragmático nestas diferentes situações. 


________________________________________________________________________________

Objetivos Didáticos da Postagem

• Mensagem pragmática versus prova de conceito
• A importância da preferência como componente da efetividade
• Eficácia versus efetividade
• Pragmatismo na implementação do tratamento
• Os verdadeiros estudos pragmáticos

O Estranho Caso da Não-inferioridade ao Placebo

Você compraria um produto por este não ser muito pior do que placebo? Parece estranha minha pergunta, mas isso foi o que os autores do LEADER trial, estudo publicado mês passado no New England Journal of Medicine, se propuseram a testar em relação ao efeito do novo hipoglicemiante Liraglutida. Sim, por incrível que pareça a hipótese primária do estudo é de não-inferioridade desta nova droga em relação ao placebo. 

Há algumas semanas, a colega de reflexões baseadas em evidências, Adriana Latado, me chamou atenção desse estudo. Debatemos e acabamos por escrever uma Correspondência ao editor do  NEJM, com a contribuição de Franz Porzsolt. Não sabemos se a carta será aceita para publicação, mas desde já compartilho nesse post parte das reflexões trocadas entre nós três. 

O princípio do nível de evidência indica que o resultado de todo estudo deve passar por uma rigorosa análise crítica a respeito da sua validade (riscos de erros aleatórios e sistemáticos). Temos enfatizado isso neste Blog, como o primeiro passo na análise de evidências. Mas na verdade, existe um passo que deve anteceder a análise de validade de um estudo. Denomino este de passo ZERO, que corresponde à seguinte pergunta: qual o sentido da hipótese do estudo?

Para avaliar se a pergunta do LEADER trial tem sentido, vamos primeiro revisar (conteúdo presente em postagens prévias: 1, 2, 3) o que significa uma hipótese de não inferioridade e quando esta se aplica. A análise de não inferioridade é uma metodologia originalmente legítima, desenvolvida para testar se uma nova conduta não é muito pior do que a conduta tradicional. Esta se aplica a quando o novo traz uma vantagem prática tamanha que vale a pena abdicar de uma parte (pequena) do benefício obtido com a conduta tradicional. O grande exemplo contemporâneo é representado pelos estudos que compararam os novos anticoagulantes com warfarina. Considerando que nos novos anticoagulantes não requerem controle laboratorial, tendo estabilidade e previsibilidade em relação a seus efeitos, estes representam um tipo de tratamento bem mais conveniente do que o tradicional. Sendo assim, mesmo que estes anticoagulantes fossem um pouco inferiores do que warfarina, poderia valer a pena dar preferência aos novos. Por este motivo, todos os grandes trials que compararam estas drogas com warfarina são estudos de não inferioridade. Neste caso, o teste de hipótese é legítimo. Observem portanto que não-inferioridade não significa exatamente semelhança. É algo como quase semelhança ou uma diferença (inferioridade) aceitável ou tolerável.

Estes tipos de estudo pré-determinam uma margem de não inferioridade, que representa o quanto toleramos de inferioridade para preferir o tratamento mais prático. É como se dissermos, se este tratamento for um pouco pior, ainda preferirei este, pois é muito mais conveniente. É uma análise econômica, o que pagamos com perda de benefício versus o que recebemos em praticidade. Vale salientar que esta margem tolerável de inferioridade guarda uma certa subjetividade, e o leitor do artigo deve analisar criticamente se a margem aceitável para ainda justificar o tratamento. 

A margem de não-inferioridade é definida pelo limite superior do intervalo de confiança da medida de associação. Por exemplo, no estudo LEADER, definiu-se não-inferioridade por uma margem superior do intervalo de confiança do risco relativo de 1.3. Por exemplo, se esse intervalo de confiança fosse até 1.3, diríamos que na pior das hipóteses (margem superior) a perda de benefício seria 30% e esse é o limite do aceitável para preferir o novo tratamento. O leitor deve sempre avaliar se o autor não foi tolerante demais com essa margem. 

Observem que tudo que falei acima se refere a uma comparação entre uma conduta alternativa versus uma conduta tradicional. Ou seja, não faz sentido utilizar esse conceito em uma comparação  de uma conduta contra placebo. Quando comparamos algo com placebo, a hipótese natural é de superioridade, nunca de não-inferioridade, pois não ser muito pior do que placebo não justifica a utilização de um tratamento. Estranhamente, o LEADER trial foi um estudo que pretendeu demonstrar não-inferioridade da novidade (Liraglutide) em relação ao placebo. Quando nos deparamos com essa anomalia, Adriana questionou: será que há alguma razão que não percebemos? Pesquisamos e percebemos que essa tem sido uma tendência de desenho de estudo a respeito de novos hipoglicemiantes, com aval do FDA. Ou seja, por incrível que parece, o FDA aceita não inferioridade de hipoglicemiantes orais como critério para aprovação da droga. Mas como? 

A justificativa disso é que essas novas drogas reduzem glicemia e no caso do Liraglutide ainda reduz um pouco o peso. Portanto, o argumento seria que se precisa apenas demonstrar que estas não pioram o paciente do ponto de vista cardiovascular para que sejam adotadas como prática clínica. Isso é o que eles usam como justificativa. Inicialmente, esse é mais um exemplo de culto a desfechos substitutos (redução de glicemia), que como sabemos não garantem benefício clínico. Mas meu enfoque será outro aqui nesta postagem. Independente do culto a desfechos substituto a hipótese de não-inferioridade ao placebo não faz sentido.

Abaixo apontarei cinco argumentos contra a lógica dessa operação pseudo-científica.

Observem que aí há uma sequestro do conceito de não inferioridade: este está sendo usado para algo que não foi criado, ou seja, testar segurança de uma droga. O placebo aqui é o grupo controle para avaliar se a droga causa prejuízo. Isso não faz sentido, pois não causar prejuízo não é justificativa para adotar um tratamento. Repito que estudos contra placebo devem ser de superioridade, pois a justificativa para adotar um tratamento é o benefício demonstrado a partir da comparação com placebo. E esses mesmos estudos devem trazer análise de segurança em relação a desfechos não intencionais. 

A demonstração de segurança contra placebo em um desenho de não inferioridade pode representar uma informação verdadeira (sem erros aleatórios ou sistemático), porém é inútil. Pois não ser pior do que placebo não justifica que se prefira o tratamento.  

Em segundo lugar, perda de benefício não deve ser confundida com evento adverso. Evento adverso é algo que não deve acontecer (por exemplo, uma droga causar infarto do paciente), enquanto na não-inferioridade há perda parcial e aceitável de benefício. No conceito de não-inferioridade não há um dano não intencional causado pelo tratamento, apenas um benefício seria um pouco menor do que o tradicional. 

Em terceiro lugar, a história fica ainda mais tendenciosa quando se considera a margem de não inferioridade. Principalmente quando esse evento adverso é representado pelo combinado de desfechos cardiovasculares maiores. E principalmente quando a margem de não inferioridade aceitável é definida como 30%. Ou seja, aceita-se que a droga aumente em 30% (relativo) a incidência de eventos cardiovasculares para adotar esse tratamento. Isso é muito alto, pois é exatamente a redução de risco relativo obtida com bons tratamentos em prevenção primária, como estatinas, por exemplo. Na verdade, se fosse (não é) para comparar contra placebo, seria menos pior um desenho de equivalência, pois nesse tipo de estudo deseja-se demonstrar semelhança e o intervalo de confiança pré-determinado é bem estreito, não havendo margem aceitável de inferioridade. Suspeito que este desenho não tenha sido o escolhido para esta situação, pois soaria mais estranho ainda falar em “equivalência a placebo” como justificativa para adotar um tratamento. Falar em “não-inferioridade” confunde o leitor e essa confusão é útil para evitar a rejeição imediata da esdrúxula hipótese. 

Em quarto lugar, o cálculo do tamanho amostral para um estudo de não inferioridade é diferente do estudo de superioridade. A depender da margem aceitável de não inferioridade (quanto maior a margem, menor o tamanho amostral necessário), o tamanho amostral de um estudo de não-inferioridade pode ser menor do que o estudo de superioridade. Esta quarta observação se refere ao resultado final do estudo. Embora a intenção inicial tenha sido demonstrar não-inferioridade, o estudo mostrou menor risco cardiovascular com o Liraglutide, ou seja, a droga teria benefício cardiovascular. E essa foi a novidade apresentada pelo entusiástico artigo. Descreveu-se que a incidência de eventos no grupo Liraglutide foi 13%, comparada a 14.9% no grupo placebo (P = 0.01 para superioridade). 

Fiz um cálculo a posteriori do poder estatístico deste estudo para detectar a diferença observada, e este estudo tem apenas 76% de poder para demonstrar o tamanho de efeito encontrado. Lembrem-se que o aceitável é um poder mínimo de 80%. Portanto, quando um estudo detecta uma diferença para a qual não estava bem dimensionado, a probabilidade de erro tipo I (encontrar algo falso) é maior do que a impressão trazida pelo valor de P. Sendo assim, a veracidade da conclusão do estudo quanto à superioridade do Liraglutide pode ser criticada. 

Finalmente, há o conceito de validade com base na hipótese pré-determinada, que independe da análise de poder estatístico que acabei de fazer. A validade de um achado não pré-determinado como hipótese primária é menor, pois há muitas hipóteses não pré-determinadas concorrendo para acontecer. O acaso se faz mais presente. A superioridade foi um achado secundário e como tal, mais sujeito ao acaso. 

Tudo isso nos faz refletir a respeito do porquê que autores desenham hipóteses inadequadas. Às vezes a forma como se desenha a hipótese não é voltada para sua real utilidade, mas sim para a probabilidade de se demonstrar um resultado que favoreça o estabelecimento do novo tratamento. Ao objetivar não-inferioridade a placebo, fica mais fácil de se conseguir um resultado positivo. E ainda de quebra os autores jogam com o acaso de encontrar um resultado ainda mais favorável, o de superioridade. O ônus da prova não está na superioridade, portanto o que vier nesse sentido é lucro. Os autores não pagam o preço pelo teste de uma hipótese mais robusta, mas colhem o lucro proporcionado pelo acaso. Devemos avaliar a quem mais interessa a hipótese testada: ao paciente, ao médico ou à indústria ?

O principal desafio de uma verdadeiro cientista é definir a pergunta correta e saber a dose de dúvida que deve atribuir a suas próprias respostas. Falamos em sequestro do conceito de não-inferioridade. Mas aqui há um fenômeno ainda mais grave: o sequestro do conceito de medicina baseada em evidências. Este conceito vem sendo inadequadamente aplicado para vender condutas aparentemente embasadas em evidências, mas que na realidade não passam pelo crivo da análise crítica da pergunta da pesquisa. A análise crítica da pergunta da pesquisa deve ser o passo zero da verdadeira medicina baseada em evidências: a hipótese testada faz sentido? 

_________________________________________________________________________________

Objetivos Didáticos desta Postagem:

- Desenho de Não-inferioridade
- Margem de não inferioridade definida por intervalo de confiança
- Hipótese de não inferioridade versus superioridade
- Passo Zero na avaliação de evidências: o sentido da hipótese.