O primeiro
princípio da medicina baseada em evidências nos lembra que precisamos analisar
o nível de evidência antes de incorporar a informação de um estudo na conduta
médica. Várias foram as postagens deste Blog nas quais abordamos estudos
terapêuticos, utilizando-os como gancho para discussão de análise crítica de
evidências referentes a eficácia. Pretendemos agora apresentar a técnica de
análise crítica de forma sistematizada, passo a passo, o que pode servir de
guia para quando nos deparamos com um estudo que sugere ou nega benefício de
uma conduta terapêutica.
A leitura de um
artigo deve ser um processo sistematizado, devemos saber o que procurar. A
atividade mental deve ser ativa, um processo investigativo. Devemos começar
lendo a conclusão do artigo, e depois iniciamos a avaliação do quanto
fundamentada é a conclusão. Aí cabe uma leitura dos resultados e métodos,
dirigida por um check-list mental. A
leitura de um artigo não deve ser como a leitura de um romance, do início ao
fim, de forma relaxada. Na verdade, nem precisamos ler todas as palavras dos
artigos, não recomendo isso.
Na análise de
evidência sobre terapia, precisamos considerar três aspectos: (1) a veracidade,
(2) a relevância e (3) a aplicabilidade da informação oferecida pelo trabalho.
Devemos sempre começar a análise pela veracidade, pois quando mudamos a ordem
de avaliação destes três tópicos, podemos nos confundir na conclusão final.
Afinal, não haveria sentido em discutir a relevância ou aplicabilidade de uma
informação falsa.
Inicialmente
abordaremos veracidade. São os cinco passos para análise de veracidade:
Passo 1: Há efeito de confusão influenciando o
resultado?
Passo 2: O resultado decorre do acaso (significância
estatística)?
Passo 3: A conclusão foi baseada no resultado do
desfecho primário ou secundário?
Passo 4: Há viés de mensuração? (estudo aberto? desfecho subjetivo?)
Passo 5: Há viés de tratamento ? (intenção de tratar?
cross-over acentuado?)
Passo 1: Há efeito de confusão influenciando o
resultado? – Ensaio clínico randomizado versus
estudo observacional.
A possibilidade
de efeito de confusão representa o mais
importante “fator de risco” para gerar resultados incorretos sobre eficácia
terapêutica. Foi devido a fatores de confusão que se afirmou que vitaminas
previnem câncer/doença cardiovascular e que terapia de reposição hormonal (TRH)
previne infarto. Nestes casos, a afirmação se embasou em estudos
observacionais, que foram contraditos por ensaios clínicos subseqüentes. No
estudo observacional, o tratamento (vitamina, TRH) é determinado pelo escolha
do paciente ou permissão do seu médico. Isso gera um imenso problema, pois a
escolha faz com que os pacientes tratados sejam muito diferentes dos não
tratados. Por exemplo, evita-se TRH em mulheres hipertensas e tabagistas,
devido ao risco de associação do hormônio com estes fatores. Por isso, quem usa
TRH geralmente não é hipertensa, nem tabagista, sendo de menor risco (não pela
TRH). Embora sem comprovação de benefício, o ato de usar vitamina diariamente
marca indivíduos com estilo de vida mais saudável do que as pessoas que não
usam vitamina.
Já comentamos
neste Blog sobre a associação de chocolate e de vinho com menor risco
cardiovascular. Embora pareça sedutor relacionar estas coisas a saúde (muitos falam
do vinho como se fosse um fato), é muito possível que estas associações tenham
influência de fatores de confusão. Tudo é baseado em estudos observacionais e é
fácil de entender o mecanismo dos fatores de confusão nestes casos. Por
exemplo, quem come chocolate não é diabético, tornando-o de menor risco (não
por causa do chocolate); quem bebe vinho com frequência geralmente não é
doente, nem muito idoso. Estes fatores inibem o uso de bebida alcoólica, seja
por proibição, seja por motivação do paciente. A solução para essa confusão são os ensaios clínicos
randomizados para chocolate versus
controle, ou vinho versus controle.
Mas porque o
ensaio clínico não é vulnerável a fatores de confusão?
O ensaio clínico
determina o tratamento por sorteio, de forma aleatória, fazendo com que o grupo
tratado e o grupo não tratado sejam idênticos. É só olhar as tabelas de
características clínicas de grandes ensaios clínicos (> 300 pacientes,
idealmente > 1000 pacientes), os dois grupos são iguais em tudo! É a magia
da randomização.
Por isso que um
ensaio clínico randomizado é sempre um nível de evidência muito superior a
estudos observacionais, pois o principal “fator de risco” para resultados
espúrios é evitado neste primeiro modelo. Já os estudos observacionais, mesmo
que se faça análise estatística ajustando para fatores de confusão, não ficam
isentos do problema. Todos estes estudos fizeram análise multivariada, mas isso
não bastou para prevenir o erro.
Há ainda aqueles
que tentam priorizar resultados de estudos observacionais por estes
representarem melhor o “mundo real”. Este é um grande equívoco, pois coloca a
análise de aplicabilidade antes da análise de veracidade e sugere acreditar nos observacionais por
uma vantagem (“mundo real”) muito inferior à desvantagem que se recebe em troca
(o pior “fator de risco” para resultados espúrios – efeito de confusão).
Uma vez
verificando que a evidência é proveniente de um ensaio clínico (bem) randomizado,
ficamos mais tranqüilos. Porém devemos saber que isto é uma condição necessária
para a veracidade, porém não suficiente.
A informação
proveniente de um ensaio clínico pode decorrer de três fenômenos: acaso, viés ou causa. Causa significa
uma associação verdadeira entre o uso da terapia e a melhora do paciente,
quando a terapia de fato causa um
benefício. Mas antes de chegar a esta conclusão, precisamos nos preocupar com
os dois tipos de erros que se observa em ciência: erro aleatório (acaso) e erro sistemático (viés). O erro aleatório decorre do
acaso, não ocorre por falha do pesquisador ou porque o protocolo do estudo foi
feito de maneira incorreta. É simplesmente o azar do resultado na sua amostra
ter desviado do que ocorre da população. Já o erro sistemático decorre de falha
no protocolo do estudo, pode ser previsível até mesmo antes do estudo ser
realizado.
Vamos começar
pelo erro aleatório.
Passo 2: O resultado decorre do acaso (significância
estatística)?
Como já
mencionado neste Blog (regressão à média, pênalti), o acaso permeia nossas
vidas de forma mais prevalente do que o senso comum sugere. Um ensaio clínico
randomizado é realizado em uma amostra da população-alvo do estudo. Quando
avaliamos a eficácia da aspirina no infarto do miocárdio, não a testamos em
todos os pacientes com infarto. Utilizamos uma amostra (uma parte pequena) de
todos os pacientes infartados no mundo. Quando trabalhamos com amostra, devemos
nos preocupar com o papel do acaso. Ou seja, por acaso (por azar) o observado
em nossa amostra pode ser diferente do resultado se tivéssemos estudado a
eficácia da droga em toda a população de infartados do mundo (o que seria
impraticável).
Por este motivo,
ao observamos um resultado, devemos ter a consciência de que este pode ter sido
decorrente do acaso. Para resolver esta preocupação, em meados no século XX os
testes estatísticos foram inventados, através dos quais estimamos a
probabilidade de um resultado ser decorrente do acaso. Esta probabilidade é
comumente expressa nos ensaios clínicos pelo valor de P. Como trabalhamos com
amostras, nunca podemos garantir que o resultado não decorreu do acaso, no
máximo o que fazemos é tolerar certa probabilidade do acaso como desprezível.
E, por convenção, a probabilidade tolerável é 5%. Se em ensaio clínico
hipotético, a mortalidade no grupo droga for 10%, comparada a 13% no grupo
placebo, os dados sugerem que a droga reduz mortalidade. Mas isso pode ter
decorrido do acaso. Então se o valor de P for menor do que 5% (digamos 3% =
0.03), consideramos esta probabilidade desprezível e diremos que a diferença
não decorreu do acaso. Todo este raciocínio pode ser resumido na expressão estatisticamente
significante, que nada mais é do que probabilidade desprezível do acaso. O ato
de afirmar que existe uma diferença que decorreu do acaso é denominado Erro
Tipo I. Evitamos o erro tipo I quando exigimos significância estatística.
Até agora está
simples e fácil, pois o conceito de que precisamos de um valor de P < 0.05
está muito bem sedimentado no meio médico. Porém precisamos saber que há
situações onde a probabilidade do acaso não é desprezível mesmo com um valor de
P < 0.05.
Passo 3: A conclusão foi baseada no resultado do
desfecho primário ou secundário ?
Como dissemos,
há situações onde a probabilidade do acaso não é desprezível mesmo com um valor
de P < 0.05. E a principal situação ocorre quando são analisamos desfechos
secundários. Diferente do desfecho primário, são muitos os desfechos
secundários analisados simultaneamente. Quando muitas comparações são feitas
simultaneamente, a probabilidade do acaso é amplificada além do que o valor de
P está representando. Este fenômeno é chamado de problema das múltiplas
comparações.
Por exemplo, qual a probabilidade de que ao jogar uma moeda 10
vezes, o resultado seja cara todas as 10 vezes? Esta probabilidade é ínfima.
Mas se fizemos esse experimento (jogar 10 vezes a moeda) 50 vezes, a
probabilidade de que em algum dos 50
experimentos cara seja o resultado todas as 10 vezes é maior do que se fizermos
o experimento apenas 1 vez. Claro, é só pensar um pouco. Isso faz com que
quando analisamos desfechos secundários, a probabilidade do acaso fica
amplificada, pois são muitos os desfechos analisados simultaneamente. Algum pode aparecer significativo por
acaso. Este foi o raciocínio que fizemos em recente postagem, quando
contestamos que Dabigatran causa infarto, pois infarto foi um desfecho
secundário.
Desta forma, devido à maior probabilidade do Erro Tipo I, resultados
de desfechos secundários podem gerar hipóteses, mas não devem ser vistos como
definitivamente verdadeiros.
Outro problema dos desfechos secundários é o fato de que o estudo
não foi dimensionado para tal, ou seja, muitas vezes não há poder estatístico
para se testar aquele desfecho. Quando encontramos uma diferença em um estudo
sem poder estatístico, esta tem maior “risco” de ser decorrente do acaso.
Porque? Imaginemos um caso extremo, onde o estudo é muito pequeno e para que se
consiga um P < 0.05 em um estudo tão pequeno, seria necessário uma diferença
muito grande entre os grupos (tipo mortalidade 10 vs. 50%). Uma diferença tão
grande que se torna implausível, sendo o acaso a única possibilidade de
explicação. Lembram-se da enorme diferença de mortalidade obtida em um estudo
pequeno com beta-bloqueador em pré-operatório de cirurgia não cardíaca?
Lembram-se do estudo LIDO que mostrou levosimedan reduzindo mortalidade
(desfecho secundário) quando comparado a dobutamina em pacientes com
insuficiência cardíaca agudamente descompensada. Isto fez com que entusiastas e
interessados propusessem o uso do levosimedan. No entanto, mortalidade era
desfecho secundário naquele estudo de apenas 200 pacientes. Anos mais tarde, o
estudo SURVIVE (1200 pacientes, morte como desfecho primário) demonstrou
mortalidade idêntica nos dois grupos.
Pior quando o desfecho nem é definido a priori, ou seja, os autores nem dizem antes do estudo o que vão
testar, testam uns 300 desfechos e apresentam os de resultados positivos
(embora positivos por acaso).
Desta forma, uma evidência ideal sobre eficácia deve ser proveniente da análise de um desfecho primário e deve ter um
valor de P < 0.05. Se for proveniente de desfecho secundário, é apenas
um resultado parcial, que precisa ser testado em estudos desenhados para ter
aquele desfecho como primário.
Passo 4: Há viés de
mensuração? (estudo aberto?
desfecho subjetivo?)
Afastada a probabilidade do acaso, devemos nos preocupar com
potenciais vieses como mediadores de um falso resultado. O viés
é um erro sistemático, ou seja, decorre de falha na metodologia do estudo. Se é
um estudo de uma droga anti-hipertensiva e o medidor de pressão está
descalibrado, podemos incorrer em um erro sistemático, um erro que se repete em
diferentes pacientes, por falha da ferramenta de medida. Este é um exemplo
básico de um viés de mensuração. Tão básico que não vai ocorrer em estudos
minimamente organizados.
Na realidade, o principal “risco” de viés de mensuração ocorre
quando temos um estudo aberto (ao invés de cego), onde o pesquisador sabe quem
está usando a terapia. Este viés fica acentuado quando o pesquisador está
avaliando um desfecho subjetivo, denominado de soft. Ao sabermos o que o paciente está usando e este se queixa de
um sintoma subjetivo de dispnéia, temos mais tendência a interpretar a dispnéia
como verdadeira se o paciente está usando placebo, e mais tendência a não
valorizar a dispnéia se a droga ativa estiver sendo usada. Lembram-se da
análise do estudo do BNP em insuficiência cardíaca?
O valor do placebo (vide postagem) não se limita a simular o efeito psicológico do tratamento. É muito
útil também para cegar o médico na interpretação dos desfechos.
Há outros tipo de vieses. Viés de seleção, quando os critérios de
inclusão não foram suficientes para selecionar a amostra de interesse. Por exemplo, queremos avaliar pacientes
com síndromes coronarianas agudas, mas incluímos qualquer dor torácica, muitas
delas que podem ser decorrentes de outras causas. Viés de seguimento, quando há
muitas perdas de pacientes durante o seguimento (será que os pacientes que
sumiram do mapa foram os que morreram?). Viés de análise de dados, desde erros
estatísticos até tendência na escolha da forma de análise.
Passo 5: Há viés de
tratamento ? (intenção de tratar? cross-over acentuado?)
O viés do tratamento é algo que precisamos nos preocupar também.
Este é muito presente em estudos observacionais, pois a forma de tratamento não
é padronizada (dose, tipo de droga, duração), nem monitorada. Porém mesmo em
ensaios clínicos, pode ocorrer o viés de tratamento. Sempre que randomizamos um
grupo para tratamento, nem todos deste grupo de fato completam o tratamento,
assim como alguns do grupo controle acabam usando o tratamento. Isso se
denomina de cross-over, que é
inerente de qualquer tipo de tratamento e idealmente não deve ultrapassar 30%.
Mas porque toleramos um certo nível de cross-over
? Toleramos porque no mundo real,
de fato, nem todos os pacientes que prescrevemos um tratamento são submetidos
ao tratamento. Precisamos entender que o ensaio clínico está na verdade
testando a intenção de tratar, ou
seja, a eficácia do ato médico de prescrever o tratamento. Esta eficácia é
também determinada pela aceitação do paciente ao tratamento, que deve ser
computada no estudo. Se excluirmos estes pacientes, estaríamos tornando mais
artificiais nosso resultado, seria um viés
de tratamento. Portanto, a análise
primária dos estudos deve ser baseada na intenção de tratar, onde alguém
alocado para o grupo droga será sempre droga, mesmo que não tenha recebido a
droga. O mesmo com o grupo placebo ou controle. Trocar os pacientes de grupo de
acordo com o verdadeiro uso do tratamento (análise per protocol) deve ser visto como uma análise secundária. Além do
problema mencionado, esta conduta viola o processo de randomização e faz voltar
o risco de efeito de confusão. A exceção onde a análise per protocol deve ser valorizada são estudos de não-inferioridade
(vide postagem de Adriana Latado).
Outro aspecto importante: quando estamos avaliando um tratamento
conservador versus tratamento
agressivo, é natural e desejado que parte dos pacientes do grupo conservador ao
longo do segmento migrem para o grupo agressivo, a depender do julgamento
médico. Isso faz parte da estratégia conservadora, e estes pacientes devem
continuar rotulados como tendo sido submetidos ao grupo conservador. Por
exemplo, no estudo COURAGE, ao longo do seguimento parte dos pacientes do tratamento clínico realizaram
angioplastia. Isso não é um problema, pois tratamento clínico significa a
primeira estratégia e não implica em proibir o médico de optar pelo tratamento
intervencionista se o conservador não funcionar plenamente.
Em conclusão, na
primeira etapa de avaliação (veracidade), devemos nos preocupar com as
seguintes questões:
Passo 1: Há efeito de confusão influenciando o
resultado?
Passo 2: O resultado decorre do acaso (significância
estatística)?
Passo 3: A conclusão foi baseada no resultado do
desfecho primário ou secundário?
Passo 4: Há viés de mensuração? (estudo aberto? desfecho subjetivo?)
Passo 5: Há viés de tratamento ? (intenção de tratar?
cross-over acentuado?)
Caso a conclusão
passe pelo crivo de todas estas análises, a consideramos verdadeira e partimos
sem medo para a análise de relevância. Caso haja dúvida em relação à
veracidade, devemos considerar o estudo apenas como gerador de hipótese,
insuficiente para modificar nossa conduta. Em alguns casos, nem gerador de
hipótese podemos considerar o estudo.
