Depois de um feriado inundado por uma festa acéfala, na qual Lepo Lepo é a melhor música (convido-os a reler nossa portagem do carnaval de 2012, um link irônico entre axé e medicina), precisamos colocar nosso cérebro para funcionar novamente. Sendo assim, nada melhor do que discutir uma meta-análise.
Na semana passada, foi publicado no JAMA Internal Medicine a revisão sistemática dos ensaios clínicos randomizados que compararam cirurgia de revascularização miocárdica versus intervenção coronária percutânea (“angioplastia”). A meta-análise (compilação estatística dos dados) evidenciou que a cirrugia é superior à angioplastia no que diz respeito à prevenção de morte, infarto e controle de sintomas.
Na semana passada, foi publicado no JAMA Internal Medicine a revisão sistemática dos ensaios clínicos randomizados que compararam cirurgia de revascularização miocárdica versus intervenção coronária percutânea (“angioplastia”). A meta-análise (compilação estatística dos dados) evidenciou que a cirrugia é superior à angioplastia no que diz respeito à prevenção de morte, infarto e controle de sintomas.
A conclusão foi clara e objetiva: “In patients with multivessel coronary disease, compared with
PCI, CABG leads to an unequivocal reduction in long-term mortality, myocardialinfarctions and repeat revascularizations.”
Nesta postagem, discutiremos a translação deste achado científico para a prática clínica. Reforçaremos o raciocínico clínico baseado em evidências, no qual partimos do conceito provado cientificamente e em seguida consideramos a individualidade do paciente no processo de decisão.
Mas antes disso, vamos aproveitar para abordar aspectos metodológicos de meta-análises.
Meta-análise: Heterogeneidade
Usualmente, o que mais se valoriza na leitura de meta-análises é a estimativa sumária, resultante da compilação dos diferentes trabalhos. Esta estimativa é o diamante que aparece no gráfico conhecido como forest plot (veja abaixo). Porém, tão importante (ou talvez mais importate) que o diamante, é a análise de heterogeneidade.
Imaginem se fizermos um experimento que mostra um certo resultado. Podemos nos perguntar, esse resultado é verdadeiro? A melhor forma de avaliar essa veracidade seria repetir o experimento várias vezes e ver se o mesmo resultado se repete. Mas isso não ocorre, quem faz um ensaio clínico só faz uma vez e publica. O que faz uma meta-análise é simular esta repetição de experimentos, utilizando os estudos que existem na literatura. Hipoteticamente, ao realizar uma meta-análise, estamos repetindo o experimento várias vezes. E nesta repetição, avaliamos heterogeneidade entre os estudos, vendo se o resultado se repete nos diferentes experimentos. Se os experimentos se confirmam entre si, ficamos mais certos de que aquele resultado não decorreu do acaso.
Desta forma, um parâmetro importante no resultado de uma meta-análise é a medida de heterogeneidade, representada por I2, o qual indica o percentual da variação do resultado entre os estudos que ultrapassa o efeito do acaso.
Explicando melhor, estudos diferentes nunca terão resultados idênticos, sempre haverá alguma diferença. Estas diferenças resultam de variação aleatória (acaso) + diferenças verdadeiras. Se as diferenças são só pelo acaso, elas vão até um certo ponto. Além de um certo ponto, o que há de diferença pode ser devido a discordância real entre os estudos. O I2 é o percentual da variação entre os estudos que decorre de diferenças reais, de discordâncias verdadeiras. Interessante notar é que quanto maior o tamanho amostral dos estudos, mais fácil detectar heteregeneidade, pois sendo estudos mais precisos, o efeito do acaso se reduz e eventuais diferenças tendem a ser mais reais.
Pois bem, na meta-análise em questão I2 = 0%, ou seja, os estudos não apresentam heterogeneidade alguma quanto ao impacto dos tratamentos no desfecho. Não há discordância real entre os estudos, todas as diferenças são decorrentes do acaso. Visualmente (gráfico), dos 6 estudos, 4 estão dizendo a que cirurgia é melhor e 2 mostram resultados semelhantes entre os dois tratamentos. Porém observem que estes 2 estudos distoantes apresentam grandes intervalos de confiança (imprecisos), podendo esta discordância ser decorrente do acaso. E o I2 estima que toda a discordância decorreu do acaso.
Assim, interpretamos que a análise da totalidade das evidências reforça o conceito de que pacientes operados apresentam menor mortalidade do que pacientes submetidos a angioplastia.
Quando há muita heterogeneidade torna-se questionável a combinação do resultado de estudos, pois considera-se que devem ter sido diferenças metodológicas ou do tipo de população representada ou do tipo de tratamento empregado que levou àquelas discordâncias entre os trabalhos. Seria como combinar coisas diferentes, que não devem ser combinadas: mixing apples and oranges.
A esta altura vocês devem estar se perguntando o que é muita heterogeneidade. Não há um número mágico, mas se considera que idealmente o I2 deve ser < 40% para que os estudos sejam compilados. Entre 40% e 60% seria aceitável e I2 > 60% já torna a compilação problemática.
Outra questão que devemos observar é o tipo de diferença entre os estudos, se qualitativas ou quantitativas. Na primeira, os estudos de fato discordam em relação à direção do efeito. Na segunda, os estudos podem dizer a mesma coisa (há redução de mortalidade), o que difere é o grau de redução.
Meta-análise: Estimativa Sumária
Uma vez analisado o parâmetro de heterogeneidade, partimos para a estimativa sumária, que é a medida que resulta da compilação entre os estudos. Esta não é a simples média dos resultado dos estudos. Na verdade, é como uma média ponderada. Ou seja, quanto mais preciso é o estudo, mais peso este terá no resultado da meta-análise. Estudos maiores tendem a ter mais influência no resultado final do que estudos pequenos. Estudos com estreitos intervalos de confiança terão mais influência do que estudos menos precisos. Observem no forest plot abaixo que a estimativa pontual do resultado de cada estudo é representado por um quadrado. Vejam que este quadrado varia de tamanho, pois este tamanho significa o peso que cada estudo teve na estimativa sumária.
Compilando os dados de diferentes estudos (simula a repetição dos experimentos) teremos uma infomação científica mais precisa. Ou seja, se repetimos o experimento várias vezes, saberemos mais a respeito da questão do que na análise de apenas um experimento. Por este motivo, o intervalo de confiança da medida sumária (o diamante do gráfico) é sempre mais estreito do que o intervalo de confiança dos trabalhos individuais. Por isso é mais provável que a significância estatística seja alçancada quando temos a compilação dos resultados, pois os intervalos de confiança ficam mais estreitos.
Sobre o diamante, o comprimento dele representa o intervalo de confiança, enquanto a medida pontual (no caso, do risco relativo) é representada pelo centro do diamante.
Sobre o diamante, o comprimento dele representa o intervalo de confiança, enquanto a medida pontual (no caso, do risco relativo) é representada pelo centro do diamante.
Por exemplo, no estudo FREEDOM houve redução da mortalidade com cirurgia em relação a angioplastia e isso foi motivo de uma postagem neste Blog. Mesmo sendo a diferença estatisticamente significante naquele estudo, não podemos garantir que este achado não decorreu do acaso. E quando pensamos que a análise isolada de morte foi um desfecho secundário naquele estudo, a possibilidade do acaso fica superior ao demonstrado pelo valor de P. O que a meta-análise nos traz é a repetição do experimento quanto a este resultado. Ou seja, na medida em que todos os estudos estão falando a mesma coisa (redução de mortalidade com cirurgia), ficamos mais seguros que no FREEDOM este achado representou a verdade.
É por isso que resultados positivos em desfechos secundários são mais confiáveis em meta-análises do que em estudos primários. Na medida em que o resultado se repete nos diferentes estudos, fica menor aquele nosso receio de que o resultado positivo decorreu do acaso.
Aqui estamos na situação ideal, a compilação de dados de estudos com resultados homogêneos. Diferente desta situação, na postagem Meta-Ilusão, criticamos uma meta-análise que compilou resultados de estudos heteronêneos. Naquele exemplo, foram vários estudos pequenos e homogêneos + um grande estudo que sozinho mostrava o Dabigatran como causador de infarto. O resultado final da meta-análise foi dirigido por este grande estudo que tinha mais peso na estimativa sumária. Ou seja, aquilo não foi exatamente uma meta-análise, mas sim a repetição do resultado de um grande estudo. Não foi uma boa situação para compilar os dados, pois havia muita heterogeneidade.
Mas se a decisão for por compilar dados heterogêneos, deve se utilizar um método estatístico que previne excessiva influência do estudo que distoa da maioria. É o modelo randômico (random-effect), o qual reduz o peso de estudos que distoam, mesmo que estes sejam estudos maiores. No entanto, na meta-análise do Dabigatran os autores não usaram este método. Eles usaram erradamente o modelo fixo (fixed-effect), o mesmo que foi usado (corretamente) na meta-análise da presente postagem. Resumindo, quando há heterogeneidade, deve ser usado o modelo randômico e quando não há heterogeneidade, deve-se usar o modelo fixo. Assim fica explicado o uso adequado do método estatístico.
Voltando à meta-análise do Dabigaran, quando recalculamos a estimativa sumária pelo método randômico, a associação de Dabigatran com infarto desapareceu. Na época, em co-autoria com Antônio Alberto Lopes, publicamos esse novo cálculo neste Blog e posteriormente no JAMA Internal Medicine.
Outra questão que devemos observar é que estamos aqui com uma meta-análise de grandes estudos. Isso representa um nível de evidência melhor do que meta-análises de pequenos estudos, que geralmente são realizadas antes da publicação de um grande ensaio clínico. Neste segundo caso, há uma probabilidade de 30% do resultado da meta-análise estar errada, de acordo com um artigo que comparou estes resultados com os ensaios clínicos grandes que surgiram posteriormente. Enquanto uma revisão sistemática de grandes estudos de fase III representa uma forte evidência, uma revisão sistemática de pequenos estudos deve ser vista como geradora de hipóteses.
Por fim, a qualidade da conclusão da meta-análise depende da qualidade metodológica dos estudos individuais. No presente caso, temos uma revisão apenas de ensaios clínicos randomizados, de boa qualidade, incluindo o Syntax e o FREEDOM, ambos discutidos previamente neste Blog.
Meta-análise: Análise de Sensibilidade
Por fim, aproveitaremos esta meta-análise para abordar um terceiro aspecto metodológico, que é a análise de sensibilidade. Essa análise avalia o quanto sensível é o resultado a certas características dos estudos. É uma análise de subgrupo, mas não subgrupo de pacientes, mas subgrupo de estudos, divididos de acordo com certas características. Vejam na tabela abaixo, que os estudos são divididos naqueles que só incluíram diabéticos ou incluíram qualquer tipo de paciente. Valor de P da heterogeneidade entre os dois grupos = 0.80, mostrando que o resultado é o mesmo em estudo de diabéticos ou em estudo que incluem diabéticos e não diabéticos. Na postagem do FREEDOM, argumentamos que o resultado a favor da cirurgia provavalmente não se limitava a diabéticos, que foram os pacientes incluídos neste estudo. Pelo princípio da complacência, o resultado seria o mesmo em um não diabético que tivesse a mesma gravidade angiográfica. Na verdade, incluir diabéticos foi apenas uma forma de selecionar pacientes graves angiograficamente. O FREEDOM ia além do FREEDOM, e essa nossa visão ficou confirmada pela análise de sensibilidade aqui presente. Além disso, os autores fizeram análise de sensibilidade em relação ao tipo de stent e mostraram que não importa, o resultado é o mesmo.
Análise de sensibilidade é a análise de subgrupo de meta-análises.
Desta forma, revisamos três aspectos da meta-análises: análise de heterogeneidade, estimativa sumária (diamante) e análise de sensibilidade.
Após esta breve revisão, vamos ao raciocínio clínico.
Cirurgia versus Angioplastia: A Decisão
Fato baseado em evidências: cirurgia é melhor que angioplastia na redução de mortalidade, infarto e controle de sintomas. O que isso quer dizer na prática clínica? Cirurgia será sempre a melhor escolha? Este é um bom exemplo para demonstrar que medicina baseada em evidência não é copiar a conclusão de um trabalho científico (cirurgia em todos). O processo mental deve partir do conhecimento científico (qual o melhor tratamento, o quanto este é melhor, qual o “preço” a ser pago pelo melhor tratamento), que será o norte de nosso raciocínio. A partir daí, vamos avaliar as particularidades do paciente e julgar se este é o paciente que devemos pagar o “preço” de um tratamento mais agressivo para desfrutar de sua superioridade. Muitas variáveis devem influenciar nessa decisão.
Em primeiro lugar, devemos avaliar a magnitude do benefício a ser desfrutado. Para isto, precisamos partir do geral ao específico. A estimativa sumária do risco relativo da cirurgia para mortalidade é 0.73, o que implica em 27% de redução relativa do risco. Sabemos que a redução relativa obtida com tratamentos em geral tende a ser constante em diferentes tipos de pacientes. Porém, esta mesma redução relativa de 27% resultará em grande redução absoluta em um paciente de alto risco ou uma pequena redução em um paciente de baixo risco. Se a mortalidade do paciente é 20% sem cirurgia, redução de 27% equivale a 5% de redução absoluta (NNT = 20, grande impacto); mas se a mortalidade do paciente for estimada em 5%, redução de 27% equivale a apenas 1.4% de redução (NNT = 71, pequeno impacto) - redução absoluta do risco = redução relativa x risco basal do paciente. Os trabalhos normalmente descrevem o risco relativo, pois este tende a ser constante em diferentes populações, tem boa validade externa. Mas o verdadeiro impacto na vida do paciente é a redução absoluta do risco, a qual varia com seu risco basal. Para um paciente pouco grave, o benefício deste tratamento mais agressivo é pífio, não vale a pena. Exatamente por isso que os trabalhos selecionaram pacientes mais graves, quase sempre triarteriais. Neste grupo de pacientes, o NNT da cirurgia foi 37. São nesses que a cirurgia pode valer pena.
(Para revisão dos conceitos abordados nos parágrafos acima, sugiro as postagens "Pensamento Relativo" e "A Magia do NNT").
Neste momento entra a segunda questão. O “preço” que será pago por este benefício. Imaginem um muito idoso, estável, de alto risco cirúrgico. Este terá uma cirurgia muito sofrida, com risco de complicações e até sequelas. Mesmo que venha a reduzir sua mortalidade, deve-se avaliar se queremos pagar esse preço com um procedimento de tamanha agressividade. Sim, nem sempre queremos pagar o “preço” da redução de mortalidade. Sabem porque? Porque saber que cirurgia reduz mortalidade não é significa salvar a vida de todo paciente cirúrgico e deixar morrer todo paciente com angioplastia. Não é algo dicotômico assim. Como explicamos na postagem do NNT, precisaremos tratar com cirurgia um grande número de pacientes para que 1 deles tenha a vida salva por ter feito cirurgia ao invés de angioplastia. Se NNT da cirurgia versus angioplastia para prevenir uma morte é 37 (grande impacto), isto quer dizer que 36 de 37 pacientes não se beneficiarão desta redução de morte, mas pagarão o “preço” da cirurgia.
Desta forma, medicina baseada em evidência não é seguir sempre o resultado de um ensaio clínico. Devemos computar o quanto a cirurgia é melhor e saber caso a caso se vale a pena pagar o “preço” da cirrugia. Em pacientes de baixo risco cirúrgico, vale a pena, mas na medida em que o risco cirúrgico vai aumentando, essa convicção pela cirurgia vai diminuindo. Nesta análise entram variáveis do risco basal, do risco cirúrgico e também as preferências, os valores de nosso paciente. É algo complexo, que mistura o pensamento lógico com o pensamento intuitivo. No final do processo o lado direito do cérebro (intuitivo) deve contribuir com o lado esquerdo (racional). É a união da arte médica com a evidência científica, cada um como sua função específica.
É comum o equívoco de que medicina baseada em evidências representa uma tirania de seguir sempre o resultado de um estudo. Daí quando o resultado vai de encontro a certos interesses (ou entusiasmos), alguns começam a combater bons estudos com argumentos pífios. Mas este é o argumento errado. O argumento certo a favor da angioplastia não é aquela balela de sempre: críticas à amostra estudada, crítica ao stent utilizado, etc. O argumento certo a favor da angioplastia (a despeito da cirurgia ser melhor) é o raciocínio que pondera a magnitude do benefício desfrutado com a cirurgia e o “preço” a ser pago por este procedimento mais agressivo. A grande vantagem da angioplastia é sua “simplicidade”. Por vezes queremos desfrutar desta vantagem.
Por fim, devemos lembrar que para redução de morte ou infarto, angioplastia não é melhor que tratamento clínico. Portanto, na ausência de escolha pela cirurgia, o tratamento clínico torna-se uma opção bastante razoável. A presença de sintomas significativos ou instabilidade do paciente tende à escolha da intervenção percutânea, do contrário, tratamento clínico é uma boa opção.
O melhor dessa postagem para mim foi nos lembrar de que raciocinar com base em evidências científicas não é um ato mecânico, é quase uma arte mesmo, aliar a intuição e a lógica, unir o Yin e o Yang. Texto admirável, excelente para sair desse ritmo carnavalesco!
ResponderExcluirMASS e ARTS misturado com FREEDOM e SYNTAX. Bota heterogenicidade nisso...
ResponderExcluirParabéns Luís, excelente texto e ótima reflexão imparcial a cerca da aplicabilidade prática da medicina baseada em evidências. Aguinaldo Freitas Jr, Goiânia - GO.
ResponderExcluirMeu caro Luis Claudio. Parabéns. É sempre bom ler seus textos. Muito se aprende e, nesse caso em especial, as informações sobre heterogeneidade são de muito valor para a inundação de metanalises na praça científica atual. Algumas, eu chamo de MATAanálises, exatamente porque jogam no mesmo cesto bananas e laranjas e a heterogeneidade é alta. abs Amelio
ResponderExcluirA análise de heterogeneidade disseca, obviamente, a heterogeneidade estatística do efeito de cada terapia. Cabe ao leitor perceber se os estudos primários de uma meta análise são homogêneos entre si, levando em consideração por exemplo critérios de inclusão/exclusão, definição de cada desfecho, etc. Ou seja, apesar do nome, a análise de heterogeneidade não é uma verdade absoluta. 2 estudos com definições de desfechos diferentes em populações diferentes podem demonstrar um mesmo efeito favorecendo uma terapia, com I2=0% porém com heterogeneidade clínica em relação às definições dos desfechos, etc. Ou seja, sempre cabe a interpretação clínica.
ResponderExcluir"A p value is no substitute for a brain"
Parabéns...
ResponderExcluirDestaque para o primeiro parágrafo.
ResponderExcluirQualquer estudo aberto (não cego por razões éticas), ou metanalise derivada dele peca pelo fato do conhecimento do procedimento principal pelo paciente e equipe médica. O estresse cirúrgico e pós-cirúrgico sofrido pelo paciente com certeza influenciará mais na adoção de medidas de redução do risco cardiovascular (fumo, sedentarismo, adesão ao tratamento, etc).
ResponderExcluir