domingo, 18 de fevereiro de 2018

ISCHEMIA Trial: mudança de regra no apagar das luzes


Bom ter amigos bem informados. Hoje recebi de Guilherme Barcellos: “você viu que o ISCHEMIA modificou sua definição do end-point primário para um combinado de 5 desfechos que só faltou redução de espirros?” 

Fui imediatamente do clinicaltrials.gov e percebi que sim, agora o end-point primário estava definido como: “cardiovascular death, nonfatal myocardial infarction, resuscitated cardiac arrest, or hospitalization for unstable angina or heart failure.”

Eu lembrava que o desfecho composto do ISCHEMIA era morte cardiovascular ou infarto. Na página principal do estudo no clinicaltrials.gov não há aviso de que aquilo foi modificado. A primeira vista, tudo normal, se não fosse nosso conhecimento prévio de que o protocolo não era assim. 

O caminho não é simples, mas descobri que podemos encontrar o histórico de mudança: primeiro devemos clicar em “Find Studies” - depois “How to Read a Study Record" - em seguida “Historial Views of Records” - archive site - abre uma aba que você coloca o número do estudo e descobrirá todas as mudanças. Mudaram o desfecho primário do ISCHEMIA em janeiro de 2018. 

Vale salientar que o recrutamento do ISCHEMIA já foi concluído, estando agora em fase de finalização do follow-up. O estudo que se iniciou em 2012 está planejado para ser concluído em dezembro de 2018.

Já discutimos o ISCHEMIA neste Blog, especialmente na postagem do Reflexo óculo-isquêmicoTodo cardiologista sabe do que se trata o ISCHEMIA, um dos estudos mais esperados da presente década. Mas para os não cardiologistas leitores do Blog, lembro que este é um ensaio clínico que randomizou em torno de 5.000 pacientes com doença coronariana estável para revascularização miocárdica ou tratamento clínico. Os estudos prévios (COURAGE é o mais conhecido) foram todos negativos para o desfecho de morte ou infarto. O ISCHEMIA incluiu apenas pacientes com isquemia moderada a severa, sob argumento de que outros estudos poderiam ter sido negativos pois teriam incluído também pacientes com pouca ou nenhuma isquemia miocárdica.

Um dos mais importantes critérios para qualidade de um estudo são as definições a priori. Daí a obrigatoriedade de que ensaios clínico publiquem seus protocolos previamente. Mudanças de protocolo feitas a posteriori reduzem a credibilidade do estudo, é como mudar a regra de um jogo em andamento. A posteriori , mudanças de desfechos do estudo podem decorrer de algum resultado frustrante das análises interinas. E vale lembrar que ISCHEMIA é um estudo adiantado, que já está para terminar.
Análises interinas são muito utilizadas para truncar estudos que dão resultados positivos precocemente, o que temos criticado neste Blog. Mas também podem ser utilizadas para modificar protocolos quando estudos não mostram resultados interessantes. 

Usualmente autores modificam desfechos quando a definição original (morte e infarto) apresenta incidência menor do que a esperada no grupo controle. Quando esta modificação é a de aumentar o tempo de seguimento ou aumentar o número de pacientes, isso incrementa a precisão do estudo, sem tendenciosidade. Porém quando a mudança está no tipo de desfecho, isso reduz o valor preditivo positivo do trabalho (confiabilidade). No tipo de mudança do desfecho primário pode estar a escolha de eventos com maior probabilidade de mostrar um resultado positivo. Uma escolha que pode ser baseada na percepção de que o estudo como desenhado inicialmente viria a ser negativo.

Embora seja uma emenda pior do que o soneto, esta provavelmente será a justificativa que os autores apresentarão para a mudança do protocolo. Implicações interessantes surgem disso.
Primeiro, considerando que essas mudanças de protocolo são feitas quando há uma baixa incidência do desfecho, "morte e infarto" devem ter sido menos frequentes do que o esperado no grupo de tratamento clínico. Portanto, o estudo reforçará o bom prognóstico de pacientes com doença coronária estável, mesmo que estes tenham isquemia significativa (critério de inclusão do estudo). Deverá mostrar um prognóstico melhor do que o ocorrido em estudos prévios que foram utilizados para estimar a incidência destes eventos do ISCHEMIA. Reforçará portanto o tratamento clínico como uma alternativa a ser considerada dentro de um pensamento clínico econômico (não monetário).

Segundo, após esta mudança de protocolo, o ISCHEMIA será certamente positivo. Um dos novos componentes do desfecho primário (e provavelmente o mais frequente) passa a ser “internamento por angina instável”. Angina é sintoma e já está bem demonstrado que angioplastia reduz sintomas. Além disso, internamento é um desfecho “mediado pelo médico”. O médico bem sabe (estudo aberto) se seu paciente foi revascularizado. Cria-se então uma situação com alto risco de viés: a combinação de um estudo aberto e um desfecho “mediado pelo médico”. Esse médico, na melhor das intenções, tem muito mais predisposição a internar seu paciente não revascularizado do que seu paciente revascularizado, quando este se queixar de dor precordial.

Interessante notar que desde o início o desfecho morte do ISCHEMIA era específico (morte cardiovascular). Um detalhe que não só traz subjetividade em um estudo aberto, como não inclui necessariamente mortes decorrentes de complicação dos procedimentos invasivos. Diferentemente, o COURAGE utilizou morte por qualquer causa ou infarto como desfecho primário.

O grande diferencial do ISCHEMIA seria a inclusão apenas de pacientes com isquemia moderada ou severa. Essa foi a justificativa dos autores para a hipótese de que seus resultados poderiam ser positivos, diferentemente de estudos prévios, como o COURAGE. Mas esta não poderá mais ser a justificativa da positividade do ISCHEMIA, pois agora os desfecho primário do ISCHEMIA será diferente do COURAGE. 

Com esta mudança, o resultado do ISCHEMIA passa a ser previsível, não mais uma evidência incremental ao conhecimento atual. No entanto, a depender de quem interprete, essa obscura mudança de protocolo no apagar das luzes certamente “corrigirá” o frustrante resultado do COURAGE. 

_______________________________________________________________________

Comentário do PI do Estudo para Guilherme:

"Dear Guilherme

The trial has adhered to the most rigorous clinical trial standards. Knowing that many trials are underpowered due to lower than projected event rates, the original protocol, approved by an Independent NIH/NHLBI-appointed protocol review committee, pre-specified that if the aggregate event rate was lower than projected that we could convene an independent panel, at a pre-specified time, to advise the trial leadership and NHLBI regarding switching to the pre-specified 5-component endpoint and/or extending recruitment and/or follow-up. This panel was separate from the DSMB so that the recommendation would be made by experts blinded to outcomes by treatment group. For the entire trial duration, each of the 5 components of the endpoint were adjudicated centrally by independent reviewers blinded to treatment group. The aggregate event rate was lower than projected and trial leadership and NHLBI accepted the independent panel recommendation to change the primary endpoint, and extend recruitment and follow-up. This process was a deliberate, considered one, involving the trial Leadership Committee, Steering Committee, NLHBI program staff, statisticians, and independent experts and took nearly a year of planning. It was certainly not done “in the middle of the night.” The original CV death and MI endpoint remains a major secondary endpoint.
We will be publishing the design paper soon, and this will be described in that manuscript.

Thanks for the opportunity to respond.

David

David J. Maron, MD, FACC, FAHA
ISCHEMIA Trial Co-Chair/PI
Stanford University School of Medicine"


Minha resposta a Guilherme:

Guilherme, uma colocação relevante do Maron é que esta mudança havia sido definida a priori (se a incidência do desfecho fosse pequena) e que a decisão foi cega em relação aos grupos de tratamento. De fato, isto acontece com grandes ensaios clínicos, truncamentos, mudanças de desfechos podem ser baseadas em regras pre-definidas. Isto ameniza, mas não resolve a questão. 

Planejar previamente algo que traz mais probabilidade de um resultado positivo, à custa da qualidade do desfecho, mantém constante a credibilidade do estudo? A baixa incidência do desfecho pode decorrer do sucesso do tratamento não intervencionista. Ou seja, a priori se planeja que se os pacientes do estudo evoluirem bem, mudaremos o desfecho. 

Não há nada de ilegal nisso, tudo de acordo com regras. No entanto, cabe à comunidade interpretar esta mudança com base em risco de acaso e viés, e avaliar o significado de um novo desfecho composto de 5 eventos.

_______________________________________________________________________

Conheça nosso curso online de medicina baseada em evidências, clicando aqui.

15 comentários:

  1. Excelente !!
    Ahhh......se houvesse uma "Lava Jato" nessas publicações ......muitos se surpreenderiam.
    Grande abraço Luis !

    ResponderExcluir
  2. Vamos ver o que sai! Desfechos compostos já deixam o leitor de antena ligada. Resta a comunidade científica não reverberar como "verdade".

    Abraços pra você Luís!

    ResponderExcluir
  3. Vamos ver o que sai! Desfechos compostos já deixam o leitor de antena ligada. Resta a comunidade científica não reverberar como "verdade".

    Abraços pra você Luís!

    ResponderExcluir
  4. Luís,,

    Aqui teremos uma profecia autoanunciada...a mudança no desfecho favorecerá provavelmente o grupo da ICP. Talvez o desfecho primário seja positivo pelo redução das internações por angina e por mais pacientes com RCP bem sucedida no grupo ICP. No entanto, há um risco maior: o desfecho primário negativo para ICP, e na análise dos end-points secundários com componentes isolados do desfecho primário favorecendo a ICP; está, se tornar a “trade-mark” do ISCHEMIA.

    Já vimos isto antes no FAME II (estudo que mimetizou o COURAGE com incremento tecnológico da utilização de FFR) que foi truncado e demonstrou, ao contrário do COURAGE, que o end-point primário favoreceu o grupo da intervenção como um redução inverosímil de 86% (ferindo o princípio da moderação), definido como: Composite of Death, MI, and Repeat Revascularization -- 4.3% with PCI + OMT vs. 12.7% with OMT alone, p ≤ 0.001, que na verdade foi dirigido pelos componentes “soft” do composto.

    Veja quando avaliamos os desfechos secundários:

    1) Death--0.2% vs. 0.7%, p = 0.31

    2)MI -- 3.4% vs. 3.2%, p = 0.89

    3) Urgent revascularization --
    1.6% vs. 11.1%, p ≤ .001

    4) Non-urgent revascularization --
    1.6% vs. 8.6%, p ≤ .001

    5) Angina class improvement

    @ 30 days -- 11% vs. 29%, p ≤ .001

    @ 6 months -- 9% vs. 19%, p = 0.002

    @ 12 months -- 2.4% vs. 16%, p = 0.07

    Notando que a melhora da angina após um ano não teve significância.

    Se lembrarmos também do PRAMI, estudo positivo à custa de um desfecho subjetivo de percepção de angina. Resultado que foi negativo num estudo melhor: o PRAMI-SHOCK.

    O ÓRBITA Trial foi muito interessante pelo cegamento e angioplastia placebo; a ICP não foi melhor que angioplastia placebo .

    Minha preocupação será o uso inapropriado de indicação de ICP pelas viúvas do COURAGE. Se analisarmos as indicações inapropriadas em DAC estável é em torno de 50%, sendo em 38% indicações de benefício incerto; e, em 12% em pacientes onde o procedimento deveria ser contraindicado por ser inapropriado (publicação no JAMA sobre Heart Treatment Overused). Tudo isto mesmo após a publicação do COURAGE.

    Estaremos apostos, liberados pela sua lucidez, para nos posicionar em prol da ciência.

    Sigamos!

    ResponderExcluir
  5. Concordo totalmente com voce, o resultado vai dar pro intervenção e vai ser explorado como se fosse a maia cristalina verdade! A necessidade de acrescentar soft end points em pacientes com DAC estavel já fala por si só, e quem tiver visão não vai se deixar enganar.

    ResponderExcluir
  6. O melhor site sobre o assunto em lingua portuguesa

    ResponderExcluir
  7. É possivel que tenha havido pressão do pessoal da cardiologia intervencionista (Não é crífica a niguem em especial). Mas o fato é que o Orbita deixou muita gente enfurecida...

    ResponderExcluir
  8. Luis, abaixo a resposta completa do porque teriam feito isso que eu chamo de "Que tiro foi esse, na ciência?":

    "Dear Guilherme

    The trial has adhered to the most rigorous clinical trial standards. Knowing that many trials are underpowered due to lower than projected event rates, the original protocol, approved by an Independent NIH/NHLBI-appointed protocol review committee, pre-specified that if the aggregate event rate was lower than projected that we could convene an independent panel, at a pre-specified time, to advise the trial leadership and NHLBI regarding switching to the pre-specified 5-component endpoint and/or extending recruitment and/or follow-up. This panel was separate from the DSMB so that the recommendation would be made by experts blinded to outcomes by treatment group. For the entire trial duration, each of the 5 components of the endpoint were adjudicated centrally by independent reviewers blinded to treatment group. The aggregate event rate was lower than projected and trial leadership and NHLBI accepted the independent panel recommendation to change the primary endpoint, and extend recruitment and follow-up. This process was a deliberate, considered one, involving the trial Leadership Committee, Steering Committee, NLHBI program staff, statisticians, and independent experts and took nearly a year of planning. It was certainly not done “in the middle of the night.” The original CV death and MI endpoint remains a major secondary endpoint.
    We will be publishing the design paper soon, and this will be described in that manuscript.

    Thanks for the opportunity to respond.

    David

    David J. Maron, MD, FACC, FAHA
    ISCHEMIA Trial Co-Chair/PI
    Stanford University School of Medicine"

    Ainda fica a dúvida de porque o painel independente não optou por "extending recruitment and/or follow-up".

    Quanto ao cegamento, é informação altamente questionável. Uma baixa taxa de eventos nos dois grupos e ausência de diferença, por mais que a pessoa não consiga saber qual é qual, traz LUZ, não a escuridão típica da cegueira...

    ResponderExcluir
    Respostas
    1. Guilherme, uma colocação relevante do Maron é que esta mudança havia sido definida a priori (se a incidência do desfecho fosse pequena) e que a decisão foi cega em relação aos grupos de tratamento. De fato, isto acontece com grandes ensaios clínicos, truncamentos, mudanças de desfechos podem ser baseadas em regras pre-definidas. Isto ameniza, mas não resolve a questão.

      Planejar previamente algo que traz mais probabilidade de um resultado positivo, à custa da qualidade do desfecho, mantém constante a credibilidade do estudo? A baixa incidência do desfecho pode decorrer do sucesso do tratamento não intervencionista. Ou seja, a priori se planeja que se os pacientes do estudo evoluirem bem, mudaremos o desfecho. Não há nada ilegal no que os autores fizeram, tudo de acordo com regras. No entanto, cabe à comunidade interpretar esta mudança com base em risco de acaso e viés, e avaliar o significado de um novo desfecho composto de 5 eventos.

      Excluir
  9. Me parece um comportamento paranóide achar que os autores de um estudo do NIH estão tentando passar a perna na comunidade médica.

    Não estou entendendo a razão de acharem que o ISCHEMIA foi desenhado buscando ser um estudo positivo. Um resultado positivo em pouco alteraria o que muitos já estão fazendo embasados pela subanálise do COURAGE (evidência fraca, mas isso foge do ponto). É por isso que o governo teve que financiar o projeto. Somente o resultado negativo alteraria significativamente a conduta atual da maioria dos cardiologistas.

    Ainda que óbvia, entra a frase "para se comprovar que uma diferença inexiste, ou seja, evitar erro-beta, é necessário tamanho amostral e tempo de seguimento".

    O estudo terá uma taxa de pacientes randomizados baixa frente ao número potencial de pacientes com o problema - viés inerente de qualquer estudo que envolva randomizar pacientes para procedimentos ou tratamento clínico. Ademais, muitos dos pacientes não entrarão no estudo porque seu médico assistente lhe disse que era muito arriscado, o que também faz parte desse tipo de estudo.

    Logo, os pacientes que efetivamente entraram no ISCHEMIA eram aqueles já "filtrados" e, provavelmente, de menor risco do que a média de pacientes com isquemia moderada.

    Então, seguindo esta linha de raciocínio, o achado de "baixo índice de eventos" era esperado. Tanto era esperado que os autores (que passaram um pouco mais de tempo sobre o protocolo do estudo do que as 1-2 horas de seus críticos) já deixaram no protocolo um dispositivo para alterar o desfecho em caso de isso ocorrer.

    Como o patrocinador é o governo, o estudo não tem financiamento infinito.
    Se chegassem ao fim do estudo com os desfechos anteriores para dizer "bem, não houve diferença, mas não temos tamanho de amostra", creio que teriam que lidar com alguns questionamentos sobre o porquê de um gasto estrondoso para nenhuma resposta.

    ResponderExcluir
    Respostas
    1. O fato do financiamento ser público não impede outros conflitos de interesse, como dos envolvidos, sejam financeiros, sejam não financeiros.

      Excluir
  10. Mais uma ótima postagem, Prof Luis. Obrigado pelo alerta.
    O problema que vejo é eles misturarem desfechos de magnitudes diferentes dentro do desfecho composto. Morte cardiovascular e infarto não fatal são desfechos primordiais, enquanto hospitalização por angina instável ou insuficiência cardíaca são intermediários. Teremos que avaliar, nos resultados, por qual dos desfechos o estudo foi positivo. Como, certamente, será pela hospitalização por angina, cabe a nós julgarmos o quanto isso será importante.
    De qualquer forma, essa mudança no protocolo deixa uma ponta de decepção...

    ResponderExcluir
  11. Prezado Luis, Saudações!

    Mais uma informação muito pertinente no seu blog!

    Independentemente de qualquer análise, ou de quem seja o patrocinador do estudo, considero que "a priori" essa mudança nos endpoints está fadada a introduzir viés importante. Dizendo a verdade, me sinto até "entristecido" com o fato desswa mudança, e em particular com o fato de que - como você apontou - ela não está tão "transparente" como devia!

    É de pensar que houve alguma razão "profunda" para essa alteração. Um estudo como esse, com essa duração e recursos, tem um potencial incrível e sinceramente su da opinião que não deveria ser submetido a este tipo de alteração "durante seu curso".

    Vejamos pois que tipo de análise resultará.

    ResponderExcluir
  12. Conheci recentemente essa iniciativa da EBM DataLab da Universidade de Oxford: http://compare-trials.org/. Tracking constante de mudança de desfechos por ensaios clínicos...

    ResponderExcluir
  13. E assim Karl Popper se revira no caixão?

    ResponderExcluir