domingo, 7 de agosto de 2022

Validade Externa: um conceito mal compreendido



Terminarei este texto com a seguinte frase: o conceito de validade externa diz mais respeito à nossa capacidade de pensar do que à procura de uma confirmação empírica. 

O conceito de validade externa pode ser considerado essencial “ferramenta” epidemiológica para o raciocínio clínico. No entanto, o uso inadequado desta ferramenta pode limitar o aproveitamento de boas evidências científicas na tomada de decisão.

No julgamento a respeito da aplicação de evidências internas a uma população externa, sugiro três ajustes conceituais: primeiro, não considerar eficácia e efetividade duas versões do mesmo conceito; segundo, entender que o conceito de validade externa não se aplica a medidas aditivas de associação; por fim, com base no "mediador" da eficácia, identificar situações de maior risco para "modificação de efeito" que pode promover perda de validade externa.



Eficácia e Efetividade


É essencial definir a inferência de interesse e mantê-la tanto para validade interna quanto externa. Epidemiologicamente, a validade interna refere-se à população-alvo de um estudo, enquanto a validade externa refere-se à aplicação do conceito a uma população diferente. Nesse processo de transição, a validade externa deve estar relacionada ao mesmo conceito avaliado internamente. Primariamente, este é o conceito biológico de eficácia. Diferentemente, efetividade é um conceito relacionado à implementação.


Um bom exemplo científico se trata do comum questionamento a psicólogo Daniel Kahneman sobre a validade externa de suas revolucionárias descobertas em laboratório sobre vieses cognitivos nos processos de julgamento frente a incerteza. Ele geralmente sorri e pacientemente dá a entender que suas inferências são conceituais, sobre características intrínsecas da mente humana. Para que conceitos sejam generalizáveis, estes precisam ser verdadeiros, portanto devem advir de observações não enviesadas, provenientes de estudos bem controlados. Como o conceito verdadeiro vai interagir com diferentes ambientes ou culturas trata-se de uma segunda questão (veja no minuto 54 desta entrevista).


Assim, ao pensar na validade externa do efeito biológico de um tratamento, devemos deixar de lado a efetividade. Voltarei a efetividade no final deste texto, sugerindo como usá-la corretamente.



Redução de Risco Absoluto


Nunca use a variação de redução de risco absoluto (RAR) para inferir um problema de validade externa. O conceito de validade externa não é aplicável a medidas aditivas de associação sobre um evento dicotômico, pois a redução do risco absoluto NUNCA será a mesma entre populações de risco basal diferente. Um simples cálculo matemático comprova minha afirmação: a redução do risco absoluto é o produto do risco absoluto pela redução relativa do risco (RRR). Se o risco na linha de base mudar, a redução absoluta mudará. Não são necessários dados empíricos para comprovar variação da redução do risco absoluto.


Portanto, redução de risco absoluto não é um conceito científico e não deve ser usado em inferência causal. Ao contrário, é um conceito clínico a ser utilizado pelo médico que aplica seu conhecimento científico em cada paciente, personalizando o efeito final com base no risco individual. 


Efeito Clínico (RAR) = Efeito Conceitual (RRR) + Individualidade Clínica (risco basal)


Da mesma forma, um profissional de saúde pública deve individualizar o impacto de uma medida com base no risco populacional.


Efeito Populacional = Efeito Conceitual + Carga de Doença na População



Validade externa


Até agora, estabelecemos que devemos avaliar a validade externa da eficácia (evitar efetividade neste momento) e devemos usar o conceito de redução de risco relativo (evitar redução absoluta para inferência causal). Agora, temos que pensar o que leva à falta de validade externa do conceito de redução de risco relativo. 


A variação da redução relativa do risco de acordo com a população ocorre quando há interação (modificação do efeito) com a característica que define a população: uma mudança na característica da população (de homens para mulheres, brancos para negros, região geográfica, etiologia da doença, gravidade da doença) promove mudança na eficácia do tratamento?


A boa notícia (ver análises de subgrupos de ensaios clínicos) é que a interação biológica não é um fenômeno frequente. Na verdade, a interação qualitativa (perda ou inversão de efeito) é rara.


Pense nisso: com exceção dos anticoncepcionais, todas as intervenções farmacológicas funcionam tanto em mulheres quanto em homens. O tratamento da insuficiência cardíaca como a inibição da ECA funciona independentemente da etiologia da disfunção sistólica. Surpreendentemente, a redução de 25% do risco relativo da terapia com estatina é a mesma para diferentes níveis de risco cardiovascular. 


Essa tendência afortunada da natureza nos permite utilizar adequadamente a evidência indireta. Por exemplo, eu prescrevo inibidor da ECA para um paciente chagásico com disfunção sistólica, apesar de não haver evidência direta de eficácia para essa infeliz etiologia.


Na realidade, um paciente que atenda aos critérios de inclusão de um ensaio clínico sempre diferirá de alguma forma da característica média da população do estudo. Não há representatividade perfeita. Assim, a validade externa não é tanto um processo empírico, é um processo de raciocínio, no qual avaliamos se há algum motivo para interação. 


Essencialmente, para generalização de um conceito biológico causal, representatividade não é uma condição necessária na maioria das vezesDescobertas sobre fatores de risco para doenças crônicas feitas pelo Nurses Health Study são aplicadas a mulheres em geral, não apenas a enfermeiras. A restrição deste estudo a enfermeiras tem objetivo de melhorar validade interna, pela qualidade das informações obtidas. 


A melhora da validade interna a partir de um protocolo melhor controlado necessariamente não reduz validade externa, pelo contrário, na maioria das vezes melhora validade externa. Pois quanto mais verdadeiro, mais generalizável é um conceito. Validade externa e interna não são conceitos descolados. Na verdade, a validade externa depende primariamente da validade interna. 



Quando a interação é esperada?


No entanto, há exceções em que a eficácia não se sustenta externamente e, entendendo o porquê, podemos identificar  quais populações externas precisarão de validação de eficácia.


Quando uma característica da linha de base tem uma probabilidade razoável de modificar o efeito relativo de uma intervenção (interação)? A resposta depende da análise do mediador.


Para que a interação ocorra, a população externa deve ser definido pelo mediador causal do tratamento.



Intervenção ✒✒ Mediador ✒✒✒ Desfecho


Estatina ✒✒ Redução de Colesterol ✒✒✒ Prevenção de Infarto


Diurético ✒✒ Redução de Pressão Arterial ✒✒✒ Prevenção de AVC



Por exemplo, a terapia com redutora de colesterol com estatina tem a mesma redução de risco relativo para diferentes níveis de risco cardiovascular, pois o risco de base não é o mediador do efeito da estatina. Este risco depende do conjunto dos outros fatores de risco, que independem do colesterol. 


Por outro lado, o efeito da terapia com estatina não é linear de acordo com o valor do colesterol, indicando que o risco relativo muda com o valor basal do colesterol. O mesmo ocorre com tratamento anti-hipertensivo. Um medicamento prescrito para pressão arterial grave terá maior eficácia relativa, em comparação com o mesmo medicamento prescrito para pressão arterial limítrofe.


Por quê? Para a mesma redução relativa do colesterol ou da pressão arterial, haverá uma maior redução absoluta destes mediadores de acordo com seus níveis basais. Esse efeito diferencial na mediação promoverá um efeito relativo diferente no resultado distal (evento clínico).


Um dos melhores exemplos de interação com base na mudança do mediator é terapia de ressincronização em insuficiência cardíaca. Esta causa benefício clínico em pacientes com bloqueio do ramo esquerdo, pois esses são os que têm dissincronia. Porém não funciona em uma população externa de pacientes sem bloqueio de ramo esquerdo: embora eles tenham insuficiência cardíaca, não sofrem o benefício do mediador sincronização, pois eles não tem dessincronia. Óbvio ...


Portanto, se a definição da população externa é baseada no mediador conhecido do tratamento, devemos valorizar a incerteza da validade externa. Por outro lado, se a população externa é definida por não mediadores (gravidade da doença, etiologia, estratos de risco clínico, características demográficas) deve prevalecer a redução do risco relativo deve ser constante.


Portanto, quando estamos raciocinando sobre a utilização ou recomendação de um dado tratamento a um certo tipo de população, não devemos restringir a pergunta PICO da pesquisa científica àquele tipo de população.  Na pesquisa das evidências, devemos estar à procura da inferência causal, enquanto o pensamento de validade externa é um exercício mais mental do que empírico. Este racional precisar ser mais bem compreendido para evitar a caricatura do rigor metodológico, muitas vezes presente em análises burocratizadas de evidências, que se distanciam do pensamento científico. 


Existem dados empíricos que apoiam essa afirmação, embora reconheça que mais esforços meta-científicos devam ser dedicados a uma questão tão importante para a decisão clínica.



Efetividade


Efetividade não é um conceito científico. É um conceito de implementação. Efetividade é o caso extremo de necessidade de representatividade, pois não basta que a população seja semelhante à do estudo. As condições ecológicas precisam ser semelhantes também. Na verdade, estudos de efetividade não servem para comprovar benefício no "mundo real", pois cada mundo tem sua realidade.  Estudos de efetividade são mais úteis para identificar barreiras de implementação. 


A evidência verdadeira de efetividade virá do feedback que obtemos da aplicação, em um processo de tentativa e erro, tando no paradigma clínico, como no paradigma de saúde pública. Portanto, efetividade é uma questão de avaliação situacional post-hoc.


Um bom exemplo são as análises de custo-efetividade, simulações probabilísticas de acordo com a carga clínica e custos locais. Não podemos generalizar um estudo de custo-efetividade, pois estas realidades variam. Quando um estudo de custo-efetividade é realizado como parte de um ensaio clínico, seu resultado representa mais um potencial de custo-efetividade do que uma prova generalizável de eficiência.


Assim, efetividade é um conceito clínico, não científico. Após prescrever um tratamento realmente eficaz, devemos observar o feedback clínico e avaliar se realmente está funcionando. Portanto, efetividade é uma mistura de avaliação a priori e observação post-hoc da consequência de nossa escolha. 



Conclusão


Validade externa não deve ser considerada um problema primordialmente de representatividade. Ao contrário, devemos pensar em generalização como parte essencial da inferência científica. Quando físicos concluíram que a velocidade da luz é constante, eles não a mediram em todas as situações ou ambientes. As medições foram realizadas em ambientes limitados e controlados, e a generalização veio do pensamento.


Cabe ao consumidor das evidências identificar as situações específicas de risco para generalização, o que ocorre quando a população externa é definida por um valor diferente do mediador. Se não for esse o caso, por favor, não confunda generalização com representatividade. 


Portanto, o conceito de validade externa diz mais respeito à nossa capacidade de pensar do que à procura de uma confirmação empírica. 


------------------------------------------------------------------------------------------------------------------------------


Link para Curso Online de MBE, Canal do YouTube, Podcast e Twitter, acessíveis porhttps://linktr.ee/curso_online_mbe

Nenhum comentário:

Postar um comentário