O verdadeiro sentido de um “estudo negativo”

Voltando à nossa série de postagens sobre a “arte de ler um artigo científico”, iniciaremos a discussão de como interpretar um “estudo negativo”. Mas antes de abordar o julgamento da veracidade deste tipo de estudo (próximo post), precisamos discutir o que significa um estudo negativo. Essa discussão é quase filosófica. 

Neste contexto, “negativo” não quer dizer ruim, nem que foi demonstrado um efeito deletério de uma conduta médica. “Negativo” significa que o estudo não conseguiu comprovar a existência de um fenômeno. Mas aqui vai a ideia central: na verdade, não existe estudo negativo. 

Não existe estudo negativo, pois um estudo não é planejado para negar a veracidade de uma ideia. Por dois motivos: (1) negar existência é impossível; (2) seria inútil negar existência.

Primeiro, nenhum experimento é capaz de negar a possibilidade de existência. Em analogia, há sempre possibilidade de que algo seja menor do que a potência da lente do microscópio; ou esteja além da lente do telescópio; ou tenha aparecido em um momento anterior ou posterior à observação realizada. Por exemplo, é impossível provar que disco voador não existe. Simplesmente, a gente ainda pode não ter conseguido detectar sua existência. 

Sendo impossível provar inexistência, o ônus da prova está da existência de um fenômeno, dando origem ao princípio da hipótese nula: partimos da premissa da inexistência e ficaremos com esse pensamento até que alguma evidência comprove existência, rejeitando a nulidade. 

Partindo da premissa inicial de inexistência, o ônus da prova está na existência.

Segundo, diante da teoria da hipótese nula, negar existência é inútil, pois já partimos da inexistência. Um estudo é necessário para rejeitar a hipótese nula e evoluir para o conhecimento de que algo existe. 

A nulidade não precisa ser comprovada, apenas precisa ser rejeitada. 

Não há motivo em “acreditar” em disco voador se isto não está comprovado. Eu pessoalmente, pouco me importo com isso. Simplesmente, não sei. A gente precisa se importar menos com o que não está comprovado. Portanto, estudos não são desenhados para provar que algo não existe. 

Um estudo negativo é um estudo desenhado para ser positivo, mas que não conseguiu ser positivo. 

Quando um estudo de resultado negativo contraria a crença ou conduta vigente, entusiastas da crença ou conduta costumam criticar o estudo negativo como se este fosse um estudo limitado para provar a ausência: “este estudo não é suficiente para provar que tal tratamento não funciona”. Este tipo de argumentação carece da percepção de que um estudo é desenhado para provar a existência do fenômeno. Apesar deste desenho, o estudo negativo não conseguiu provar. 

Cuidado com a inversão do ônus da prova. 

Do ponto de vista científico, é um erro (teórico e pragmático) propor um estudo no intuito de provar que algo não existe ou algo não funciona. Isto ocorreu recentemente, quando oncologistas, sabendo que a eficácia da fosfoetanolamina não fazia sentido, propuseram um estudo para confirmar que aquilo não passava de uma falácia. O estudo foi negativo,  claro. No entanto, entusiastas da fosfoetanolamina argumentaram que aquele estudo não era suficiente para provar que a droga não funcionava. Tinham razão … não pode haver prova que não funciona. Este é um exemplo de estudo inútil pois nunca conseguirá provar uma inexistência que não precisa ser provada.

Oncologistas, com um intuito válido de combater anti-ciência, se propuseram a algo impossível: provar inexistência. Apesar da boa intenção científica, caíram na própria armadilha.

Não se pode dizer que um estudo “demonstrou ausência de benefício”. O correto é dizer que o estudo não demostrou benefício. 

Cuidado com a semântica. 

Ontem eu explicava a importância da postura cética em respeito à hipótese nula, quando um perspicaz aluno me interrompeu e questionou: “professor, como nós estudantes, ainda sem grande experiência, podemos contestar um médico experiente que implementa uma conduta sem comprovação científica.” A pergunta vai ao cerne da questão e me permitiu o insight: “não cabe a vocês provar que a conduta implementada não funciona, cabe ao médico demonstrar que a conduta funciona.” Repetindo, o ônus da prova está na demonstração de benefício. Desta forma, sugeri aos meus alunos que apenas questionem: “professor, qual o embasamento científico desta conduta.” Meus alunos não precisam provar que o preceptor está errado. O preceptor que precisa provar que está correto. 

A responsabilidade do argumento está em quem defende a conduta. 

Esta discussão é essencial para a interpretação adequada de um estudo negativo: a existência do fenômeno não foi comprovada. Um bom estudo é desenhado para ter sensibilidade e especificidade da detecção do fenômeno. A especificidade depende do método científico que previne contra erro aleatório tipo I (afirmar casualmente o falso) e vieses de positividade. A sensibilidade é obtida pelo recrutamento de amostra populacional de tamanho ideal (previne erro tipo II - deixar de afirmar casualmente o verdadeiro), característica ideal, dose ideal, competência ideal dos profissionais, monitoramento da correta aplicação da conduta. Tudo isso melhor do que ocorre no mundo real. 

Sendo assim, quando um bom estudo não consegue provar um conceito, a probabilidade deste conceito ser verdadeiro se reduz. E os estudos negativos vão diminuindo a probabilidade até um ponto em que se julga que não vale mais a pena insistir na comprovação da hipótese. Servem para nos fazer desistir de comprovar uma ideia, o que não é o mesmo de provar inexistência.

Em conclusão, na análise de um artigo negativo, será inadequado concluir que aquele trabalho é insuficiente para provar inexistência.  A interpretação correta é que o trabalho não conseguiu provar existência. A utilidade deste trabalho reside na redução da probabilidade da ideia vir a ser comprovada no futuro. O impacto na redução da probabilidade é proporcional à qualidade do estudos. Isto abre caminho para nossa próxima postagem da "arte de ler um artigo científico": como analisar a qualidade metodológica de um estudo negativo?

---------------------------------------------------------------------------------

Acesse nosso Curso Online de MBE, clicando aqui.