Na semana passada Franz Messerli publicou
New England Journal of Medicine um
intrigante trabalho demonstrando que quanto maior o consumo de chocolate de uma
nação, maior o número de prêmios Nobel conquistados pela nação.
A figura acima representa esta análise.
Primeiro, vamos aproveitar para revisar como interpretar uma análise de
correlação.
Associação
1)
Este
é um gráfico de correlação, ou seja,
mostra associação linear entre duas
variáveis numéricas. A variável preditora (eixo x) é o consumo de chocolate
anual per capita. A variável de desfecho (eixo y) é o número de prêmios Nobel a
cada 10 milhões de pessoas no país.
2)
O
coeficiente de regressão (b) do consumo de chocolate foi
de 2.5, indicando que o cada 1.0 Kg de consumo per capita, a nação conquista 2.5
prêmios Nobel. Mostra o grau de influência do chocolate nos prêmios.
3)
O
coeficiente de correlação (r) foi de
0.79. Este mostra a força de associação linear, quanto mais próximo de 1, mais
forte é a associação. Neste caso, podemos interpretar como associação moderada
a forte.
4)
Se
elevarmos o r ao quadrado, obteremos o coeficiente
de determinação (R2 = 0.62), que representa o quanto das
conquistas de prêmios Nobel pode ser explicado pelo consumo de
chocolate. Neste caso, 62% dos prêmios podem ser explicados pelo consumo de
chocolate.
5)
O
valor de P desta associação foi < 0.0001, indicando que é muito pequena a
probabilidade destes achados serem devido ao acaso.
Observem que do ponto de vista
estatístico, a análise é bastante convincente. De fato, há uma verdadeira
associação linear entre chocolate per capita e prêmio Nobel a cada 10 milhões de pessoas.
Em segundo lugar, devemos nos perguntar
se esta associação ocorre porque o consumo de chocolate provoca conquistas de
prêmios Nobel.
Causalidade
Quando a análise chega neste ponto, o
pensamento deixa de ser estatístico e passa a ser baseado na lógica da
causalidade. Neste caso, devemos analisar os critérios de causalidade. Em 1965, Sir Austin
Bradford Hill,
professor Emérito de Bioestatística da Universidade de Londres publicou o
artigo “The Environment and Disease: Association or Causation?” na
revista Proceedings of the Royal Society of Medicine (58:295-30), onde ele
explica 9 critérios que devem ser analisados para avaliar se uma associação é
causal. Este se tornaram conhecidos como Critérios
de Hill. Nesta postagem citarei os 5 critérios mais importantes.
1)
Força e independência da associação: diz-se que
quanto mais forte é uma associação, mas provável esta ser causal. Uma
associação muito forte tem menos possibilidade de ser mediada por fator de
confusão. Isto porque se uma associação forte é mediada por um fator de
confusão, este fator ficará muito aparente.
Além da força da associação, esta deve ser independente de fatores de confusão.
Mas o que é
mesmo fator de confusão? É uma
terceira variável que intermedia a relação entre a exposição (chocolate) e o
desfecho (prêmios Nobel), porém essa
mediação não faz parte de uma seqüência causal, ou seja, não é o chocolate
levando a alguma coisa que por sua
vez provoca a conquista dos prêmios. Na verdade, essa variável (fator de confusão)
seria associada a chocolate e associada aos prêmios, porém essas duas associações
seriam desconectadas. Sendo assim,
de maneira artificial, o fator de confusão promoveria uma associação não causal
entre a exposição e o desfecho.
Esse pode ser o caso em questão. Pode ser que o consumo de chocolate esteja associado ao nível sócio-econômico do país. Por sua vez, o nível sócio-econômico está associado a melhor educação e investimento em pesquisa, predispondo ao ganho de prêmios Nobel. Observem que esse link não é causal, pois não é o consumo de chocolate que melhora do nível sócio-econômico, para que este promova os prêmios. Neste caso, o nível sócio-econômico pode ser o fator de confusão desta análise.
Esse pode ser o caso em questão. Pode ser que o consumo de chocolate esteja associado ao nível sócio-econômico do país. Por sua vez, o nível sócio-econômico está associado a melhor educação e investimento em pesquisa, predispondo ao ganho de prêmios Nobel. Observem que esse link não é causal, pois não é o consumo de chocolate que melhora do nível sócio-econômico, para que este promova os prêmios. Neste caso, o nível sócio-econômico pode ser o fator de confusão desta análise.
Mas como
podemos saber se a associação é ou não mediada por este fator de confusão? Precisaríamos fazer uma análise multivariada,
onde colocamos chocolate, nível sócio-econômico e prêmios Nobel no mesmo modelo
estatístico, e verificamos se a associação entre chocolate e prêmio independe
do nível sócio-econômico. Se for independente, sugere causalidade (mas não garante). Essa análise não está presente no estudo,
portanto está faltando um critério essencial para se demonstrar causalidade.
Portanto, força
de associação fala a favor de causalidade, mas não é uma condição necessária.
Já independência da associação é uma condição necessária para causalidade,
porém não suficiente. Outros critérios devem ser obedecidos.
2) Plausibilidade: além
de existir uma associação independente, deve haver uma razão lógica para que a
variável preditora esteja causando o desfecho. Por exemplo, colesterol
possui associação independente com infarto e há plausibilidade para se
acreditar que esta relação é causal. Claro, é provavelmente o acúmulo do
colesterol na parede do vaso que faz surgir a placa aterosclerótica, que será
responsável pelo infarto.
Por
outro lado, há muitas associações que carecem de lógica causal.
Acreditar
que consumir chocolate promove um aumento da função cognitiva capaz de
influenciar na produção de prêmios Nobel, com esta força de associação, é
querer demais. Portanto, não há plausibilidade biológica para tal, até porque
se isso fosse verdade chocólatras seriam evidentes gênios e podemos perceber exemplos contrários à nossa volta. Sendo assim, a conclusão do trabalho carece do segundo
critério, o de plausibilidade.
3) Temporalidade:
para que consideremos uma relação causal, o desenho do estudo deve nos garantir
que a exposição veio antes do desfecho, pois a causa deve vir antes da
conseqüência. Isso é o que ocorre em estudos de coorte prospectiva. Por
exemplo, a coorte de Framingham demonstrou que níveis elevados de colesterol medidos
no início do estudo (quando ninguém tinha tido o desfecho) se associaram à
ocorrência do desfecho infarto ao longo do seguimento de longo prazo.
Porém
isso não ocorre com nosso estudo do chocolate. As duas informações (consumo e
Nobel) foram colhidas no mesmo momento. Pode ser até que o padrão de consumo
maior de chocolate tenha surgido depois das conquistas de prêmios Nobel, se
tornando impossível que aquele seja o causador dos Nobel. Na ausência dos
critérios de temporalidade, pode existir o fenômeno de causalidade reversa: o ganho dos prêmios Nobel induzindo a uma
maior consumo de chocolate – embora isso também careça de plausibilidade.
Portanto,
este é mais um critério de causalidade que está ausente no trabalho.
4) Gradiente Dose-resposta:
quanto maior o nível do preditor, maior a intensidade do desfecho. Esta é uma
relação que se observa nesse estudo, visto que há demonstração de correlação
positiva.
5) Reversibilidade
Experimental: este é o critério que representa a validação
final de uma relação causal, e deve ser proveniente de ensaios clínicos
randomizados. Significa que ao controlar o preditor em um experimento
controlado (ensaio clínico), o desfecho reduz. Isso ocorre no caso do colesterol. Ensaios clínicos randomizados indicam que na medida em que
estatinas reduzem o colesterol, o risco de infarto diminui. Isso valida o colesterol como causador da doença coronária.
Se
acreditamos que chocolate promove aumento da função cognitiva a ponto de gerar
mais prêmios Nobels, ao reduzir o chocolate de uma nação, seus prêmios iriam
reduzir ao longo do tempo. Não é esse tipo de evidência que se faz presente
neste estudo, que é puramente observacional.
Há
casos de variáveis que não fecham o ciclo de validação como fatores de risco,
visto que seu controle não promove redução de risco. O caso mais recente é o do
HDL-colesterol baixo, cujas drogas que promovem aumento em sua concentração não
resultam em benefício clínico. É bem provável que este não seja um fator de
risco, apenas seja uma marcador de risco.
Na
recente década de 90 acreditava-se que infecção na placa aterosclerótica
agravava a doença coronária. Porém, o uso de antibióticos em ensaios clínicos não
modificou a incidência de desfechos coronários (versus placebo), fazendo cair
por terra a hipótese infecciosa.
Sendo assim, uma breve análise dos
critérios de causalidade nos sugerem que este trabalho está longe de provar uma
associação causal entre consumo de chocolate e conquistas de um prêmio Nobel.
Na verdade, o trabalho não passa de um brincadeira do autor que usou esta correlação
para chamar a atenção de que associação e causalidade não são a mesma coisa.
Uma brincadeira tão inteligente que resultou em um artigo no New England Journal of Medicine.
A Verdade
Por que o gráfico mostra que países como Noruega, Áustria, Dinamarca, Finlândia possuem um desempenho científico muito melhor do que os Estados Unidos? Tem algo errado, pois sabemos que os Estados Unidos são o país de maior produção científica do mundo. O erro está em ajustar o número de prêmios Nobel para cada 10 milhões de habitantes, pois a grande maioria destes habitantes não são cientistas e não estão contribuindo nada com isso. Os Estados Unidos são os que possuem a maior população e a maioria de qualquer população não é cientista. Como a população fica no denominador da fração, isso reduz o índice de prêmios Nobel dos Estados Unidos. O correto seria ajustar o número de prêmios para o número de cientistas do país e não para a população geral. Ao fazer errado, a medida de premiação beneficiou países pequenos da Europa, que coincidentemente consomem muito chocolate. Tudo não passa de um viés de análise de dados.
A Verdade
Por que o gráfico mostra que países como Noruega, Áustria, Dinamarca, Finlândia possuem um desempenho científico muito melhor do que os Estados Unidos? Tem algo errado, pois sabemos que os Estados Unidos são o país de maior produção científica do mundo. O erro está em ajustar o número de prêmios Nobel para cada 10 milhões de habitantes, pois a grande maioria destes habitantes não são cientistas e não estão contribuindo nada com isso. Os Estados Unidos são os que possuem a maior população e a maioria de qualquer população não é cientista. Como a população fica no denominador da fração, isso reduz o índice de prêmios Nobel dos Estados Unidos. O correto seria ajustar o número de prêmios para o número de cientistas do país e não para a população geral. Ao fazer errado, a medida de premiação beneficiou países pequenos da Europa, que coincidentemente consomem muito chocolate. Tudo não passa de um viés de análise de dados.
Adorei. Estava esperando um post sobre casualidade e seus critérios.
ResponderExcluirLuís , outro fator de pode ser a qualidade do chocolate, rsrsr
Os países considerados produtores dos melhores chocolates estão na frente dos prêmios.
Mais um postagem sensacional aqui no blog! O livro será lançado quando ?
ResponderExcluirO cômico (ou trágico) é quando meios de comunicação de massa resolve interpretar a brincadeira séria feita por Franz Messerli sobre os "confounders". Muitos jornais de "respeito" interpretaram a informação ao pé da letra. Eu costumava brincar sobre a associação entre o tamanho do pé de crianças e o conhecimento de matemática, associação positiva muito forte, ou seja, quanto maior o tamanho do pé das crianças, maior é o conhecimento de matemática. Relação não-causal mediada pelo crescimento das crianças...
ResponderExcluirNão sei como a impressa "séria", ou melhor, meios de comunicação (influência) de massa nunca recomendaram que as pessoas se candidatassem para brincadeira séria de Smith e Pell (Parachute use to prevent death and major trauma related to gravitational challenge: systematic review of randomised controlled trials. BMJ. 2003; 327(7429): 1459–1461.)?!?!?!
Excelente análise, bem no padrão deste blog.
ResponderExcluirEsqueci de adicionar no meu comentário anterior que tenho dúvida sobre um aspecto do comentário de Luis Claudio:
ResponderExcluir"O erro está em ajustar o número de prêmios Nobel para cada 10 milhões de habitantes, ... O correto seria ajustar o número de prêmios para o número de cientistas do país e não para a população geral."
O efeito do chocolate poderia ser em "estimular" a vocação científica na população. Neste caso, a freqüência de cientistas na população corrigiria a impossibilidade dos países pequenos terem um grande número de cientistas.
Belo post !
ResponderExcluirAcabei de lembrar de um recente estudo que tentou ligar GMO(Genetically modified organism) e desenvolvimento de cancer em camundongos. O Estudo apresentou resultados de alta correlação, mas esqueceu de fazer esses passos que você citou neste post. Além de outros tantos fatores de confusão no estudo, um dos mais graves era justamente a ausência do gráfico dose/resposta. Isso demonstra a falta de conhecimento dessas ferramentas básicas pelos cientistas e como é importante relembrar que correlação não é causa.
Como disse Popper: Temos que tentar falsificar nossos achados e não tentar justifica-lós ...
Bela postagem! Procurei encaminhar para algus jornalistas dedicados à saúde que conheço, pois seria fundamental que tivessem estas noções muito sólidas antes de sair propagando informação em saúde.
ResponderExcluirÉ .... perdi o argumento que usava em casa para justificar minha paixão por chocolates... rs...rs...rs...
ResponderExcluirRodrigo Caldas Novas/GO
Fiquei muito surpresa quando vi esse artigo no NEJM: com escândalos recentes sobre resultados falsificados e nitidez da influência da indústria farmacêutica nas publicações, esse artigo foi mais uma constatação de como a qualidade das publicações está caindo ... o que dá mais medo é que isso aconteça também nos journals de mais renome!
ResponderExcluirDe qualquer forma, excelente post! Aprendi bastante! :)