O sucesso do Bahia é estatisticamente significante?

Sou Bahia e vibro com a terceira posição do tricolor no Brasileirão. Poderia deixar meu cérebro direito (emoção, paixão) prevalecer, argumentar que nosso time atualmente é um dos melhores e que corremos o risco de sermos campeões mais uma vez. Esse argumento não estaria errado, pois futebol é paixão. Por outro lado, este Blog é científico e serve para exercitarmos o cérebro esquerdo, racional, matemático, realista. Portanto, farei uma abordagem de torcedor estatístico.

Neste contexto, surge a seguinte questão. O Bahia está bem mesmo? Observem que o que temos neste momento não é o campeonato brasileiro inteiro, é apenas uma amostra (uma parte) do campeonato, representado pelas primeiras 10 de um total de 38 rodadas. Isso se assemelha às evidências científicas, que em geral são observação obtidas em amostras populacionais e depois extrapoladas para a população. Quando utilizamos amostras para obter informações a cerca da população, devemos fazer uso da estatística, que serve para quantificar a incerteza a respeito de nossas conclusões amostrais. 

Formulando esse problema sob a forma científica, precisamos testar a hipótese de que o Bahia de 2013 é melhor do que o Bahia de 2012. Ao comparar a posição do Bahia após a décima rodada do campeonato, percebemos que hoje estamos na 3^o posição, muito melhor do que no ano passado, que nesta altura estávamos na (pasmem) 19^o posição. Que diferença gritante!

No entanto, o que percebemos nessa amostra pode ou não ser representativa da realidade do campeonato por inteiro. Quando estamos com uma amostra, existe a possibilidade da diferença entre os campeonatos ter sido obra do acaso e não uma concreta melhora de qualidade do time. Foi apenas sorte do Bahia?

Teste de Hipótese

Vou aproveitar este exemplo futebolístico para explicar como funciona teste de hipótese em estatística. Primeiro, começamos a premissa da hipótese nula, que prima pela inexistência do fenômeno (Bahia está melhor). Daí nos perguntamos: se a hipótese nula for verdadeira (Bahia não está melhor), qual a probabilidade desta diferença entre os dois campeonatos se fazer presente?

Se na presença da hipótese nula, for alta a probabilidade da diferença observada, pode ser que tudo não passe do acaso. Daí não vamos acreditar no fenômeno, vamos ficar com a hipótese nula. Estatisticamente falando, não podemos rejeitar a hipótese nula.

O que a estatística faz é calcular a probabilidade do resultado observado aparecer na vigência da hipótese nula. Essa probabilidade é o valor de P.

Sendo assim, calculei o valor de P da diferença da proporção de vitórias do Bahia nas primeiras 10 rodadas de 2013 versus 2012. Sendo uma diferença de proporção, usei o teste de Fisher, que se adéqua melhor a pequenas amostras (N = 10 jogos). Encontramos o seguinte: o Bahia ganhou 40% dos primeiros 10 jogos em 2013, comparado a 10% de vitórias em 2012, sendo o valor de P = 0.30. Isso significa que há 30% de probabilidade dessa diferença aparecer, mesmo na vigência da hipótese nula. Se o time for tão ruim quanto 2012, há ainda 30% de probabilidade da campanha destas primeiras rodadas se fazer presente. Ou seja, essa campanha não é suficientemente diferente de 2012 para rejeitar mos a hipótese nula.

Como todos sabem, para rejeitar a hipótese nula, é necessário valor de P < 0.05. O que significa isso? Se aparecer um resultado que seja muito improvável na vigência da hipótese nula, a gente começa a duvidar da hipótese nula, que era nossa premissa inicial. Se essa probabilidade ficar abaixo do limite de 5%, a gente para de insistir na hipótese nula, rejeita esta hipótese e fica com a hipótese alternativa de que o fenômeno é verdadeiro. Neste caso, seria a hipótese alternativa de que o Bahia está de fato melhor.

Assim funciona teste de hipótese. Partindo do ceticismo científico, nossa tendência é proteger a hipótese nula. Porém só até um certo ponto. Na presença de um resultado muito improvável (uma diferença muito grande, com P < 0.05), faz mais sentido achar que a hipótese nula é falsa, achar que de fato o Bahia está melhor.

O porquê de 5% ser o limite para rejeição da hipótese nula será tema de futura postagem. Mas adianto que este valor específico é uma convenção do que se considera matematicamente muito improvável.

Podemos também fazer uma comparação dos pontos obtidos pelo Bahia a cada rodada. Em 2012, o Bahia obtinha uma média de 0.90 pontos por jogo, com desvio-padrão de 0.88. Em 2013, a média de pontos por jogo subiu para 1.6, com desvio-padrão de 1.27. A diferença de 0.90 ± 0.88 versus 1.6 ± 1.27 resulta em valor de P = 0.28. Ou seja, 28% de probabilidade dessa diferença aparecer mesmo a hipótese nula sendo verdadeira.

O Fenômeno de Regressão à Média

Sendo assim, o que vimos até então pode ser mera obra do acaso e não garante que o Bahia esteja melhor. Se isso for por acaso, a tendência será o desempenho do Bahia regredir à média. Ou seja, com o passar das rodadas o Bahia vai caindo de posição, terminando em uma posição abaixo do que a atual. Este é o fenômeno estatístico de regressão à média, já comentado em detalhes nesse Blog (vale a pena rever esta e esta postagens). Em resumo, este fenômeno indica que na presença de resultados extremos (Bahia muito bom ou muito ruim), na medida em que se aumenta o tamanho amostral, a observação vai tomando uma forma mais próxima do usual. Vai regredindo à média.

Observem o progredir do campeonato. Pode ser um grande exemplo de regressão à média.

Poder Estatístico

Quando diante de um estudo negativo (ausência de diferença estatística entre os grupos), devemos considerar duas possíveis explicações: (1) de fato não há diferença ou (2) o estudo sofreu o erro tipo II, aquele no qual uma diferença verdadeira não foi encontrada por falta de poder estatístico (estudo pequeno).

De fato, este é um estudo pequeno e para a diferença observada no percentual de vitórias, o poder estatístico é de apenas 15%. Como comentado na última postagem, um estudo deve ter pelo menos 80% de poder estatístico.

Desta forma, é possível que o Bahia esteja melhor e o estudo não foi capaz de encontrar significância pois ainda tem muito pouco jogo. Mas percebam que esta análise não nos permite concluir que quando aumentar os jogos, vai se comprovar que o Bahia está melhor. O baixo poder estatístico nos permite apenas concluir que o resultado negativo não é definitivo e que estudos maiores podem (ou não) mostrar um resultado positivo. Mas por enquanto devemos ficar com a hipótese nula, a qual não foi rejeitada neste estudo.

O que ocorre muitas vezes em medicina é a utilização inadequada do argumento de que um estudo não tem poder estatístico para rejeitar a hipótese nula. Por exemplo, alguém é a favor de um tratamento. Este tratamento foi semelhante ao placebo em um estudo pequeno, que não tinha poder estatístico ideal. Daí a pessoa diz que foi erro tipo II e com isso considera que o tratamento deva ser utilizado. Isso é errado! A interpretação certa é que este estudo não demonstrou benefício, portanto o tratamento não deve ser utilizado. Em segundo lugar, por este estudo ser pequeno, a questão ainda não está fechada. Estudos maiores podem (ou não) mostram resultados favoráveis. Devemos esperar estes estudos.

Portanto, devemos analisar o progredir do campeonato para avaliar se a diferença regride à média ou se torna estatisticamente significante com o aumento do tamanho amostral.

Viés de Comparação

Falamos até então da possibilidade de que tudo seja decorrente do acaso, de erro aleatório. Porém, estudos podem também sofrer de outro tipo de erro, o sistemático, denominado vieses. Estes vieses representam erros no métodos dos trabalho. Na questão desta postagem, podemos estar sofrendo do viés do grupo de comparação. Ou seja, o melhor resultado do Bahia em 2013 pode decorrer dos times que lhe servem de comparação (adversários em campo) estarem piores do que em 2012, e não do Bahia estar melhor. Que diga o Fluminense, campeão no ano passado que acaba de demitir o técnico devido a  5 derrotas consecutivas; ou o São Paulo, atualmente na zona de rebaixamento. 

Plausibilidade versus Realidade

Como já vimos, plausibilidade é um dos critérios de causalidade propostos por Bradford Hill. Devo reconhecer que existe certa plausibilidade do Bahia estar melhor. Uma delas é o aspecto motivacional. Observem que esta melhora coincide com o afastamento de um presidente acusado de "irregularidades". Imagine a situação (hipotética) de uma empresa cujo suposto líder é corrupto. Isso torna o grupo de trabalho desmotivado, sendo motivação algo essencial para ganhar competições. Agora imaginem que esse líder é afastado. Isso pode ter um impacto enorme sobre a motivação dos funcionários. Uma esperança de melhora no ambiente de trabalho.

Sendo assim, me parece plausível que o Bahia esteja de fato melhor. Porém devemos lembrar que, cientificamente, plausibilidade não garante realidade. Não basta que um tratamento tenha plausibilidade de benefício, para que seja adotado. Sua eficácia deve ser demonstrada. Portanto, não é porque faz sentido que já podemos ir achando que o Bahia está ótimo. Vamos esperar...

Ainda dentro da plausibilidade, podemos ouvir muitos comentários de especialistas em futebol (os comentaristas), mostrando os porquês do Bahia estar tão bom. Caímos na mesma situação, onde plausibilidade não representa realidade. Até porque estas explicações vem depois dos resultados. Observem (que diga Milton Neves) como os comentaristas erram as previsões dos resultados dos jogos. Aliás se fossem bons preditores, estariam todos ricos com a loteria esportiva. Isso é muito bem retratado no filme Moneyball, em que o personagem de Brad Pitt, manager de um time de baseball, dispensa os velhos especialistas na contratação de jogadores e traz um jovem estatístico, capaz de indicar contratações muito mais efetivas do que as escolhidas pelos entendidos no assunto. A mente do especialista não funciona estatisticamente, funciona de acordo com suas crenças e emoções, ficando sujeitas a vieses de pensamento e fatores de confusão. Isso ocorre muito com especialistas médicos, tema de postagem futura.

Considerações Finais

A vida baseada em evidências (assim como a medicina baseada em evidências) evita de toda forma o dogmatismo. Dogma é quando a gente acredita em uma coisa porque quer acreditar e pronto. Se embasar em evidência é estar de mente aberta e olhar para os dados de maneira fria, estatística, a procura da melhor conclusão. Dizer que o Bahia tem chance de ser campeão é algo que se aproxima mais de fé ou fantasia. É o cérebro direito funcionando mais do que o esquerdo. No esporte, não tem nada de errado nisso, pois esporte é paixão, emoção, sangue, suor e lágrimas. Mas em medicina, tem que ser diferente. Não podemos ser dogmáticos e (por exemplo) propor congelar cérebros de pacientes pós-parada (hipotermia) antes de que surjam evidências melhores do que as primeiras 10 rodadas do brasileirão.

A foto abaixo retrata a última vez que meu cérebro direito me guiou no caso do Bahia. Estava eu ali, entusiasmado com meus sobrinhos, entrando na nova Arena. Para que? Para ver o Bahia perder de 7 x 3 do Vitória. Depois dessa, ficarei com a hipótese nula, até que se prove o contrário (P < 0.05).

Agora, fazendo uma previsão realista. Vai haver uma regressão à média, o Bahia vai cair da 3^o posição. Talvez não termine na 15^o como no ano passado, terminará algo como na 10o posição. Veremos ...

OBS: Percebam que não sou do tipo de torcedor do Bahia que fico pensando no Vitória. Desta forma, nem mencionei este time em minha postagem. Prefiro convidar o professor de estatística da pós-graduação de medicina da UFBA, meu amigo Paulo Rocha, a escrever sobre seu Vitória. Espero que ele utilize o cérebro esquerdo em sua análise.

* Agradeço ao acadêmico de medicina Marcos Correia, pela assessoria esportiva neste postagem.