domingo, 4 de agosto de 2013

O sucesso do Bahia é estatisticamente significante?



Sou Bahia e vibro com a terceira posição do tricolor no Brasileirão. Poderia deixar meu cérebro direito (emoção, paixão) prevalecer, argumentar que nosso time atualmente é um dos melhores e que corremos o risco de sermos campeões mais uma vez. Esse argumento não estaria errado, pois futebol é paixão. Por outro lado, este Blog é científico e serve para exercitarmos o cérebro esquerdo, racional, matemático, realista. Portanto, farei uma abordagem de torcedor estatístico.

Neste contexto, surge a seguinte questão. O Bahia está bem mesmo? Observem que o que temos neste momento não é o campeonato brasileiro inteiro, é apenas uma amostra (uma parte) do campeonato, representado pelas primeiras 10 de um total de 38 rodadas. Isso se assemelha às evidências científicas, que em geral são observação obtidas em amostras populacionais e depois extrapoladas para a população. Quando utilizamos amostras para obter informações a cerca da população, devemos fazer uso da estatística, que serve para quantificar a incerteza a respeito de nossas conclusões amostrais. 

Formulando esse problema sob a forma científica, precisamos testar a hipótese de que o Bahia de 2013 é melhor do que o Bahia de 2012. Ao comparar a posição do Bahia após a décima rodada do campeonato, percebemos que hoje estamos na 3o posição, muito melhor do que no ano passado, que nesta altura estávamos na (pasmem) 19o posição. Que diferença gritante!


No entanto, o que percebemos nessa amostra pode ou não ser representativa da realidade do campeonato por inteiro. Quando estamos com uma amostra, existe a possibilidade da diferença entre os campeonatos ter sido obra do acaso e não uma concreta melhora de qualidade do time. Foi apenas sorte do Bahia?


Teste de Hipótese

Vou aproveitar este exemplo futebolístico para explicar como funciona teste de hipótese em estatística. Primeiro, começamos a premissa da hipótese nula, que prima pela inexistência do fenômeno (Bahia está melhor). Daí nos perguntamos: se a hipótese nula for verdadeira (Bahia não está melhor), qual a probabilidade desta diferença entre os dois campeonatos se fazer presente?

Se na presença da hipótese nula, for alta a probabilidade da diferença observada, pode ser que tudo não passe do acaso. Daí não vamos acreditar no fenômeno, vamos ficar com a hipótese nula. Estatisticamente falando, não podemos rejeitar a hipótese nula.

O que a estatística faz é calcular a probabilidade do resultado observado aparecer na vigência da hipótese nula. Essa probabilidade é o valor de P.

Sendo assim, calculei o valor de P da diferença da proporção de vitórias do Bahia nas primeiras 10 rodadas de 2013 versus 2012. Sendo uma diferença de proporção, usei o teste de Fisher, que se adéqua melhor a pequenas amostras (N = 10 jogos). Encontramos o seguinte: o Bahia ganhou 40% dos primeiros 10 jogos em 2013, comparado a 10% de vitórias em 2012, sendo o valor de P = 0.30. Isso significa que há 30% de probabilidade dessa diferença aparecer, mesmo na vigência da hipótese nula. Se o time for tão ruim quanto 2012, há ainda 30% de probabilidade da campanha destas primeiras rodadas se fazer presente. Ou seja, essa campanha não é suficientemente diferente de 2012 para rejeitar mos a hipótese nula.

Como todos sabem, para rejeitar a hipótese nula, é necessário valor de P < 0.05. O que significa isso? Se aparecer um resultado que seja muito improvável na vigência da hipótese nula, a gente começa a duvidar da hipótese nula, que era nossa premissa inicial. Se essa probabilidade ficar abaixo do limite de 5%, a gente para de insistir na hipótese nula, rejeita esta hipótese e fica com a hipótese alternativa de que o fenômeno é verdadeiro. Neste caso, seria a hipótese alternativa de que o Bahia está de fato melhor.

Assim funciona teste de hipótese. Partindo do ceticismo científico, nossa tendência é proteger a hipótese nula. Porém só até um certo ponto. Na presença de um resultado muito improvável (uma diferença muito grande, com P < 0.05), faz mais sentido achar que a hipótese nula é falsa, achar que de fato o Bahia está melhor.

O porquê de 5% ser o limite para rejeição da hipótese nula será tema de futura postagem. Mas adianto que este valor específico é uma convenção do que se considera matematicamente muito improvável.

Podemos também fazer uma comparação dos pontos obtidos pelo Bahia a cada rodada. Em 2012, o Bahia obtinha uma média de 0.90 pontos por jogo, com desvio-padrão de 0.88. Em 2013, a média de pontos por jogo subiu para 1.6, com desvio-padrão de 1.27. A diferença de 0.90 ± 0.88 versus 1.6 ± 1.27 resulta em valor de P = 0.28. Ou seja, 28% de probabilidade dessa diferença aparecer mesmo a hipótese nula sendo verdadeira.

O Fenômeno de Regressão à Média

Sendo assim, o que vimos até então pode ser mera obra do acaso e não garante que o Bahia esteja melhor. Se isso for por acaso, a tendência será o desempenho do Bahia regredir à média. Ou seja, com o passar das rodadas o Bahia vai caindo de posição, terminando em uma posição abaixo do que a atual. Este é o fenômeno estatístico de regressão à média, já comentado em detalhes nesse Blog (vale a pena rever esta e esta postagens). Em resumo, este fenômeno indica que na presença de resultados extremos (Bahia muito bom ou muito ruim), na medida em que se aumenta o tamanho amostral, a observação vai tomando uma forma mais próxima do usual. Vai regredindo à média.

Observem o progredir do campeonato. Pode ser um grande exemplo de regressão à média.


Poder Estatístico

Quando diante de um estudo negativo (ausência de diferença estatística entre os grupos), devemos considerar duas possíveis explicações: (1) de fato não há diferença ou (2) o estudo sofreu o erro tipo II, aquele no qual uma diferença verdadeira não foi encontrada por falta de poder estatístico (estudo pequeno).

De fato, este é um estudo pequeno e para a diferença observada no percentual de vitórias, o poder estatístico é de apenas 15%. Como comentado na última postagem, um estudo deve ter pelo menos 80% de poder estatístico.

Desta forma, é possível que o Bahia esteja melhor e o estudo não foi capaz de encontrar significância pois ainda tem muito pouco jogo. Mas percebam que esta análise não nos permite concluir que quando aumentar os jogos, vai se comprovar que o Bahia está melhor. O baixo poder estatístico nos permite apenas concluir que o resultado negativo não é definitivo e que estudos maiores podem (ou não) mostrar um resultado positivo. Mas por enquanto devemos ficar com a hipótese nula, a qual não foi rejeitada neste estudo.

O que ocorre muitas vezes em medicina é a utilização inadequada do argumento de que um estudo não tem poder estatístico para rejeitar a hipótese nula. Por exemplo, alguém é a favor de um tratamento. Este tratamento foi semelhante ao placebo em um estudo pequeno, que não tinha poder estatístico ideal. Daí a pessoa diz que foi erro tipo II e com isso considera que o tratamento deva ser utilizado. Isso é errado! A interpretação certa é que este estudo não demonstrou benefício, portanto o tratamento não deve ser utilizado. Em segundo lugar, por este estudo ser pequeno, a questão ainda não está fechada. Estudos maiores podem (ou não) mostram resultados favoráveis. Devemos esperar estes estudos.

Portanto, devemos analisar o progredir do campeonato para avaliar se a diferença regride à média ou se torna estatisticamente significante com o aumento do tamanho amostral.

Viés de Comparação

Falamos até então da possibilidade de que tudo seja decorrente do acaso, de erro aleatório. Porém, estudos podem também sofrer de outro tipo de erro, o sistemático, denominado vieses. Estes vieses representam erros no métodos dos trabalho. Na questão desta postagem, podemos estar sofrendo do viés do grupo de comparação. Ou seja, o melhor resultado do Bahia em 2013 pode decorrer dos times que lhe servem de comparação (adversários em campo) estarem piores do que em 2012, e não do Bahia estar melhor. Que diga o Fluminense, campeão no ano passado que acaba de demitir o técnico devido a  5 derrotas consecutivas; ou o São Paulo, atualmente na zona de rebaixamento. 


Plausibilidade versus Realidade

Como já vimos, plausibilidade é um dos critérios de causalidade propostos por Bradford Hill. Devo reconhecer que existe certa plausibilidade do Bahia estar melhor. Uma delas é o aspecto motivacional. Observem que esta melhora coincide com o afastamento de um presidente acusado de "irregularidades". Imagine a situação (hipotética) de uma empresa cujo suposto líder é corrupto. Isso torna o grupo de trabalho desmotivado, sendo motivação algo essencial para ganhar competições. Agora imaginem que esse líder é afastado. Isso pode ter um impacto enorme sobre a motivação dos funcionários. Uma esperança de melhora no ambiente de trabalho.

Sendo assim, me parece plausível que o Bahia esteja de fato melhor. Porém devemos lembrar que, cientificamente, plausibilidade não garante realidade. Não basta que um tratamento tenha plausibilidade de benefício, para que seja adotado. Sua eficácia deve ser demonstrada. Portanto, não é porque faz sentido que já podemos ir achando que o Bahia está ótimo. Vamos esperar...

Ainda dentro da plausibilidade, podemos ouvir muitos comentários de especialistas em futebol (os comentaristas), mostrando os porquês do Bahia estar tão bom. Caímos na mesma situação, onde plausibilidade não representa realidade. Até porque estas explicações vem depois dos resultados. Observem (que diga Milton Neves) como os comentaristas erram as previsões dos resultados dos jogos. Aliás se fossem bons preditores, estariam todos ricos com a loteria esportiva. Isso é muito bem retratado no filme Moneyball, em que o personagem de Brad Pitt, manager de um time de baseball, dispensa os velhos especialistas na contratação de jogadores e traz um jovem estatístico, capaz de indicar contratações muito mais efetivas do que as escolhidas pelos entendidos no assunto. A mente do especialista não funciona estatisticamente, funciona de acordo com suas crenças e emoções, ficando sujeitas a vieses de pensamento e fatores de confusão. Isso ocorre muito com especialistas médicos, tema de postagem futura.

Considerações Finais

A vida baseada em evidências (assim como a medicina baseada em evidências) evita de toda forma o dogmatismo. Dogma é quando a gente acredita em uma coisa porque quer acreditar e pronto. Se embasar em evidência é estar de mente aberta e olhar para os dados de maneira fria, estatística, a procura da melhor conclusão. Dizer que o Bahia tem chance de ser campeão é algo que se aproxima mais de fé ou fantasia. É o cérebro direito funcionando mais do que o esquerdo. No esporte, não tem nada de errado nisso, pois esporte é paixão, emoção, sangue, suor e lágrimas. Mas em medicina, tem que ser diferente. Não podemos ser dogmáticos e (por exemplo) propor congelar cérebros de pacientes pós-parada (hipotermia) antes de que surjam evidências melhores do que as primeiras 10 rodadas do brasileirão.

A foto abaixo retrata a última vez que meu cérebro direito me guiou no caso do Bahia. Estava eu ali, entusiasmado com meus sobrinhos, entrando na nova Arena. Para que? Para ver o Bahia perder de 7 x 3 do Vitória. Depois dessa, ficarei com a hipótese nula, até que se prove o contrário (P < 0.05).

Agora, fazendo uma previsão realista. Vai haver uma regressão à média, o Bahia vai cair da 3o posição. Talvez não termine na 15o como no ano passado, terminará algo como na 10o posição. Veremos ...

OBS: Percebam que não sou do tipo de torcedor do Bahia que fico pensando no Vitória. Desta forma, nem mencionei este time em minha postagem. Prefiro convidar o professor de estatística da pós-graduação de medicina da UFBA, meu amigo Paulo Rocha, a escrever sobre seu Vitória. Espero que ele utilize o cérebro esquerdo em sua análise.

* Agradeço ao acadêmico de medicina Marcos Correia, pela assessoria esportiva neste postagem.




6 comentários:

  1. Muito bom, Luis Cláudio! Como médico, farei o possível para não deixar minhas esperanças no que é plausível, mas não comprovadamente verdadeiro, interferir nas minhas condutas. E, mesmo como torcedor, prefiro crer que o tamanho amostral ainda é insuficiente e que o meu SPFC vai sair da zona de rebaixamento até o final do campeonato. Que se estabeleça o fenômeno de regressão à média!

    ResponderExcluir
  2. Excelente discussão! Depois que se vive a MBE, fica até difícil de suportar os dogmatismos e empirismos. No esporte, o torcedor realista é de longe o mais sensato e o que mais soma ao time.

    ResponderExcluir
  3. Excelente (como sempre), Luis. Parece que, depois de um fantástico campeonato Baiano, quem está regredindo à média é o meu Vitória! Ganhamos da Lusa ontem por acaso. A probabilidade de jogarmos tão mal novamente e sairmos com os 3 pontos é bem menor que 5%.

    ResponderExcluir
  4. Caro Claúdio, agradeço mais uma vez a generosidade em partilhar o seu raciocínio límpido e estruturado. As analogias têm um poder persuasivo interessante mas podem induzir-nos em erro. No caso do seu clube, está a assumir que a probabilidade de vitória ou derrota no resto do campeonato são independentes do conjunto de vitórias que já se verificaram. Penso que esta premissa não é verdadeira e enviesa todo o restante raciocínio. Uma abordagem bayesiana em detrimento da frequentista pode ajustar-se melhor a este exemplo, e na minha opinião, a muitos na medicina baseada na evidência.
    Mais uma vez obrigado pelo excelente blog! Um abraço, Mário.

    ResponderExcluir
  5. Mais uma vez, um texto brilhante!

    Por outro lado, acredito que os resultados foram óbvios. A eterna mediocridade do tricolor pode ser aceita a partir do princípio da plausibilidade extrema. Hahaha

    Brincadeiras à parte, sabia que o filme citado (Moneyball) é baseado na história real de Billy Beane?Essa abordagem estatística do baseball (sabermetrics) é bastante popular nos EUA e movimenta um bom dinheiro dentro do esporte. Fico surpreso que não exista nada semelhante para o futebol...

    Outro tema que me veio à cabeça lendo o texto foi o embate frequencistas vs. bayesianos. Conhece o The signal and the Noise, do Nate Silver? Se não, fica a recomendação para a lista de presentes.

    Enfim, uma análise legal seria incluir a proporção de times que obtiveram desempenho semelhante ao Bahia no início do campeonato em anos anteriores e terminaram a competição bem colocados.

    Abraço

    ResponderExcluir
  6. Luis;
    Parabéns !
    Sou Vascaina e espero que meu time ,pelo menos volte a se comportar como regressão á média ,para subir na classificação e pelo menos se classificar para libertadores.
    Quanto a sua explicação e como sua eterna aluna ,porque não ajudar mais ainda seus seguidores ,através da publicação de um livro seu .Com certeza assim como seu Blog vai ser muito disputado sadiamente.
    Um grande abraço.
    Alessandra.

    ResponderExcluir