Peculiaridades das estatisticas e o ENEM - Claudio Moura Castro

Mentiras e mistificações na Estatística

Claudio de Moura Castro

Revista Encontro 

Já foi dito que a Estatística é a arte de mentir com números. Na prática, há mais desconhecimento do que mistificação proposital. Mas gostemos dela ou não, a estatística é a única maneira segura e poderosa de lidar com fenômenos descritos por grupos de números. Por exemplo, as centenas de milhões de números gerados no ENEM são  uma fonte preciosa de informações, desde que soubermos ler o que dizem. Se não, o besteirol domina.

1. “Sou contra o ranqueamento das escolas”. Em ciências sociais, não há quilos ou metros, apenas comparações. Os números não têm qualquer significado em si.  No limite, a estatística não diz que uma escola é boa, apenas que é melhor que  outra com menor pontuação. Portanto, ser contra o “ranqueamento” é ser contra o uso das estatísticas de avaliação, pois estas só adquirem sentido quando comparadas. Naturalmente, podemos discordar quanto ao grau de transparência adotado: publicado no jornal ou somente a escola sabe a sua nota? Mas sem comparar, não sai nada de interessante.

2. “52,98% dos alunos ficam abaixo da média”. Esta manchete, em um dos melhores jornais do país, prefacia um tom acusatório. Mas é uma tolice sem tamanho. A média é um número cuja fórmula de cálculo permite encontrar o meio da distribuição. Portanto, próximo da metade das escolas obrigatoriamente estará abaixo da média. E isso será sempre verdade, qualquer que seja a distribuição.  Se tomarmos a média das dez melhores escolas do ENEM, cinco estarão abaixo dela.

3. “Que horror, os alunos só acertaram metade das questões”. Quando uma prova é construída, manda a técnica, é preciso adicionar perguntas difíceis, para separar os sabidos dos muito sabidos. A maioria não vai acertar, pois foram pensadas apenas para os mais preparados. Em uma prova formulada refletindo esses critérios, próximo da metade das perguntas serão acertadas. Tecnicamente, é uma prova bem feita, sob medida para a sua clientela. Mas sendo construída assim,  a proporção de acertos nada diz sobre a suficiência ou insuficiência do aprendizado dos alunos. Resulta de uma tecnicalidade requerida para dar precisão aos resultados, na cauda da distribuição. As autoridades ou o consenso podem convergir para essa ou aquela proporção de acertos, como caracterizando um mínimo aceitável de desempenho. Mas esse é apenas um julgamento postiço e subjetivo, não é intrínseco à prova (como é o caso do exame da OAB que define um limiar de acertos para a aprovação).

4. “O São Bento tem 761 pontos, portanto é melhor do que o Santo Antônio, com apenas 740”.  Tecnicamente, é verdade. Mas essa diferença entre o primeiro colocado e o quinto é tão pequena que  torna-se perfeitamente irrelevante. Se fossem 100 perguntas, seriam duas a mais respondidas certo. A margem de erro em um teste desse tipo é muito maior. No último ENEM, com a redação valendo metade da pontuação total, aumenta a faixa de ruído, pois as correções dos textos são subjetivas e mais imprecisas. Diferenças pequenas são convenientes para o marketing de colégios que ultrapassaram seus concorrentes, nada mais. Em contraste, grandes vantagens na pontuação refletem um nível de aprendizado superior, com certeza absoluta.

5. “O ENEM prova, o colégio A é pior do que o B”.  Suponha-se que A é um colégio excelente e que todos os alunos fazem o ENEM. O colégio B é medíocre e somente os melhores 10% se animam a fazer a prova. É bem provável que A teria mais pontos do que B se apenas forem considerados os seus melhores 10%. Ou, se todos do colégio B tivessem que fazer a prova. Isso porque, a presença dos alunos mais fracos puxa a média para baixo. Ou seja, as comparações entre colégios apenas são válidas quando a proporção que faz o teste é parecida.