Mentiras e mistificações na Estatística
Claudio
de Moura Castro
Revista Encontro
Já foi dito que a Estatística é a arte de
mentir com números. Na prática, há mais desconhecimento do que mistificação
proposital. Mas gostemos dela ou não, a estatística é a única maneira segura e
poderosa de lidar com fenômenos descritos por grupos de números. Por exemplo,
as centenas de milhões de números gerados no ENEM são uma fonte preciosa de informações, desde que soubermos
ler o que dizem. Se não, o besteirol domina.
1. “Sou
contra o ranqueamento das escolas”.
Em ciências sociais, não há quilos ou metros, apenas comparações. Os números
não têm qualquer significado em si. No
limite, a estatística não diz que uma escola é boa, apenas que é melhor que outra com menor pontuação. Portanto, ser
contra o “ranqueamento” é ser contra o uso das estatísticas de avaliação, pois
estas só adquirem sentido quando comparadas. Naturalmente, podemos discordar
quanto ao grau de transparência adotado: publicado no jornal ou somente a
escola sabe a sua nota? Mas sem comparar, não sai nada de interessante.
2. “52,98%
dos alunos ficam abaixo da média”. Esta manchete, em um dos melhores
jornais do país, prefacia um tom acusatório. Mas é uma tolice sem tamanho. A
média é um número cuja fórmula de cálculo permite encontrar o meio da
distribuição. Portanto, próximo da metade das escolas obrigatoriamente estará
abaixo da média. E isso será sempre verdade, qualquer que seja a distribuição. Se tomarmos a média das dez melhores escolas
do ENEM, cinco estarão abaixo dela.
3. “Que
horror, os alunos só acertaram metade das questões”. Quando uma prova é
construída, manda a técnica, é preciso adicionar perguntas difíceis, para
separar os sabidos dos muito sabidos. A maioria não vai acertar, pois foram
pensadas apenas para os mais preparados. Em uma prova formulada refletindo
esses critérios, próximo da metade das perguntas serão acertadas. Tecnicamente,
é uma prova bem feita, sob medida para a sua clientela. Mas sendo construída
assim, a proporção de acertos nada diz
sobre a suficiência ou insuficiência do aprendizado dos alunos. Resulta de uma
tecnicalidade requerida para dar precisão aos resultados, na cauda da
distribuição. As autoridades ou o consenso podem convergir para essa ou aquela proporção
de acertos, como caracterizando um mínimo aceitável de desempenho. Mas esse é
apenas um julgamento postiço e subjetivo, não é intrínseco à prova (como é o
caso do exame da OAB que define um limiar de acertos para a aprovação).
4. “O
São Bento tem 761 pontos, portanto é melhor do que o Santo Antônio, com apenas 740”. Tecnicamente, é verdade. Mas essa diferença entre
o primeiro colocado e o quinto é tão pequena que torna-se perfeitamente irrelevante. Se fossem
100 perguntas, seriam duas a mais respondidas certo. A margem de erro em um
teste desse tipo é muito maior. No último ENEM, com a redação valendo metade da
pontuação total, aumenta a faixa de ruído, pois as correções dos textos são
subjetivas e mais imprecisas. Diferenças pequenas são convenientes para o
marketing de colégios que ultrapassaram seus concorrentes, nada mais. Em
contraste, grandes vantagens na pontuação refletem um nível de aprendizado
superior, com certeza absoluta.
5. “O
ENEM prova, o colégio A é pior do que o B”.
Suponha-se que A é um colégio excelente e que todos os alunos fazem o
ENEM. O colégio B é medíocre e somente os melhores 10% se animam a fazer a
prova. É bem provável que A teria mais pontos do que B se apenas forem
considerados os seus melhores 10%. Ou, se todos do colégio B tivessem que fazer
a prova. Isso porque, a presença dos alunos mais fracos puxa a média para
baixo. Ou seja, as comparações entre colégios apenas são válidas quando a
proporção que faz o teste é parecida.
Nenhum comentário:
Postar um comentário