|
|
| |
O que dizem os testes
Podemos comparar
dois cursos cujos alunos fizeram
o mesmo teste. Fora disso,
os números não dizem nada. Mas isso já
é de uma utilidade incalculável
Ilustração Alê Setti
 |
Quem diria? Apesar de seus parcos
êxitos na educação, o Brasil se converteu
no país com o mais abrangente sistema de avaliação.
Não é pouca porcaria. Temos o Sistema Nacional
de Avaliação da Educação Básica,
Saeb, para o ensino fundamental e médio e o Exame Nacional
do Ensino Médio, Enem, para a entrada no superior. Temos
o Provão, que ninguém mais tem. Finalmente, temos
a avaliação da pós-graduação.
E agora, que fazemos com isso tudo? O primeiro
desafio é entender o que dizem os testes. Mas os conceitos
subjacentes são baseados em métodos estatísticos
pouco intuitivos. A estatística, que serve para enganar,
pode também servir para iluminar, desde que saibamos
interpretá-la.
Com avidez, olhamos para as tabelas e perguntamos:
os resultados estão bons ou maus? Infelizmente, esta
é justamente a pergunta que esses testes não podem
responder. Nas medições sociais não há
metro ou quilo, padrões absolutos de medida. Há
apenas comparações. Podemos saber se essa escola
ou esse país está melhor ou pior que outro. Mas,
ao contrário do metro, que é uma distância
marcada em uma barra de platina em Paris, não há
um padrão de educação guardado em um museu.
Alguém poderá arbitrariamente definir um nível
mínimo a ser atingido. Mas até agora ninguém
decretou quanto se deve saber para atingir um nível "bom"
de educação. Os testes, portanto, falam de melhor/pior
e não de bom/ruim.
Os testes são construídos para medir
diferenças de conhecimento, tanto entre os que sabem
muito quanto entre os que não sabem quase nada. Para
isso, incluem perguntas fáceis para diferenciar os ignorantes
e outras muito difíceis para diferenciar os sabidões.
Daí a regra prática de desenhar um teste: em média,
os respondentes devem acertar a metade das questões.
Portanto, quando as tabelas mostram testes com médias
próximas de 50% de acerto, vivas para o fabricante! É
um bom profissional.
Se é assim, é óbvio que não
podemos brandir as tabelas e dizer: vejam só que desastre
está nossa educação, os alunos só
acertaram metade do teste! Isso é quase tão tolo
quanto se escandalizar com o fato de cerca de metade dos alunos
estar abaixo da média. Ora, só pode ser assim,
pois a média é o centro de gravidade da distribuição,
um tanto de alunos para cima e outros para baixo.
Nem sempre se atinge o alvo dos 50% de acerto.
Portanto, é um erro lamentável concluir, por exemplo,
ao encontrar as médias inferiores, que a educação
da 8ª série está pior que a da 4ª, ou
que o Provão piorou. Pode ser que o teste seja mais difícil.
O Provão é vítima de outros
erros de interpretação. A rigor, a nota E diz
apenas que os outros são melhores. Mas não diz
se o curso é bom ou mau. Daí o absurdo de dizer
que a educação superior está péssima
porque há tantos cursos com D e E. Se o Provão
fosse aplicado exclusivamente nas melhores universidades do
mundo, ainda assim 13% ganhariam nota E, simplesmente por serem
"menos ótimas" do que as outras. Da mesma forma, como
as notas são comparativas, se muitos cursos melhorarem,
o que ficar parado terá nota pior, apesar de não
haver piorado.
Outro erro clássico: verificou-se que dentre
os cursos de nota A, há duas vezes mais públicos
do que privados. O que provoca as pressurosas interpretações
de que o privado é pior que o público. Mas para
dizer se o privado é pior que o público temos
de olhar a média de toda a distribuição,
não apenas seu topo.
Disso tudo, fiquemos com uma regrinha fácil:
podemos comparar dois cursos (ou até países) cujos
alunos fizeram o mesmo teste. Fora disso, os números
não dizem mais nada. Mas isso já é de uma
utilidade incalculável. Hoje sabemos quem é quem
na educação brasileira. Quais Estados brilham
ou fenecem, que faculdades oferecem o melhor ensino, quem está
fazendo força para melhorar. Está tudo nos jornais
ou no website do MEC/Inep.
Claudio
de Moura Castro
é economista (claudiomc@earthlink.net)
|
|
|
