Estabilidade e transitoriedade no ranking do ENEM de médias por escola

Abstract

Nesse artigo, nós exploramos alguns aspectos estatísticos, usualmente negligenciados, do ranking de ENEM de médias por escola – o instrumento mais difundido de avaliação das escolas brasileiras de ensino médio. Nós encontramos evidências de variação amostral nos scores escolares medidos e verificamos o impacto que o porte da escola tem na atenuação desse efeito. Identificamos também evidências de flutuações estatísticas de curto prazo (ruído) e de reversão à média. Estimamos as magnitudes relativas dos componentes persistentes e não-persistentes (voláteis) no desempenho de escolas de diferentes categorias em determinado ano; em um caso extremo, o de escolas públicas de pequeno porte, estimamos que o componente volátil médio correspondia a aproximadamente 62% dos scores medidos naquele ano. Estudamos também a estabilidade intertemporal dos rankings por meio de matrizes de Markov. Finalmente, avaliamos a sensibilidade do ranking a uma mudança de critério de desempenho: construímos dois rankings de valor adicionado para escolas públicas paulistas – um exercendo controle estatístico para as características socioeconômicas e do aluno ingressante em cada escola, outro expandindo esse controle também sobre a infraestrutura escolar – a fim de comparar esses rankings com o ranking tradicional. Nós descobrimos que a adoção desses novos critérios não gerou alterações radicais na distribuição de desempenhos das escolas, mas teve impacto substancial nos ranqueamentos, sugerindo baixos graus de separação efetiva entre posições consecutivas do ranking.