Please use this identifier to cite or link to this item: https://repositorio.insper.edu.br/handle/11224/876
Type: Dissertação
Title: Estabilidade e transitoriedade no ranking do ENEM de médias por escola
Authors: Soida, Ivan Akio Itocazo
Examination board: Menezes Filho, Naercio Aquino
Madeira, Ricardo De Abreu
Andrade, Eduardo De Carvalho
Advisor: Moita, Rodrigo Menon Simoes
Publication Date: 2012
Original Abstract: Nesse artigo, nós exploramos alguns aspectos estatísticos, usualmente negligenciados, do ranking de ENEM de médias por escola – o instrumento mais difundido de avaliação das escolas brasileiras de ensino médio. Nós encontramos evidências de variação amostral nos scores escolares medidos e verificamos o impacto que o porte da escola tem na atenuação desse efeito. Identificamos também evidências de flutuações estatísticas de curto prazo (ruído) e de reversão à média. Estimamos as magnitudes relativas dos componentes persistentes e não-persistentes (voláteis) no desempenho de escolas de diferentes categorias em determinado ano; em um caso extremo, o de escolas públicas de pequeno porte, estimamos que o componente volátil médio correspondia a aproximadamente 62% dos scores medidos naquele ano. Estudamos também a estabilidade intertemporal dos rankings por meio de matrizes de Markov. Finalmente, avaliamos a sensibilidade do ranking a uma mudança de critério de desempenho: construímos dois rankings de valor adicionado para escolas públicas paulistas – um exercendo controle estatístico para as características socioeconômicas e do aluno ingressante em cada escola, outro expandindo esse controle também sobre a infraestrutura escolar – a fim de comparar esses rankings com o ranking tradicional. Nós descobrimos que a adoção desses novos critérios não gerou alterações radicais na distribuição de desempenhos das escolas, mas teve impacto substancial nos ranqueamentos, sugerindo baixos graus de separação efetiva entre posições consecutivas do ranking.
Keywords in original language : ENEM
Educação
Ensino Médio
Rankings
Valor Adicionado
Education
High School
Value-Added
Abstract: In this article, we analyzed some usually neglected statistical issues concerning ENEM’s rankings – the most popular instrument for evaluating the quality of Brazilian high schools. We found evidences of sampling variation on schools’ measured performances and checked its diminishing effect as schools’ sizes increase. We also identified evidences of short-term statistical fluctuations (noise) and mean-reversion. We estimated the relative magnitudes of persistent and non-persistent (volatile) components on schools’ performances from different categories in a given year; in the extreme case of small, public schools we estimated the mean volatile component as about 62% of the scores measured that year. Furthermore, we also studied the stability of the rankings across time, by means of Markov matrices. Finally, we evaluated how stable the ranking would behave after changing the adopted criteria to measure performance: we built two rankings based on added scores (“value-added”) for a specific category of Brazilian schools – the first of those imposing statistical control for each school’s freshmen’s characteristics and students’ socioeconomic status, and a second one expanding the prior statistical control for each school’s infrastructure data, as well – in order to compare these rankings to the one based on absolute scores. We discovered that the adoption of these new criteria did not generate extreme effects on schools’ distribution of performances, but it did impact heavily on ranking positions, suggesting low degrees of effective separation between consecutive positions.
Language: Português
Appears in Collections:Mestrado Profissional em Economia

Files in This Item:
File Description SizeFormat 
IVAN AKIO ITOCAZO SOIDA. trabalho.pdfTEXTO COMPLETO2.52 MBAdobe PDFThumbnail
View/Open

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.