Análise da qualidade psicométrica da prova de matemática do Exame Nacional do Ensino Médio brasileiro de 2018 Translated title: Psychometric quality analysis of the mathematics test of the brazilian National High School Examination from 2018 Translated title: Análisis de la calidad psicométrica de la prueba de matemáticas del Examen Nacional de la Secundaria Superior brasileña, 2018

Abstract

Resumo O Exame Nacional do Ensino Médio (ENEM), criado em 1998 para avaliar a qualidade da educação oferecida para os jovens brasileiros, tem se consolidado como a principal porta de acesso ao Ensino Superior no Brasil. Contudo, ainda é pequeno o número de estudos voltados a analisar a qualidade do exame e dos itens que o compõe. Para contribuir com esta temática, este artigo tem o objetivo de analisar a qualidade psicométrica da Prova de Matemática da edição de 2018 do ENEM/Brasil. Metodologicamente, trata-se de uma pesquisa predominantemente quantitativa e exploratória, desenvolvida a partir da aplicação de técnicas psicométricas a uma amostra de 68438 respondentes, matriculados no 3º ano do Ensino Médio no ano de sua aplicação. Os resultados indicaram uma prova de confiabilidade satisfatória (α>0.7). Quanto aos itens que a compõem, identificou-se 4 que apresentavam problemas de ajuste ao modelo logístico de 3 parâmetros da Teoria de Resposta ao Item (TRI), adotado pelo exame, 1 que apresentava coeficiente de discriminação significativamente baixo a<0.5 e 5 que apresentavam coeficiente de dificuldade acima dos limites considerados aceitáveis neste estudo b>3.0 , definidos a partir de consulta à literatura especializada. Esses resultados nos levam a concluir que uma porcentagem considerável dos itens da prova analisada (22.7%) apresenta parâmetros psicométricos insatisfatórios. Tendo em vista que qualquer imprecisão sinalizada pode comprometer a validade dos resultados obtidos, sugere-se que os processos que envolvem a criação, revisão, testagem e calibração dos itens sejam aprimorados, de modo a garantir a isonomia do exame.

Translated abstract

Abstract The Brazilian National High School Examination (ENEM), created in 1998 to assess the quality of education offered to young brazilians, has consolidated itself as the main access to the universities in Brazil. However, there are few studies aimed at analyzing the quality of the exam and the items that are in it. Thus, this paper aims to analyze the psychometric quality of the mathematics test of ENEM of 2018. It was used a quantitative and exploratory methodology, developed through psychometrics methods applied to 68,438 students that made the exam, enrolled in the last year of the high school. The results pointed to a reliable test (α>0.7). As for the items that compose it, four showed adjustment problems concerning to the logistic model of three parameters of the Theory of Response to the item (TRI), adopted by the exam, one showed a significantly lower coefficient of discrimination a<0.5 and five that showed a difficulty coefficient higher than those considered acceptable b>3.0 . These results lead us to conclude that a considerable number of the items analyzed (22.7%) showed unsatisfactory psychometric parameters. Bearing in mind that any reported inaccuracies may compromise the validity of the results obtained, it is suggested that the processes that involve the creation, review, testing and calibration of the items must be improved, in order to guarantee the isonomy of the exam.

Translated abstract

Resumen El Examen Nacional de la Secundaria Superior (ENEM), creado en 1998 para evaluar la calidad de la educación ofrecida a la juventud brasileña, se ha consolidado como la principal puerta de acceso a la Enseñanza Superior en Brasil. Actualmente es reducido el número de estudios dedicados a analizar la calidad de la prueba y de los elementos que la componen. Para contribuir a esta temática, este artículo busca analizar la calidad psicométrica del Examen de Matemáticas de la edición 2018 de ENEM/Brasil. Con respecto a la metodología, la investigación fue predominantemente cuantitativa y exploratoria a través de técnicas psicométricas aplicadas a una muestra de 68438 estudiantes del 3º año de preparatoria, quienes realizaron la prueba. Los resultados apuntaron hacia una prueba confiable (α>0.7). En cuanto a los ítems que lo componen, 4 se identificaron con problemas de ajuste al modelo logístico de 3 parámetros de la Teoría de Respuesta al Ítem (TRI) adoptado por el examen; 1 que presentaba un coeficiente de discriminación significativamente bajo (a <0.5) y 5 que tenían un coeficiente de dificultad con niveles encima de los considerados aceptables (b> 3.0), teniendo en cuenta los criterios generales expuestos en la literatura especializada. Estos resultados nos llevan a concluir que un porcentaje considerable de los ítems analizados de la prueba (22.7%) tienen parámetros psicométricos insatisfactorios. Considerando que cualquier imprecisión indicada puede comprometer la validez de los resultados obtenidos, se sugiere mejorar los procesos que involucran la creación, revisión, ensayo y evaluación de los ítems, a fin de garantizar la isonomía del examen.