Evaluación estandarizada de los aprendizajes en el tronco común de lenguas: Un estudio en la Universidad Autónoma de Baja California, México Translated title: Avaliação padronizada da aprendizagem na tronco comum de línguas: um estudo na Universidade Autônoma da Baixa Califórnia, México Translated title: Standardized learning assessment in languages core curricula: A study at the autonomous University of Baja California, México

Abstract

Resumen Objetivo. El estudio presenta la estructura y composición de un examen departamental estandarizado de una de las asignaturas de mayor relevancia curricular para el tronco común de Lenguas perteneciente a la Facultad de Idiomas(FI), así como los resultados de la evaluación psicométrica realizada a este mismo. Método. Se empleó la metodología formulada por el Instituto de Investigación y Desarrollo Educativo (Contreras Niño, 2000; Contreras Niño & Backhoff Escudero, 2004), con base en el modelo psicométrico propuesto por Nitko (1994) para elaboración de exámenes de gran escala de referencia criterial. La muestra de estudio fue de 260 estudiantes de primer semestre, procedentes de la FI a nivel Estado. Se empleó el método de análisis psicométrico basado en la teoría de respuesta al ítem, con lo que se midieron atributos como el índice de discriminación, coeficiente de discriminación y el índice de dificultad. Resultados. A partir del análisis psicométrico realizado al examen, se obtuvieron valores promedio que sobrepasan el estándar en cuanto al índice y coeficiente de discriminación (.32), destacan los obtenidos en la unidad temática de mayor relevancia curricular para la asignatura en cuestión. Asimismo, se observó una dificultad media en general en el examen y una distribución de la dificultad de los reactivos aceptable. Conclusiones. Los valores obtenidos en los atributos de confiabilidad y validez permitieron evidenciar la calidad del instrumento, lo cual contribuye a la certeza del nivel de dominio que el estudiantado refleja en relación con el universo de conocimientos representados en la prueba, situación que tiene un alto impacto, por la relevancia de dicha asignatura.

Translated abstract

Resumo Objetivo. Este trabalho de pesquisa apresenta a estrutura e composição de uma prova departamental padronizada de uma das disciplinas de maior relevância curricular para o tronco comum de Línguas que pertencem à Faculdade de Idiomas (FI), assim como os resultados da avaliação psicométrica realizada na mesma. Método. Na elaboração desta prova padronizada, foi utilizada a metodologia formulada pelo Instituto de Pesquisa e Desenvolvimento Educacional (Contreras Niño, 2000; Contreras Niño & Backhoff Escudero, 2004), baseada no modelo psicométrico proposto por Nitko (1994) para a preparação de exames em larga escala. A amostra do estudo foi composta por 260 estudantes do primeiro semestre da FI a nível estadual. Foi utilizado o método de análise psicométrico baseado na Teoria de Resposta ao Item, medindo atributos como o índice de discriminação, coeficiente de discriminação e o índice de dificuldade. Resultados. Da análise psicométrica realizada no exame, foram obtidos valores médios que superam o padrão em termos de índice e coeficiente de discriminação (.32), destacando-se os índices superiores ao padrão obtidos na unidade temática de maior relevância curricular para as disciplinas envolvidas. Conclusões. Os valores obtidos nos atributos de confiabilidade e validade permitiram evidenciar a qualidade do instrumento, tendo assim certeza do nível de domínio que os estudantes refletem em relação ao universo de conhecimentos representados na prova.

Translated abstract

Abstract Objective. The study presents the structure and components of a standardized departmental test applied to one of the subjects of outmost curricular relevance for the core curricula of the Faculty of Languages (FL). It also presents psychometric evaluation results of the evaluation performed on the test. Method. To conduct this standardized test, the study used the methodology developed by the Educational Research & Development Institute (Contreras Niño, 2000; Contreras Niño & Backhoff Escudero, 2004). The test is based on the proposed psychometric model by Nitko (1994), designed to construct large-scale criterion-referenced tests. The study sample consisted of 260 first-semester students from FL in the state. The psychometric analysis followed the Item Response Theory to measure features such as the discrimination index, discrimination coefficient, and difficulty index. Results. Average values obtained from the psychometric analysis of the test exceeded discrimination index and coefficient standards (.32), especially those obtained in the thematic unit of greatest curricular relevance for the studied subject. Also, a general average difficulty and an acceptable distribution of said difficulty in the items were observed. Conclusions. The obtained values for the reliability and validity features evidenced the instrument's quality. This directly contributes to the certainty of the level of mastery that the students show in relation to the knowledge universe represented in the test; this situation has a high impact because of the relevance of this subject.