DEMRE destacó la validez predictiva de la PAES en importante congreso internacional
La participación se enmarcó en un simposio organizado por el Departamento, el que contó con cuatro presentaciones sobre admisión universitaria, sus cambios y desafíos actuales, y con dos presentaciones que abordaron líneas de investigación asociadas al Cuestionario de Caracterización de la Experiencia Académica. A esta actividad se sumó la participación de otros profesionales en el II Seminario de Psicometría y Variables Latentes, cerrando así un mes de activa participación del DEMRE en jornadas de investigación.
Integrantes del DEMRE que participaron en el segundo Congreso Internacional organizado por la Asociación Chilena de Metodología, Medición y Evaluación (ACMME) desarrollado por la U. La Serena: Paulina García, Bruna Sciolla, Isidora Naranjo, Victoria Florenzano, Ingrid Oyarzún, Eduardo Alarcón y Camilo Toncio.
Entre el 7 y el 9 de enero se llevó a cabo el Segundo Congreso Internacional organizado por la Asociación Chilena de Metodología, Medición y Evaluación (ACMME). La instancia se desarrolló en la Universidad de La Serena y propició un espacio de encuentro e intercambio de conocimiento entre investigadores y estudiantes de posgrado, enfocado en las áreas de metodología de la investigación, construcción de instrumentos y evaluación.
La participación del DEMRE se concentró durante el jueves 8 y viernes 9 de enero. En la mañana del jueves se desarrolló el simposio “Transformaciones en el proceso de admisión universitaria en Chile: historia, cambios y desafíos actuales”, organizado por el propio Departamento. La instancia de reflexión recorrió la evolución del sistema de acceso a la educación superior y los desafíos que enfrenta en la actualidad.
Durante la tarde del jueves, se presentó la ponencia “Análisis de perfil latentes para la detección de patrones de respuesta inconsistente en escalas socioemocionales”, mientras que el viernes por la tarde se expuso “Ventajas de la Teoría de Respuesta al Ítem para la interpretación de resultados mediante niveles de desempeño en instrumentos socioemocionales”. Ambas presentaciones estuvieron centradas en líneas de investigación asociadas a las escalas evaluadas en el Cuestionario de Caracterización de la Experiencia Académica.
El simposio contó con exposiciones de especialistas del Área de Análisis y Gestión de Datos. Su jefa, María Inés Godoy, presentó un examen crítico del Ranking de Notas y su tránsito hacia el llamado “ranking puro”, que se implementará a contar de la Admisión 2028. Por su parte, el investigador Eduardo Alarcón, abordó la historia del sistema, desde el Bachillerato hasta la actual PAES. Mientras que Pablo Espinoza, profesional del área, revisó los principales cambios metodológicos en la transición de la PSU a la PAES.
Uno de los puntos más destacados de la jornada estuvo a cargo de Victoria Florenzano, también profesional del área, quien fue la encargada de profundizar en los estudios de validez predictiva de la PAES. En ese sentido, presentó un análisis de la relación entre los puntajes de cada prueba y la Tasa de Avance Curricular por área de conocimiento. “Los resultados indican que, en la mayoría de las áreas, la PAES presenta asociaciones fuertes con el rendimiento universitario, observándose magnitudes superiores a las registradas en la última aplicación de la PSU”, destaca Victoria. Además, se presentó a los asistentes la nueva metodología que el DEMRE viene implementando desde el año pasado para evaluar la capacidad predictiva a lo largo de toda la escala de puntajes, una propuesta que ofrece una mirada más detallada del comportamiento de la prueba.
La presentación tuvo una excelente recepción entre las y los asistentes, quienes valoraron el rigor metodológico y se generó una enriquecedora discusión sobre el rol y la responsabilidad de las pruebas de admisión, destacando cómo este tipo de investigaciones contribuye a la mejora continua del Sistema de Acceso a la Educación Superior.
Durante la tarde, fue el turno de Bruna Sciolla e Isidora Naranjo, profesionales del Área de Instrumentos que participaron con presentaciones individuales en las Mesas Técnicas “Estudios de invarianza y equiparación” y “Aplicaciones de la Teoría de Respuesta al Ítem”, respectivamente.
Al respecto, Bruna Sciolla destacó que este tipo de instancias resulta especialmente provechosas tanto para quienes participan directamente en ellas, como para los equipos de los que forman parte. "Fue muy enriquecedor compartir con otras instituciones e investigadores algunas de las líneas que estamos desarrollando en el DEMRE. Las sugerencias que recibimos nos están permitiendo afinar y repensar distintos aspectos metodológicos de nuestras propuestas. Y, a su vez, conocer lo que se está haciendo en otros espacios nos ha servido para transferir nueva evidencia a nuestros equipos".
María Inés Godoy coincide en este análisis, destacando que "más allá de la divulgación, participar en ACMME nos permite fortalecer redes con la comunidad académica y potenciar el desarrollo de nuestros equipos técnicos. Este intercambio es vital para robustecer nuestros procesos, posicionando al DEMRE como un referente activo y a la vanguardia en la región".
El DEMRE en el II Seminario de Psicometría y Variables Latentes
Camila Echeverría, profesional del área de Análisis y Gestión de Datos, durante el Segundo Seminario de Psicometría y Variables Latentes organizado por el Laboratorio Interdisciplinario de Estadística Social (LIES) de la Pontificia Universidad Católica de Chile.
El viernes 16 de enero, Carlos Cayumán, jefe de la Unidad de Análisis de Datos, y Camila Echeverría, profesional del área de Análisis y Gestión de Datos, participaron en el Segundo Seminario de Psicometría y Variables Latentes organizado por el Laboratorio Interdisciplinario de Estadística Social (LIES) de la Pontificia Universidad Católica de Chile, enmarcado en el proyecto Fondecyt de Iniciación 11251581 de la investigadora Inés M. Varas.
La actividad reunió a académicas/os e investigadoras/es de diferentes instituciones, entre ellas la Universidad de Lancaster (Reino Unido), la Universidad Católica del Maule y la propia Universidad Católica de Chile.
En la instancia, Carlos Cayumán presentó un estudio desarrollado en conjunto con el Área de Instrumentos, basado en las Simulaciones PAES (pilotos) de Competencia Matemática 1 (M1) y Competencia Matemática 2 (M2). El objetivo del trabajo fue identificar características de los ítems que influyen en su nivel de dificultad para perfeccionar su construcción futura.
El estudio fue modelado mediante un Linear Logistic Test Model (LLTM), utilizado por primera vez en este tipo de análisis dentro del DEMRE, y se enmarca en la Teoría de Respuesta al Ítem adoptada desde la Admisión 2023. Sobre la relevancia de estas instancias, Carlos Cayumán destacó que “son una vitrina ideal para que nuestra institución pueda mostrar todo el trabajo que realiza más allá de la PAES”, subrayando además su valor para el intercambio profesional y la mejora continua de los procesos de evaluación.
Por su parte, Camila Echeverría presentó una propuesta innovadora orientada a reducir el sesgo por azar en los ítems de la PAES. Su exposición recorrió el proceso investigativo desde los modelos de mixtura híbrida hasta una propuesta propia que optimiza la detección de comportamientos aleatorios a partir del análisis de verosimilitudes en los patrones de respuesta, con menor costo computacional y mayor viabilidad de implementación.
Camila subrayó que este tipo de seminarios “permite visibilizar el rigor técnico de la labor realizada por el DEMRE” y, al mismo tiempo, favorecen el intercambio con especialistas, fortaleciendo la calidad de los procesos y la transparencia en los esfuerzos de mejora continua.
Carlos Cayumán, jefe de la Unidad de Análisis de Datos del DEMRE, presentó un estudio desarrollado en conjunto con el Área de Instrumentos, basado en las Simulaciones PAES (pilotos) de Competencia Matemática 1 (M1) y Competencia Matemática 2 (M2).