Proyectos de investigación y desarrollo
FONDEF ID22I10228
Admisión universitaria más allá de la selección
El objetivo de este proyecto, que inició el 26 de octubre de 2022 y tiene una duración de 24 meses, es desarrollar una caracterización de niveles de desempeño en las Pruebas de Acceso a la Educación Superior (PAES) que informen acerca del nivel de preparación de los y las postulantes a diversas carreras, para un sistema de admisión universitaria más inclusivo, que no descarte a quienes pueden concluir con éxito estos estudios. Por primera vez en la admisión 2023, los puntajes en las pruebas de selección son interpretables producto del cambio en la metodología de cálculo. Esto permite determinar aquellos niveles de desempeño que correspondan teórica y empíricamente a niveles de preparación suficientes para la admisión en general (condición de habilitación para postular al Sistema de Acceso) como para conjuntos de carreras de diversa exigencia.
El resultado de este proyecto aporta en la solución de un problema de desajuste del sistema de admisión a las condiciones actuales, muy distintas de cuando se creó como un sistema selectivo. Actualmente, no se llenan las vacantes ofrecidas y existe una baja tasa de retención al segundo año universitario. Por otra parte, los avances en materia de equidad basados en la mejora de las pruebas de acceso, están acotados por las inequidades en los niveles educacionales previos, que no podrán ser corregidos por esta vía. Sin embargo, una política de cuotas de vacantes para poblaciones subrepresentadas en el sistema universitario, podría contribuir a resolver este problema, si se acompaña de criterios de acceso que consideren la necesidad de retener y graduar a los estudiantes admitidos basados en la información acerca de los niveles de preparación previos.
A lo largo del sistema universitario se han instalado programas de apoyo y acompañamiento, de manera que resulta relevante diferenciar entre los niveles de desempeño requeridos por cada programa y los niveles de desempeño que, aun siendo más bajos, pueden ser desarrollados con éxito cuando la universidad provee apoyos pertinentes. Estos distintos niveles de desempeño no pueden establecerse de manera puramente teórica, ya que su determinación debe estar respaldada empíricamente para poder entregar información de utilidad para las instituciones y en sintonía con lo que estas pueden ofrecer a las y los estudiantes matriculados.
En este proyecto se desarrollará una metodología de trabajo que integre la perspectiva teórica plasmada en los marcos de evaluación de las PAES y que orienta el desarrollo de las pruebas del sistema de acceso, con la evidencia empírica de la dificultad que dichas preguntas y los juicios de usuarios finales. Esto permite desarrollar descripciones preliminares de niveles de desempeño alineando lo empírico y lo teórico en “mapas” que caracterizan los niveles de preparación académica de los postulantes, sirviendo de base para guiar la construcción de pruebas futuras con la perspectiva de su uso en la determinación de estos niveles de desempeño.
Esta línea de trabajo implica:
- Revisión de las habilidades, conocimientos y competencias (HCC) asociadas a las evaluaciones realizadas en los últimos 5 años.
- Construcción de mapas de ítems con esta información que permita la asociación entre puntajes y estas HCC.
- Convocatoria de actores relevantes de universidades para la revisión y discusión de estos grupos de HCC.
- Desarrollo de descriptores consensuados representados en “mapas” de preparación académica asociados a rangos de puntajes.
El proyecto robustecerá el respaldo evidenciario de estos niveles de preparación académica en base a un estudio predictivo con estudiantes de distintos niveles en instituciones/programas que cuentan con programas remediales, propedéuticos o asociados a admisión especial. Esto permitirá levantar información fina de la progresión que las y los estudiantes consiguen en su primer año. Para ello se ha creado una alianza con instituciones universitarias para hacer seguimiento y reevaluación de los niveles de preparación no solo al momento de ingresar, sino también después de seis y doce meses para estudiar sus trayectorias y su alineamiento con los niveles de desempeño señalados.
FONDEF ID16I10090 e ID16I20090
Habilidades y competencias para la educación superior. Desarrollo de instrumentos y propuestas que aporten a un nuevo sistema de admisión
Entre los años 2017 y 2019, el DEMRE ejecutó el proyecto “Habilidades y Competencias para la educación superior. Desarrollo de instrumentos y propuestas que aporten a un nuevo Sistema de Admisión” cuyo producto final correspondió a una batería de 5 prototipos de instrumentos que miden competencias y habilidades fundamentales para la educación superior en las áreas de Lenguaje (Lectura y Escritura), Matemática, Ciencias y Habilidades Transversales.
Para la segunda etapa del proyecto, ejecutada entre 2020 y 2022, se propuso como objetivo transformar las pruebas desarrolladas en la primera etapa, en pruebas nacionales. Para ello, se propusieron dos líneas de trabajo interconectadas:
- La discusión de los Marcos de evaluación, que incluyó la realización de mesas consultivas con actores relevantes y de nuevas instancias de consulta con expertos de variadas áreas del conocimiento.
- La construcción focalizada de ítems que se basó en el análisis de atributos de los ítems que se desarrollaron en la primera etapa y que requerían una exploración más profunda con el fin de comprender a cabalidad su funcionamiento.
Además, se realizaron estudios de confiabilidad y validación que contribuyeron con información para dar a los instrumentos la robustez técnica necesaria para poder quedar disponibles para ser usados a partir de la admisión 2023. Se obtuvieron coeficientes de confiabilidad cercanos a 1 con una menor cantidad de ítems en comparación a las PSU y se recopiló evidencia de validez basada en distintas fuentes (contenido, procesos de respuesta y estructura interna).
El resultado de producción de esta segunda etapa corresponde a cinco instrumentos para medir competencias y habilidades fundamentales para la educación superior. En relación a los impactos de sus resultados, las Pruebas de Competencia Matemática y Lectora ya se encuentran en uso y fueron utilizadas en el proceso de admisión 2023 del Sistema de Acceso Universitario. Esto, a partir de un convenio firmado entre el DEMRE y la Subsecretaría de Educación Superior (mandante del proyecto).
Por su parte, la Prueba de Competencia Científica desarrollada en el marco de este proyecto se ha ido incorporando al módulo común de la PAES de Ciencias, cuyos módulos electivos de Física, Química y Biología están comenzando a transitar a pruebas que evalúan competencias. En el convenio firmado entre el DEMRE y la Subsecretaría de Educación Superior se acordó que para el proceso de admisión 2024, el módulo común de la PAES de Ciencias será reemplazado completamente por la Prueba de Competencia Científica.
El Cuestionario de Caracterización de la Experiencia Académica fue aprobado en diciembre del 2022 por el Comité de Acceso como instrumento del Sistema de Acceso a la Educación Superior, por lo que comenzará a ser utilizado oficialmente en el proceso de admisión 2024. La Prueba de Competencia Escrita se encuentra aún en etapa experimental, pues si bien hay gran consenso de su necesidad y la Mesa Técnica Internacional entregó un reporte con recomendaciones para su incorporación progresiva (experimental y diagnóstica), aún no hay decisiones oficiales del Comité de Acceso.