DEMRE de la Universidad de Chile cerró proyecto FONDEF que propone nuevos usos para los puntajes PAES
Con un seminario en la Facultad de Ciencias Físicas y Matemáticas de la Casa de Bello se puso fin al proyecto FONDEF “Admisión Universitaria más allá de la selección”, que desde 2023 viene desarrollando herramientas que permitan describir el nivel de preparación de las y los postulantes para ingresar a alguna carrera y concluirla con éxito.
El miércoles 25 de junio se efectuó en el auditorio D’Etigny de la Facultad de Ciencias Físicas y Matemáticas de la Universidad de Chile el seminario de cierre del proyecto FONDEF ID22I10228 “Admisión Universitaria más allá de la selección”.
Este proyecto, financiado por ANID (Agencia Nacional de Investigación y Desarrollo), comenzó a ejecutarse en 2023 y tiene por objetivo desarrollar herramientas que permitan avanzar hacia un sistema de admisión universitaria más equitativo e inclusivo a través del desarrollo de niveles de desempeño asociados a los resultados de las Pruebas de Acceso a la Educación Superior (PAES) y el Cuestionario de Caracterización de la Experiencia Académica.
El seminario fue inaugurado por el decano de la Facultad de Ciencias Físicas y Matemáticas de la U. de Chile, Francisco Martínez, quien destacó que el tema de la selección a la educación superior es y seguirá siendo relevante en la discusión por su complejidad. “Estoy orgulloso por nuestro sistema. (…) en comparación con otros países somos un sistema de los más elaborados y sofisticados ya que resuelve el tema de la selección”, formuló el decano.
Añadió, que “nos va a acompañar este desafío. Hemos tenido cambios de nombres de las pruebas en la medida que las hemos ido mejorando, pero eso muestra su dinámica y preocupación. Y quiero reconocer en el equipo del DEMRE y en el apoyo de todas las instituciones que esta prueba puede seguir desarrollándose y perfeccionándose”.
A continuación, la directora del DEMRE de la Universidad de Chile, Leonor Varas, recalcó en su discurso que este proyecto crea herramientas que abordan el hecho de que nuestro sistema universitario mayoritariamente no es selectivo, sino masivo, pero que siempre hay que cautelar que quienes ingresan a una carrera puedan avanzar y titularse. “Para garantizarlo, se necesitan herramientas como las que construye este proyecto que se basa en información cualitativa que entrega la PAES y no solo un puntaje”, resaltó.
Además, explicó que este proyecto FONDEF se pudo efectuar gracias a los cambios en las pruebas, pasando de la PSU a la PAES, lo que implicó que ya no se normalicen los puntajes.
Los detalles y alcances de este proyecto fueron presentados por Daniela Jiménez, jefa del Área de Instrumentos del DEMRE y directora del proyecto, quien detalló que se pone énfasis en los niveles de desempeño porque los puntajes PAES permiten ordenar postulantes en ciertas carreras con alta demanda, pero no se puede aplicar al sistema completo.
“Vimos que podía sacarse más provecho a la información que entregan las PAES, más allá del puntaje. Este es un paso natural. El objetivo general del proyecto es desarrollar una caracterización cualitativa de rangos de puntajes de las PAES ordenados como niveles de desempeño que finalmente nos entregaran información de la preparación que tienen los estudiantes cuando ingresan a la educación superior”, remarcó Jiménez y explicó que para elaborarlo además de las dos PAES obligatorias -Competencia Lectora y Competencia Matemática 1-, se consideró el Cuestionario de Caracterización de la Experiencia Académica que las y los postulantes responden al momento de inscribirse a la PAES.
Respecto a sus eventuales usos, la experta indicó que se espera que los niveles de desempeño sean un insumo para el diseño de prácticas pedagógicas, estrategias de acompañamiento y apoyo académico, promoviendo el aprendizaje en un contexto de creciente masificación y diversificación del estudiantado en la educación superior.
Por otra parte, Bruna Sciolla, profesional del área de Instrumentos del DEMRE, presentó el estudio donde se describen los distintos usos que se les pueden dar a los niveles de desempeño, los que entregan a las universidades descripciones sustantivas del nivel de competencias de los estudiantes con el propósito de informar la toma de decisiones institucionales respecto al sistema de apoyos que favorecen el aprendizaje y la transición a la educación superior.
Sciolla explicó que se hizo un trabajo en dos etapas: en la primera, se efectuó la exploración sobre mecanismos para diseñar actividades de acompañamiento estudiantil; en la segunda, se hizo indagación respecto a la interpretación y el uso de niveles de desempeño. En este caso participaron tres tipos de usuarios: las unidades de desarrollo curricular, las unidades de acompañamiento estudiantil y docentes de primer año de diversas carreras universitarias.
Acerca de los resultados, indicó que estos se organizaron según usos potenciales, interpretaciones (puntos críticos y sugerencias) y los factores facilitadores u obstaculizadores. “Los participantes valoraron mucho contar con información cualitativa porque les permite saber qué significa tener cierto puntaje”, afirmó Sciolla.
El impacto y utilidad de los niveles de desempeño
Durante el seminario se llevaron a cabo dos paneles de conversación donde se comentaron los desafíos y objetivos que tuvo este proyecto. En el primero de ellos, denominado “¿Cómo aporta este proyecto al futuro del sistema de admisión?” participaron el director general estudiantil de la Vicerrectoría Académica de la Universidad Católica de Temuco (UCT) Rodrigo del Valle, y la rectora de la Universidad Santo Tomás, Claudia Peirano.
La rectora Peirano destacó que el sistema de admisión es relevante para la política pública del país y que, según su perspectiva, seguirá siendo masivo, más flexible y permitirá el ingreso de personas de mayor edad. “El desafío es que (el sistema) permita discriminar e identificar distintos niveles cognitivos para seguir exitosamente una carrera en educación superior”, afirmó la rectora de la Universidad Santo Tomás e integrante del Comité Técnico de Acceso.
Rodrigo del Valle participó en el proyecto “Admisión Universitaria más allá de la selección”, y destacó que el cambio de nombre de las pruebas, que pasó de ser “una Prueba de Selección a una Prueba de Admisión es sustancial y eso ha pasado desapercibido”. “Excluye menos a los jóvenes”, indicó.
Sin embargo, formuló del Valle, que las universidades deben jugar un rol clave para trabajar con los niveles de desempeño, “especialmente en cuanto a la pertinencia, utilidad y socialización de esta información. Porque efectivamente construirlos requiere un manejo técnico muy delicado que las universidades no manejan, y sí centros especializados como el DEMRE u otros. Pero el valor agregado es ver cómo sea útil ese nivel de desempeño. Muchas veces tenemos datos fantásticos y no los usamos”, enfatizó la autoridad de la UCT.
El segundo panel se tituló “La utilidad de los niveles de desempeño desde la perspectiva de los usuarios”, y en él debatieron Lorena López, directora del Departamento de Educación de la Facultad de Humanidades de la Universidad de Santiago de Chile, USACH; Anita Rojas, subdirectora del Departamento de Pregrado de la Universidad de Chile, y Verónica Santelices, académica de la Facultad de Educación de la Pontificia Universidad Católica de Chile.
“Salir del puntaje y reconocer qué nos permite hacer esos números es un avance. Nos permite hacer un seguimiento más robusto al estudiante. Que nos permita incorporar otras características es positivo, porque la trayectoria y el éxito no sólo dependen del nivel de desempeño ni del puntaje asociado, sino que también de quién es cada uno de ellos (los estudiantes)”, comentó Lorena López.
Anita Rojas, por su parte, precisó que “llevamos muchos años desarrollando programas de acompañamiento y esta información nueva (los niveles de desempeño) permitiría hacer una evaluación profunda de qué estamos haciendo, cómo lo estamos haciendo y cómo contribuir a diseñar una segunda o tercera etapa de acompañamiento más pertinente. Tenemos mucha información de diagnóstico, pero que nos compartan información con este nivel de precisión nos va a ayudar a trabajar de manera más pertinente”, dijo.
Verónica Santelices agregó que, a su juicio, pueden haber tres posibles usos a nivel institucional de los niveles de desempeño: “un uso en el acompañamiento estudiantil, diseño y evaluación. Segundo, el docente en sala de clases, usando activamente esta información, y una tercera mirada de, ojalá, informar y diseñar trayectorias diferenciadas o cursos modulares, reconociendo desde dónde parte cada estudiante y dándole la opción de iniciar en distintos puntos ese recorrido, de manera de personalizarlo y tener una mejor probabilidad de una experiencia positiva (en la universidad)”.
Origen y objetivos del proyecto
Desde octubre de 2022, el Departamento de Evaluación, Medición y Registro Educacional (DEMRE) de la Universidad de Chile lidera el proyecto FONDEF ID22I10228 “Admisión Universitaria más allá de la selección”, cuyo objetivo fue avanzar hacia un sistema de admisión universitaria más equitativo e inclusivo, a través del desarrollo de niveles de desempeño en las Pruebas de Acceso a la Educación Superior (PAES) y el Cuestionario de Caracterización de la Experiencia Académica.
El propósito principal del proyecto fue caracterizar los niveles de preparación académica del estudiantado que postula a la universidad, ofreciendo información útil para las instituciones de educación superior. Comprender qué implican, por ejemplo, 500 o 600 puntos en términos de los conocimientos y habilidades que posee el estudiantado abre la posibilidad de que las universidades se preparen de mejor manera para recibirlo.
En términos concretos, este proyecto desarrolló una metodología que articula la perspectiva teórica contenida en los marcos de evaluación de las PAES —que orientan el diseño de estas pruebas— con la evidencia empírica sobre la dificultad de los ítems y la perspectiva de potenciales usuarios del sistema. Esta integración permitió construir descripciones preliminares de niveles de desempeño, alineando teoría y evidencia en “mapas” que caracterizan los niveles de preparación académica del estudiantado.
Ello implicó:
- La revisión de las habilidades y conocimientos evaluados en las pruebas de acceso en los últimos 5 años.
- La elaboración de mapas de ítems en los cuales se asocian rangos de puntaje con estas habilidades y conocimientos.
- El desarrollo de descriptores consensuados de niveles de preparación académica, representados en mapas vinculados a intervalos de puntaje.
- La convocatoria de actores relevantes del sistema universitario para la revisión y discusión de estos agrupamientos en función de sus potenciales usos.