Leonor Varas: “Para mí lo más importante es que los equipos del DEMRE se sientan orgullosos de su trabajo”

La directora del Departamento de Evaluación, Medición y Registro Educacional (DEMRE) cumplió 10 años a la cabeza de esta institución de la Universidad de Chile. Asegura que en este tiempo “ha pasado de todo”, momentos complejos, como aplicar las pruebas durante el estallido social y en pandemia. Pero también otros satisfactorios, como el anhelado paso de la PSU a la PAES, en 2022. Su dedicado trabajo la llevó a ser distinguida con la Condecoración al Mérito Amanda Labarca en 2023, que para ella no sólo la reconoce personalmente, sino que a todos los equipos del DEMRE, los que, enfatiza, realizan una “tarea heroica y comprometida con el bien público”.

¿Qué la instó a tomar el desafío de la dirección del DEMRE?

“Antes de asumir el cargo ya pensaba que el DEMRE hacía un trabajo muy importante, pero que era poco reconocido. Esta opinión la formé porque hice preguntas para la específica de matemática de la Prueba de Aptitud Académica (PAA) y también para la Prueba de Selección Universitaria (PSU) de Matemática. Además, había trabajado con equipos del DEMRE en un proyecto para crear las pruebas Inicia que debían evaluar a las y los profesores en formación antes de recibirse. Conocía y valoraba su trabajo, y cuando la rectora de la Universidad de Chile, Rosa Devés -que en ese momento era nuestra Vicerrectora Académica- me ofreció el puesto, le dije inmediatamente que sí. Fue tal mi entusiasmo que ella se sorprendió de lo decidida que estaba”.

Entiendo que antes de tomar la decisión recibió comentarios que la hicieron dudar…
 
“Recibí comentarios de algunas autoridades que, cuando les fui a preguntar su opinión, me respondieron que no tomara el cargo. Uno de ellos decía que nunca se podía estar tranquilo y que en los días de aplicación de las pruebas simplemente no se dormía por temor a que pasara algo. También, había gente crítica al DEMRE y a la PSU, y que consideraba que ser directora del DEMRE era un cargo ingrato. Pero vuelvo a la respuesta de arriba: no valoraban a este departamento, porque no conocían de cerca su trabajo y el DEMRE era poco dado a mostrarse. Una de las cosas importantes de nuestro sistema de selección es que para asignar postulantes a vacantes usamos un algoritmo sofisticado del tipo Gale-Shapley (que se conoció originalmente como el de los matrimonios estables). Es tan importante, que uno de sus autores (Shapley) y uno de sus desarrolladores (Roth) –ambos matemáticos- fueron distinguidos con el Premio Nobel de Economía en 2012. Al parecer, en el DEMRE tuvimos la aplicación más temprana y masiva de ese algoritmo en el mundo, según descubrieron investigadores chilenos hace no tanto tiempo. A nivel público, en Chile se piensa que la asignación de vacantes que hace el DEMRE es simple y tan natural como la lluvia y no se le atribuye mayor valor”.

Usted es la primera mujer directora del DEMRE. ¿Tuvo alguna dificultad en asumir este cargo históricamente liderado por hombres?

“Antes de que yo llegara hubo directoras subrogantes. Dicho eso, igual fue un proceso duro llegar a dirigir este departamento. No solo por el machismo que existía dentro de la institución misma, sino también porque el DEMRE tenía importantes déficits de equipamiento, de planta física, de planta profesional, de presupuesto. Si bien yo conocía al DEMRE, no había visto sus precariedades. Ahora, si yo pude marcar una diferencia, fue porque siendo académica (y antigua), de cierta forma tenía más poder que otros en mi cargo, tenía más redes de apoyo, más contactos y más puertas a las que podía golpear, además de una mayor libertad. Por ejemplo, la primera vez que me invitaron a una entrevista en televisión, me advirtieron en el DEMRE que necesitaba pedir permiso a la Vicerrectora Académica para aceptarla, lo que me pareció absurdo y, por supuesto, acudí sin el permiso. Hubo críticas por aparecer en la prensa dando opiniones. Me dijeron por ahí que el DEMRE era un ‘organismo técnico’ que no debía opinar”.

“En ese contexto”, continúa Varas, “se entiende que el DEMRE no apareciera públicamente y, por lo mismo, teníamos fama de ser una institución algo opaca y hermética. Esa percepción hubo que ir cambiándola”.

“Por otra parte, a mi llegada el ambiente laboral era bien difícil. Habían ocurrido desvinculaciones y no renovaciones de contrato, y por lo mismo había temor y desconfianza entre colegas y con las jefaturas intermedias. Recorrí cada unidad, dando seguridad de que no se despediría a nadie y que, por el contrario, necesitábamos crecer, fortalecernos técnicamente, contratando nuevas personas para mejorar y actualizar las capacidades y los procesos. Claro que para lograr aquello, mi primera lucha sería aumentar nuestro presupuesto y mejorar nuestra planta física”.

Los equipos DEMRE, en general, son liderados por mujeres. ¿Eso le ha facilitado su trabajo hoy?

“Sí, me lo ha facilitado porque, en general, las mujeres han sido muy buenas incorporaciones. Aunque esta facilidad no tiene tanta relación con que sean mujeres u hombres, sino con que son personas preparadas en su área de trabajo y con capacidad de liderazgo”.

Luego de una década en este departamento de la Universidad de Chile, ¿considera que ha logrado los objetivos con los que llegó?

“Siento que se ha logrado mucho más de lo que en algún momento pensé que se podía hacer. Lo digo, porque al comienzo los cambios eran resistidos no solo por las autoridades de las universidades del CRUCh, sino al interior del DEMRE, comprensiblemente pues era un camino lleno de incertidumbre y grandes desafíos. Finalmente, se hizo un trabajo delicado y riguroso que, de a poco, fue involucrando a todo el Departamento. La PAES es obra del DEMRE de la Universidad de Chile, cuyas autoridades comprendieron y apoyaron este camino de transformaciones, especialmente la actual rectora, Rosa Devés, en su calidad de Vicerrectora Académica y por su nivel de conocimiento y compromiso con el progreso del sistema de admisión a las universidades. Su apoyo fue determinante para el éxito de esta tarea”.

Ya mencionó a la rectora Devés. ¿Hubo otras personas en que encontró apoyo en el ejercicio de su cargo?

“También en el ex subsecretario de Educación Superior Juan Eduardo Vargas, quien, al comienzo de su gestión, tardó en recibirme. Pero una vez que nos reunimos, asumió como prioridad las transformaciones a las pruebas y el mejoramiento del Sistema de Acceso a las universidades. Eso es significativo porque su cargo incluye muchas otras responsabilidades. Estaba muy comprometido con el trabajo del DEMRE y con que las aplicaciones salieran lo mejor posible, sobre todo, en contextos bien complicados, como el estallido social y la pandemia por covid-19”.

El paso de la PSU a la PAES

¿Cuál ha sido el mayor desafío que ha tenido en estos 10 años?

“Sin dudas pasar de la PSU a la PAES. El reemplazo de las pruebas se posibilitó por el cambio de gobernanza del sistema de admisión, en 2019, de acuerdo a la Ley 21091 que otorga la responsabilidad del sistema al Comité Técnico de Acceso del Subsistema Universitario, integrado por siete rectores/as y liderado por el/la subsecretario/a de Educación Superior, cargo que también fue creado por esta ley. Fue este primer Comité, liderado por Juan Eduardo Vargas, el que aprobó este cambio apenas una semana antes del estallido social que, entre otras demandas, pedía el fin de la PSU. Da para pensar acerca de cómo este tema había madurado a muchos niveles en paralelo. Y en el DEMRE nos adelantamos, construyendo pruebas experimentales alternativas a la PSU, gracias a una correcta lectura de una crisis en marcha”.

¿Por qué era tan importante cambiar las pruebas?

“Porque tenían deficiencias técnicas advertidas por expertos y auditorías internacionales y porque eran injustas al preguntar extensamente el currículo de enseñanza media, incluyendo materias a las que una parte importante de la población no tenía acceso, es decir, estudiantes que no habían tenido la oportunidad de aprenderlas. Esto llegaba a tal punto que hay una demanda en la Corte Interamericana de Derechos Humanos por el daño que la PSU causó a 17 generaciones de estudiantes de colegios técnico-profesionales”.

“Además”, explica la autoridad, “esa prueba nunca tuvo legitimidad social lo que se hizo más notorio año tras año. Lo que ocurrió en el estallido fue, como se dice, prenderle fuego a una pradera que ya estaba seca”.

Una de las afirmaciones que más se repite es que la PAES, al menos la de Competencia Matemática 1 (M1), es más fácil que la PSU. ¿Eso es correcto?

“Es correcta la afirmación sólo en el caso de M1. Los cambios en las otras pruebas no se refieren a la dificultad. Todas las auditorías internacionales dijeron que la PSU de Matemática era muy difícil para toda la población que la rinde (era una prueba obligatoria) y que había que dividirla en dos. La actual prueba obligatoria de Competencia Matemática, es decir la PAES M1, por diseño debe ajustarse a la población para medir con precisión las habilidades de la mayoría de las personas que la rinde, y la PAES M2 debe medir habilidades más avanzadas en matemática, para poder distinguir con precisión a postulantes que desean ingresar a carreras donde esas habilidades son necesarias”.

“Ahora, ¿qué significa evaluar con precisión? A mí me gusta poner de ejemplo la imagen de una competencia de salto alto, que debe ordenar a toda la población de acuerdo a la altura que cada uno/a es capaz de saltar. Si para ello partes poniendo la vara en 1,5 metros y la vas subiendo para ordenar a los que saltan más alto que 1,5 metros, es bastante obvio que no podrás ordenar según este criterio a los que saltan menos de eso. De ellos lo único que podrás decir es que no saltan un metro y medio. Exactamente eso es lo que hacía la PSU de Matemática, que partía con un nivel de dificultad alto y, por lo tanto, dejaba a una gran parte de las personas que la rendían con puntajes contaminados por la suerte: muchos trataban de adivinar respuestas a preguntas que no sabían responder. Para mayor gravedad, se tomaban decisiones de admisión con estos puntajes contaminados”.

“En una prueba obligatoria como la PAES M1 necesitamos ordenar a la gran mayoría de la población. Por lo tanto, se debe partir con varas más bajas, es decir, con preguntas más básicas. Y como no podemos tener pruebas muy largas (no queremos medir la resistencia), la PAES M1 no tiene suficientes preguntas difíciles y, por lo mismo, no puede ordenar bien a quiénes tienen altas habilidades. Entonces, para eso está la PAES M2. M1 y M2 son pruebas complementarias”.

Con la entrega de resultados de la PAES Regular se suele decir que se está consolidando un sistema de admisión más estable…

“No me gusta mucho ese término, porque se puede entender como que a la PAES no la observamos ni mejoramos. Y eso es lo contrario de lo que prometimos y hacemos. No solo la estamos examinando permanentemente en el DEMRE, sino que además convocamos Mesas Técnicas, Comisiones de Expertas y Expertos, un Comité Científico Internacional, es decir, miradas externas e independientes. Además, publicamos las pruebas recién rendidas y Datos Abiertos con todos los resultados de los procesos de inscripción, rendición, postulación y matrícula, desde el 2004 hasta ahora, junto con un manual de uso para facilitar los análisis independientes. Eso es lo que se ha consolidado, más que la PAES misma. Esa transformación de cómo ‘vive’ la PAES y el sistema de admisión a las universidades es lo realmente distinto de cómo fue la PSU”.

“Al crear la PAES anunciamos que no quedaría escrita en piedra. Seguiremos con los diálogos técnicos, políticos y sociales como prometí en mi llegada al DEMRE, única forma de preservar la pertinencia, la calidad técnica y la legitimidad social de las pruebas y del sistema de admisión”.

Siempre ha manifestado preocupación por los grupos desfavorecidos por la PSU, como las y los estudiantes de colegios municipales/SLEP y técnico-profesionales. ¿Por qué ese énfasis?

“Francisco Javier Gil -fallecido académico de la USACH que impulsó, entre otras iniciativas, el Ranking de notas y el programa PACE- tenía razón cuando decía que el talento está igualmente distribuido. Nadie podría aceptar que a los finlandeses o a los de Singapur les va estupendo en las pruebas internacionales por una cuestión de raza. Sabemos que el cerebro se desarrolla con el aprendizaje. Es decir, la educación hace que te vuelvas más inteligente”.

“Como vivimos en un país con una gran segregación socioeconómica a nivel educacional debemos hacernos cargo de que hay una gran coincidencia entre los resultados en las PAES y los tipos de colegios de los cuales provienen los participantes, lo que a su vez está asociado al nivel socioeconómico de las familias”.

“Las universidades saben que no hay excelencia sin diversidad y ahí está nuestro énfasis: queremos mejoras al Sistema de Acceso que permitan, por ejemplo, que más mujeres ingresen a carreras masculinizadas o que ingresen más estudiantes provenientes de la educación pública o TP en carreras donde predominan las y los egresados de la educación particular pagada. La idea es mezclarse y, con ello, lograr universidades de excelencia y que aporten a la cohesión social que tanto necesita nuestro país.”.

¿Cómo definiría la responsabilidad social en el DEMRE y cómo se expresa en la ciudadanía?

“Todos tenemos responsabilidades sociales y con mayor razón quienes como nosotros, construimos y aplicamos una prueba de tan altas consecuencias, cuyos resultados tienen impactos sociales. Sabemos que hay diferencias importantes en el acceso a una educación escolar de calidad y que eso produce brechas en los resultados de las pruebas, que éstas no pueden borrar. Pero nosotros nos tenemos que preocupar de evitar todo aquello que pueda producir una desventaja a algún sector de la población. Nuestras pruebas deben ser imparciales, ecuánimes. También debemos preocuparnos de las condiciones de aplicación de las pruebas, que deben ser, en lo posible, iguales para todos. Pero todo esto no es independiente sino parte de la calidad de la prueba. Si nuestra tarea es medir con precisión las competencias en cada una de las disciplinas evaluadas, entonces obligatoriamente debemos evitar cualquier interferencia que pueda contaminar esa medida. Por eso debemos proveer ajustes para que las personas en situación de discapacidad puedan rendir las pruebas y debemos tratar de evitar situaciones que aumentan la ansiedad al rendir, como son largos o complicaos traslados al local de rendición. Tratamos de incorporar más sedes de rendición todos los años y cuidamos que en nuestras preguntas no haya contextos que pudieran complicar el ánimo de alguien. Otra preocupación que tiene que ver con que la prueba sea justa es no preguntar aquello que un sector de la población no tuvo la oportunidad de aprender. Es decir, nuestra responsabilidad social es inherente a nuestra tarea de medir con precisión. Es parte de la calidad de las pruebas”.

El Comité Científico Internacional y lo que viene

Desde el año pasado, un Comité Científico Internacional está trabajando para entregar propuestas de mejoras para las pruebas y para el Sistema de Acceso a la Educación Superior. ¿Por qué es importante que este comité, externo al DEMRE, genere propuestas?

“Siempre es relevante contar con miradas externas e independientes sobre nuestro trabajo. Estas son instancias muy valiosas, enriquecedoras. Además, el Comité hará recomendaciones de mejoras, ya sea a nosotros como DEMRE o al Comité Técnico de Acceso. Me parece importante aclarar que este comité analiza propuestas nuestras. Responde a preguntas que les hemos hecho, pero, por supuesto, también indaga en profundidad, solicita antecedentes y revisa lo que estamos haciendo para poder abordar seriamente nuestras propuestas y preguntas. El intercambio que se genera con este Comité y con todos los comités de expertos y expertas que hemos tenido, produce diálogos y discusiones que posibilitan el surgimiento de nuevos temas. Estoy convencida de que debemos seguir creando instancias para conversar esos temas y del futuro. Me inspira mucho la consigna ‘tenemos que hablar de Chile’ y, a riesgo de parecer copiona, creo que debemos decir: ‘tenemos que hablar de la PAES’”.

Más allá de lo que recomiende el Comité Científico, a su juicio, ¿cuál es el camino de ahora en adelante?

“Lo que recomiende el Comité tiene que ser presentado al Comité Técnico de Acceso, que tiene la responsabilidad de tomar las decisiones y, por lo tanto, analizar las propuestas (que son técnicas) considerando otros elementos importantes para su implementación. También es bueno que exista esa mirada del sistema en su conjunto. Lo que se haga con las pruebas y el sistema de admisión impacta en la educación media y en la educación superior. Y el Comité Técnico de Acceso es responsable de todos esos impactos. No es una tarea sencilla”.

El DEMRE no solo elabora las pruebas, sino que también produce conocimiento en torno a este instrumento. ¿Por qué era relevante potenciar el área de Investigación y Desarrollo?

“Porque las pruebas no pueden estancarse o cristalizarse, como dijo Sabina Orellana (ex presidenta de la FEUC) en el Debate: Presente y Futuro del Sistema de Acceso a las Universidades que organizamos en 2023. Tenemos que estar siempre adelantándonos a los posibles problemas y, así, ir adaptándonos a las necesidades. Para eso es fundamental el área de Investigación y Desarrollo.

“Si uno analiza el proyecto FONDEF Admisión universitaria más allá de la selección que está por finalizar, éste aborda un problema que todavía no existe, pero que sabemos que va a venir: regular el sistema centralizado de asignación de vacantes, en un contexto universitario masivo donde conviven carreras muy selectivas con otras muy inclusivas. Nuestro sistema de admisión sabe hacer muy bien lo primero: seleccionar. En el segundo caso, en carreras donde el número de postulantes no es mayor al número de vacantes ofrecidas, las decisiones de admisión responsables deben basarse en criterios y no solo en el orden de la lista de puntajes, para admitir a estudiantes que van poder progresar en ellas y titularse. Esto varía mucho entre carreras y universidades y obviamente depende también de los apoyos que la universidad dispone para ello, no solo de la preparación de los postulantes.  Es clave la retención (que los estudiantes permanezcan y concluyan sus estudios). Por eso, preparamos herramientas de manera de que cuando se decida hacer cambios, estos se hagan en base a elementos que se han probado con suficiente investigación".

Con los cambios al Sistema de Acceso y a las pruebas, ¿cree que ha cambiado la percepción ciudadana sobre el rol del DEMRE? ¿Cómo lo podemos notar?

“Ha cambiado, de todos modos. Ahora nos invitan a distintos eventos y la prensa nos trata mejor, porque la ciudadanía está más informada de las tares titánicas que realizamos. Nuestra obligación es seguir mostrando lo que hacemos y realizarlo cada vez mejor. Además de no parar con la investigación y el desarrollo”.

Siempre ronda el fantasma de aquellos que plantean que las pruebas no son el camino para seleccionar el ingreso a las universidades. A estas alturas, ¿qué les responde?

“Hay evidencia de que el ingreso a las universidades sin pruebas reproduce aún más las desigualdades sociales de origen. En Estados Unidos, donde muchas universidades dejaron de lado las pruebas estandarizadas para considerar ‘otros talentos’, se ha producido una mayor segregación de la educación superior y las personas más pudientes han aumentado su participación en el estudiantado de las mejores universidades. De hecho, en febrero de 2020 se publicó un gran estudio del Senado del muy prestigioso UC System, el sistema de universidades públicas de California, que concluyó que todas las alternativas a las pruebas eran más inequitativas. Cuando se pedían cartas de recomendación o ensayos acerca de la motivación para ingresar a esas universidades, la población que salía perjudicada con las pruebas terminaba siendo más perjudicada aún. A esto hay que agregar la opacidad que se introduce y la falta de objetividad cuando corresponde a distintos jueces ponderar estos escritos. En otra investigación doctoral se concluyó que dar puntos por acciones de apoyo a la comunidad o de liderazgo escolar (que parecía excelente idea) tampoco resultaba, porque los postulantes provenientes de entornos más precarios no tenían tiempo para esas actividades, pues tenían que trabajar para generar ingresos”.

“Ha habido un interesante debate acerca del mérito, que es muy importante y serio. Es algo que debe interesarnos. Lamentablemente se producen tergiversaciones y se repiten consignas con liviandad. Se dice que el filósofo Michael Sandel en su libro La tiranía del mérito propone eliminar las pruebas y hacer sorteos para seleccionar a quienes ingresan a la universidad. Pero lo que él propone es en realidad algo bien distinto: que las comisiones de profesores que analizan los documentos presentados por los postulantes, seleccionen al doble o al triple de postulantes ‘preparados’ que el número de vacantes ofrecidas y que, entre ese conjunto de postulantes preparados para realizar exitosamente sus estudios universitarios, se sorteen las ‘vacantes disponibles’. La idea de determinar conjuntos de personas ‘preparadas’ para ingresar a tal o cual carrera (para lo cual podrían servir los niveles de desempeño en los que trabajamos con el FONDEF) permitiría seleccionar luego de entre ellas con otros criterios, por ejemplo, de equidad, o de participación de poblaciones subrepresentadas – como género o etnia o rama educacional del colegio de origen – o talentos deportivos o artísticos. Es una idea interesante y útil para la incorporación de cuotas o para los ingresos especiales”.

“Sabemos que las pruebas no pueden detectar otros atributos distintos de la competencia en la disciplina evaluada. Y de ellos hay algunos importantes para el éxito en los estudios universitarios. Eso es lo que intentamos capturar al incorporar como condición de habilitación para postular estar en el 10% superior de las notas de su colegio y promoción, sin que necesariamente cumplan con el requisito de un puntaje promedio mínimo en las pruebas obligatorias.  Pero de aquí no se puede concluir que hay que eliminar las pruebas. Al contrario, las pruebas son imprescindibles en nuestro sistema de admisión y además de preocuparnos de su calidad, podemos estudiar cómo obtener de ellas información útil para distintos usos que complementan las vías de admisión, como son las cuotas e ingresos especiales que ya tenemos”.

En su manejo institucional, ¿cuál ha sido el sello que le ha querido imprimir a los equipos del DEMRE?

“El DEMRE siempre ha sido muy heroico y comprometido con el bien público. Para mí lo más importante es que los equipos se sientan fuertes y orgullosos de su trabajo, y que quieran compartirlo, abrir la casa, discutir y comunicar lo que hacemos”.

¿Cuáles son los desafíos futuros que proyecta para el DEMRE?

“Tenemos desafíos actuales, importantes, en los que estamos trabajando, algunos de ellos con proyecciones de uso en plazos que no son breves, como por ejemplo el proyecto que crea los niveles de desempeño asociados a rangos de puntajes de las PAES y que servirían para tomar decisiones de admisión basadas en criterio. Todos los cambios al sistema de admisión deben ser parsimoniosos, anunciados con anticipación y antes de eso, antes de que el Comité Técnico de Acceso apruebe un cambio, debemos haber estudiado muy profundamente el problema que se quiere resolver de ese modo, y haber discutido propuestas de solución también ampliamente”.

“Las propuestas que estudia el Comité Científico Internacional, son en torno a desafíos actuales pero que también seguirán un largo camino de trabajo antes de traducirse en cambios concretos. Y todo cambio es en sí mismo un desafío, para introducirlo con mucha responsabilidad, debido a las altas consecuencias de las pruebas y el sistema de admisión. Por otra parte, el estudio de validez predictiva que realizamos contaba con los resultados académicos en el primer año universitario tan solo de una generación de estudiantes que ingresaron con PAES y por lo tanto debemos continuarlo, con más generaciones y considerar más variables”.

“Siempre habrá cosas por mejorar, pero lo estamos haciendo con mucha responsabilidad y siempre abiertos al diálogo amplio. Simplemente, debemos ir atentos al progreso de la disciplina (la evaluación educacional a gran escala y de altas consecuencias) y los cambios en la sociedad y en el sistema educativo, leyendo bien los desafíos en desarrollo, para adelantarnos y prepararnos. Eso incluye la investigación y generar soluciones, desarrollos que deben ser probados con tiempo, porque la responsabilidad es mucha y en el DEMRE la hemos abrazado con total convicción de nuestro compromiso con el bien público”.