PISA como copa del mundo: El resumen del debate en México

Como si fuera un partido de fútbol, en PISA estamos en los penúltimos lugares (Diaz Barriga, 2023).  El 5 de diciembre de 2023 se publicaron los resultados de la prueba internacional PISA 2022, en la que México se posicionó en el lugar 51 con un descenso de 14 puntos en matemáticas, 5 en lectura y 9 en ciencias. Estos puntajes colocaron a México en el tercer lugar de Latinoamérica, por debajo de Chile y Uruguay (OCDE, 2023). Luego de que la OCDE diera a conocer los puntajes, el presidente de México desestimó los resultados al considerar que PISA pertenece al periodo del predominio neoliberal. El posicionamiento de la Secretaría de Educación Pública, máxima autoridad en materia de educación en México, y de su asesor principal en la formulación de los nuevos planes de estudio fue similar; incluso se afirmó que México debe retirarse de la prueba por no estar alineada al trabajo que se está haciendo actualmente en el sistema educativo y comparó los resultados con una competencia de fútbol. Las críticas en los medios de comunicación no se dejaron esperar; algunos calificaron como un retroceso y la llamaron la peor evaluación de México desde 2003 (CNN, 2023). En esta edición de WeBlogEd, presentamos seis puntos que sintetizan las ideas del debate respecto a PISA, en el que han intervenido mandatarios mexicanos, medios de comunicación y académicos. Después de revisar el diálogo exponemos nuestras conclusiones y las implicaciones que conlleva que México se retire de la famosa prueba.

La reseña del debate PISA

El mismísimo día en que la OCDE hizo públicos sus informes, la SEP dio a conocer la Tarjeta informativa 11 en la que desestimó los resultados; luego de esto, el asesor de la SEP concedió una entrevista. Lo hicieron también dos evaluadores notables. Uno es Eduardo Backhoff Escudero quien es expresidente de la junta de gobierno del desaparecido Instituto Nacional para la Evaluación de la Educación (INEE); el académico también es el exdirector del Instituto de Investigación y Desarrollo Educativo de la UABC y es el actual presidente de Métrica Educativa. El otro es Felipe Martínez Rizo, es exdirector general del INEE, exrector de la Universidad Autónoma de Aguascalientes y es uno de los galardonados del premio Pablo Latapí, una distintción que entrega la máxima universidad de México a los investigadores que han realizado aportaciones relevantes en materia educativa, que contribuyan a la propuesta de políticas en México y América Latina (Ortega, 2015, Voz e imagen de Chiapas, editorial, 2016).A nuestro parecer, el debate se resume en seis puntos.

Tarjeta informativa 11 (SEP, 2023).

Primer punto: México está reprobado, en crisis educativa y los estudiantes no aprenden

Distintos medios de comunicación han criticado severamente los resultados obtenidos por los estudiantes mexicanos. Sentencias como por ejemplo que los “niños en México nunca habían aprendido menos” (Saldaña, 2023), que “estamos reprobados” o que “Estamos fregados”, frase que literalmente han empleado como eslogan distintos informadores de Grupo Fórmula a veces entre argumentos críticos o tras veces entre señalamientos y bromas. La presiden ejecutiva de Mexicanos Primero Patricia Vázquez señaló en entrevista que “México está en una crisis educativa… estamos en una emergencia educativa”. Señaló que el sistema educativo está obteniendo resultados con un retraso de cuatro ciclos escolares; lo que representa que los estudiantes de 15 años poseen habilidades de los estudiantes de sexto de primaria. En este tema, y en contra posición, el asesor de la Secretaría de educación en la formación de los nuevos programas de estudio 2022 dijo que él considera que la crisis es de PISA y no de los sistemas educativos. Afirmó que “decir que los estudiantes no tuvieron aprendizajes es como un absurdo” (Díaz Barriga, 2023).

Respeco a los resultados, Eduardo Backhoff Escudero señaló que los resultados obtenidos eran los esperados de acuerdo a las condiciones de desarrollo de nuestro país (Backhoff, 2023). El reconocído académico Felipe Martínez Rizo opinó lo mismo. A la letra , el destacado investigador dijo:

Una lectura usual de los resultados, incorrecta y amarillista, afirma que el sistema educativo mexicano es uno de los peores del mundo. Toda persona informada debería tener claro que el sistema educativo de México no es de los mejores del mundo, pero tampoco de los peores; tiene un nivel medio —congruente con su desarrollo general— y con el lugar del país en ordenamientos como los basados en el PIB per cápita o el Índice de Desarrollo Humano (Martínez-Rizo, 2023).

Tendencia de los Puntajes PISA México 2000-2022

Fuente: Resultados PISA, (OCDE, 2023).

Segundo punto: Estas pruebas internacionales no consideran el contexto del sistema educativo

La nota informativa 11 de la SEP declaró que “Las pruebas internacionales estandarizadas no consideran las condiciones reales en las que se desarrolla el trabajo docente, así como los procesos situados de la enseñanza y los aprendizajes en las aulas de los distintos países” (SEP, 2023), e hizo un llamado a “realizar un análisis considerando el contexto de los resultados de estas pruebas, como las condiciones socioeconómicas y culturales de cada país para evitar interpretaciones reduccionistas”.

En consonancia con este argumento, el asesor de la SEP, Diaz Barriga, insistió en que “quizá PISA está desalineada de lo que está pasando en los sistemas educativos”. Dijo también  que

En primer lugar, lo que PISA tendría que hacer es preguntarse si realmente está valorando en el tipo de pregutnas que está realizando, lo que pasa en la realidad de los sistemas educativos, porque de otra manera no se explicaría porque a nivel mundial, no solamente a nivel mexicano, sino a nivel mundial hay una estrepitosa caida de los resultados de los estudiantes del mundo en este examen (Diaz-Barriga, 2023).

Puntajes PISA México 2000-2022

Fuente: Resultados PISA, (OCDE, 2023).

En contra posición Backhoff aseguró que afirmar que la prueba no toma en cuenta las condiciones reales es un argumento falso:

Es un falso argumento porque no se está evaluando en realidad la calidad de los docentes como para que uno diga bueno es que los docentes que ejercen su profesión en las escuelas rurales o en escuelas indígenas son distintos a las condiciones del primer mundo, lo cual es cierto, pero eso no tiene nada que ver con decir si tú sabes leer y escribir, si tú sabes las operaciones básicas y si lo sabes aplicar a la resolución de problemas. Eso es el derecho que todo mundo tiene de prender en México, en cualquier condición en que se encuentra (Backoff, 2023).

En la reciente aplicación, por primera vez se incluyó una pregunta sobre seguridad alimentaria en la que se preguntó a los estudiantes:

En los últimos 30 días, ¿con qué frecuencia no comiste porque no había suficiente dinero para comprar comida?” Las categorías de respuesta fueron: “Nunca o casi nunca”, “Aproximadamente una vez por semana”, “2 a 3 veces por semana”, “4 a 5 veces por semana” y “Todos los días o casi todos los días” (OCDE, 2023). 

Como resultado, el 10% de los mexicanos respondieron que no comieron al menos una vez por semana en los últimos 30 días por falta de dinero para comprar alimentos, otros datos son Chile y estados Unidos, más cercanos al 14%.

Tercer punto: Los resultados obtenidos son atribuibles a la pandemia y a las condiciones de aplicación en la etapa final de la emergencia sanitaria por COVID-19

Al ser esta una prueba aplicada mientras los estudiantes todavía lidiaban con los impactos de la pandemia, convirtió a PISA 2022 en el primer estudio a gran escala que recopiló datos sobre el rendimiento, el bienestar y la equidad de los estudiantes antes y después de las interrupciones del COVID-19 (OCDE, 2023). En esto radica la relevancia de la aplicación. Los informes de la OCDE señalaron que la baja de resultados solo se explica parcialmente por la pandemia, pero que en la adquisición de habilidades influyen muchos otros factores.  Algunos medios de comunicación han recuperado y difundido esta información del reporte y han puesto el foco en la tendencia de México a la baja en sus resultados, empleándolo como argumento de los puntajes obtenidos.

Respecto a este tema, la SEP desacreditó los resultados debido al momento de la aplicación dijo que “la más reciente aplicación de esta evaluación en nuestro país ocurrió en el contexto mundial de la etapa final de la emergencia sanitaria por COVID-19” y estableció que como resultado de las estrategias implementadas por el gobierno se superó la contingencia y se logró asegurar el regreso a las aulas de los estudiantes: “lo conseguimos: se recuperó el 100 por ciento de la matricula”.

Si bien es cierto que la recuperación de los estudiantes, en términos de su regreso a las aulas fue en un porcentaje elevado, PISA no se centra en las estrategias de recuperación de la matrícula, sino de las habilidades desarrolladas durante la pandemia. Le periodo de cierre de las escuelas en México fue prolongado, por lo que mermó el desarrollo de los estudiantes mientras tuvieron que estudiar fuera de las aulas. La información de PISA aunado a otra información disponible sobre el cierre de las escuelas puede ayudar a identificar qué tipo de decisiones se emplearon en los sistemas con mejores resultados y qué recursos son indispensables para afrontar una situación de emergencia como la que vivimos en 2020, 2021 y 2022. Hasta ahora, lo que se sabe es que el cierre más breve de las escuelas, el apoyo continuo de docentes y de padres, facilidades para el aprendizaje remoto permitió obtener mejores resultados.

Cuarto punto: La evaluación de PISA tiene una connotación de desprecio hacia el trabajo de los docentes.

El presidente Andrés Manuel López Obrador afirmó que “nunca en la historia de México, se había ofendido tanto a los maestros como en el periodo neoliberal a nuestros maestros, nunca; y esas pruebas son parte de lo mismo”.  

  El asesor de la SEP, Diaz Barriga también acusó a PISA de desprecio debido a la ausencia de una publicación de resultados en español:

Por otra parte yo diría que es una especie de desprecio, voy utilizar esa palabra, porque si uno quiere obtener el informe; el informe, no las interpretaciones del informe, si uno quiere obtener el informe de PISA, hoy lo estuve buscando antes de entrar al programa todavía, el informe lo encuentras en Inglés, Francés y Alemán, cuando el Castellano es uno de los lenguajes (sic) que se habla en un porcentaje yo diría en un porcentaje mucho muy importante; cuantitativamente muy significativo, digamos de los que utilizamos el examen (Diaz Barriga, 2023).

Las declaraciones de la SEP van en el mismo tenor. La nota informativa 11 también dijo que “En el contexto en que fue realizada esta evaluación, los esfuerzos realizados por las y los adolescentes y docentes reflejan la adaptabilidad de nuestro sistema educativo frente a circunstancias inusuales”, lo que fue interpretado como una justificación del trabajo docente por los medios de comunicación.

  Relacionado con este tema, el evaluador Eduardo Backhoff aclaró que no se está evaluando en realidad la calidad de los docentes. También, Martínez Rizo mencionó en sus declaraciones a los profesores y dijo que en el contexto de pandemia y con el objetivo de limitar la propagación del virus, las escuelas cerraron y “los docentes hicieron lo que pudieron para atender a sus alumnos a distancia.

  Es bien conocido por todos que las condiciones de las escuelas son carentes de tecnología e infraestructura que eliminara por completo los obstáculos para ofrecer educación en los tiempos de pandemia. En efecto, los docentes hicimos lo que pudimos para sostener el servicio educativo en las diversas condiciones en las que cada uno trabajaba. Nadie, más que el comunicado, pone en tela de juicio los esfuerzos realizados por los docentes. Hablar de los resultados es un tema distinto y estos no son responsabilidad exclusiva de sus profesores. PISA tampoco culpa docentes por lo que las declaraciones de las autoridades parecen ser infundadas.

Por otro lado, en el pasado fue el INEE el encargado de aplicar, analizar y difundir los resultados en México, al haber sido este desaparecido, queda en el aire quién es la instancia que pueda cumplir esta función, si serán CENEVAL y la SEP o, tal como lo señaló del Rio (2023), el personal de Mejoredu que cuenta con tal experiencia. No parece tratarse de un desprecio, sino de la falta de asignaciones dentro de nuestro país.

Quinto punto: Los resultados no son tomados en cuenta

Después de publicados los resultados, las declaraciones del presidente fueron contundentes: “ya nos vieron, nosotros no los tomamos en cuenta, porque todos esos parámetros se crearon en la época del neoliberalismo.

  El evaluador Eduardo Backhoff criticó la respuesta gubernamental al desestimar los resultados después de pagar por la implementación y obtener resultados que a las autoridades no parecieron favorables “me parece muy desafortunado, muy tercermundista que tu pagues un estudio y cuando veas los resultados lo comiences a criticar”, dijo.

Así también el académico Pedro Flores-Crespo (2023) en su columna de El Universal señaló la ausencia de pronunciamiento de Mejoredu quien aplicó la "politica del avestruz".

Sexto punto: México debe retirarse de la prueba

Previamente a la publicación de los resultados, en México hubo un fuerte debate sobre si se debiera participar o no en la aplicación de PISA, el cual se resolvió mediate la instrucción del propio presidente de continuar con la evaluación. Se decidió darle la responsabilidad de la aplicación al Centro Nacional para la Evaluación de la Educación Superior (CENEVAL), instancia privada que ha prestado servicios de operación evaluativa a la SEP desde su fundación (Del Rio, 2023).  

  El asesor de la SEP en la formación de los nuevos programas de estudio 2022, Ángel Diaz Barriga declaró en entrevista con Radio Educación -radiodifusora de la SEP- : “Yo pienso que México tendría que retirarse de la prueba”. En esta misma entrevista, más tarde, Diaz Barriga agregó “México necesita gastar esa cantidad de dinero para que nos digan que somos, como si fuera partido de futbol, que estamos en los penúltimos lugares de los resultados de pisa”. No es la primera vez que la prueba internacional es comparada con el partido de fútbol. En 2018 Luis Morales señaló que “Tal como ocurre en cada encuentro mundial de futbol, las aspiraciones nacionales se vuelcan en una posible victoria de la selección que no solamente no llega”. La misma tendencia de pensamiento ha sido adoptada por diferentes medios de comunicación que se evidencia en expresiones como las hechas por uno de los conductores de Radio Fórmula cuando dijo saber “quiénes son los que nos rompen el hocico”.

  En esto no parece haber mayor debate; tanto autoridades como medios de comunicación han considerado la prueba no como un insumo de información para la mejora sino como una competencia corriente para la que no se necesita pagar porque sabemos que estamos en los penúltimos lugares.  Declaraciones de esta índole evidencian una comprensión muy limitada de la evaluación realizada por la OCDE. Mientras las autoridades y otros pensadores continúen creyendo que la evaluación es una carrera por el primer lugar de poca utilidad serán los resultados.

Conclusiones

Respecto al debate, estas son mis conclusiones:  

PISA recaba información que ayude a entender si los adolescentes que están a punto de transitar al siguiente nivel de su vida, en todos los países participantes, son capaces de analizar y resolver problemas, de manejar información que les permita llegar a conclusiones de forma inductiva y deductiva lo que facilitará que cuando sean adultos, puedan enfrentar situaciones sociales y económicas en las que requerirán de tales habilidades; para dejarlo en claro, PISA:

• No evalúa contenidos específicos de los programas educativos.

• No verifica la adquisición de contenidos con relación al programa implementado.

• No busca evaluar el desempeño ni de los docentes ni de los a los directivos.

• No evalúa los programas educativos.

Los resultados de México son coherentes con nuestro desarrollo; en este sentido, aunque hay mucho por mejorar y los porcentajes de estudiantes en niveles bajo de habilidad deben ser una preocupación para la mejora, hablar de que el pais está reprobado, o de que estamos en crisis educativa pueden ser declaraciones amarillistas y exhacerbadas. Además, es importante resaltar que PISA, no ha señalado en ningún momento que los estudiantes mexicanos “no tuvieron aprendizajes”.

La prueba PISA está acompañada de encuestas contextuales en las que se recaba información relacionada con distintos factores de interés que permiten relacionar los resultados con variables diversas. Estas relaciones permiten comprender mejor la realidad que viven los estudiantes en los distintos sistemas educativos alrededor del mundo. Como se dijo previamente, en la última aplicación se recabó información respecto al uso de tecnologías, la percepción de apoyo que tenían los estudiantes en condiciones de pandemia, así como del bienestar socioeconómico (OCDE, 2023).

PISA no califica o evalúa la operación de los sistemas educativos, sus programas o el tino de sus asesores al proponer nuevos programas; por ello, responder a supuestos ataques está fuera de lugar y parece ser una justificación innecesaria para algo de lo que no se nos ha acusado. Parece natural entonces, que las declaraciones de las partes oficiales hayan provocado la crítica de los medios y que se consideraran como justificaciones del trabajo realizado. Pese a las acusaciones hacia PISA, no hay informe en donde se hable de un equívoco en los programas de México. PISA ofrece información contextual que prende focos rojos sobre aspectos que influyen en el aprendizaje, como por ejemplo el hecho de que el 10% de los estudiantes reporte no haber comido por lo menos una vez en el mes previo a la palicación, por no tener dinero para comprar alimento.

La pandemia está reconocida como uno de los factores que derivaron la baja en los resultados de todos los países participantes; no obstante, no se atribuye totalmente a esta los puntajes obtenidos, tampoco se atribuye en su totalidad a los docentes. Hasta ahora, se sabe que el tiempo de cierre de las escuelas, el apoyo recibido y los accesos a tecnología repercutieron en los resultados.

No hay clara evidencia para asegurar que PISA tiene un desprecio hacia los países hispanohablantes. No han sido discutidas las razones por las que no se publicó un reporte en Español; no obstante, en el pasado, los informes para México eran elaborados por instancias nacionales, evento que no ha sucedido después de la reciente aplicación.

Después de la desaparición del INEE y de la prueba ENLACE, PISA es la única fuente de información que permite tener conocimiento sobre los avances en el aprendizaje de los estudiantes mexicanos. Renunciar a PISA significa perder puntos de referencia para saber que tan coherente es la educación con nuestro nivel de desarrollo y nuestra economía; más aún, tener nociones de como incrementar la equidad a nivel nacional promoviendo que todos tengan las mismas oportunidades de aprender. Desestimar el uso de los resultados es prácticamente lo mismo. Si bien está visto que a decir del presidente, los resultados no son tomados en cuenta para la toma de decisiones en la presente administración, aún quedará este pendiente para el próximo gobierno federal, sea del color que sea. Se deberá considerar que persiste la necesidad histórica de cuidar la educación y asegurar la equidad en las oportunidades de aprender que todos los mexicanos tenemos independientemente de nuestro origen y contexto (Granado, 2023; Backhoff, 2023).

¿Que si PISA es como el fútbol? Tal como señaló del Río (2023) deberíamos alejarnos de las comparaciones poco útiles y compararnos históricamente, lo que pudiera sernos más provechoso. Mientras se siga considerando por medios de comunicación y autoridades que PISA es un partido de fútbol en el que se compite por lugares y no una fuente de información y pista de qué prácticas han ayudado a otras economías similares a la nuestra seguiremos obligándonos a continuar en el tercer mundo, sólo me queda la duda de por qué nunca antes habia planeado cancelar la Copa del Mundo, si como en PISA, solo participamos para quedar en penúltimos lugares.

Para leer más

CNN (2023, diciembre 6). La materia en la que peor le fue a México en las pruebas PISA. https://cnnespanol.cnn.com/2023/12/06/mexico-prueba-pisa-matematicas-orix/

Del Rio, O. D. (20230, diciembre 4). ¿Qué esperar de los resultados PISA?. Educación Futura. https://www.educacionfutura.org/que-esperar-de-los-resultados-de-pisa/

Diaz-Barriga, A. (2023). Entrevista en Radio Educación Entrevista con Ángel Diaz Barriga. https://e-radio.gob.mx/Noticiarios-pulso/Entrevista-con-Angel-Diaz-Barriga-41864

Martínez-Rizo, F. (2023). ¿Qué dice PISA 2022 sobre México?. Revista Nexos. https://educacion.nexos.com.mx/que-dice-pisa-2022-sobre-mexico/

SEP (2023). Tarjeta informativa 11. SEP https://www.gob.mx/sep/es/articulos/tarjeta-informativa-11

Flores-Crespo, P. (2023). ¿Qué nos enseñó PISA? El Universal. https://www.eluniversal.com.mx/opinion/pedro-flores-crespo/que-nos-enseno-pisa/

OCDE (2023). Latest PISA results. https://www.oecd.org/pisa/

Ortega, C. (2015). Acerca del premio Pablo Latapí Sarre. Revista iberoamericana de Educación Superior 6(15)

Backhoff, E. (2023).  Entrevista en Redacción Aristegui Noticias. México desestima su propia decisión de pagar por la prueba PISA tras ver sus malos resultados: Eduardo Backhoff https://aristeguinoticias.com/0812/aristegui-en-vivo/entrevistas-completas/mexico-desestima-su-propia-decision-de-pagar-por-la-prueba-pisa-tras-ver-sus-malos-resultados-eduardo-backoff/

Saldaña, S. (2023, diciembre 5). Niños de México nunca habían aprendido menos en matemáticas, ciencias y lectura: todas las calificaciones a la baja en prueba mundial PISA. Xacata. https://www.xataka.com.mx/educacion/ninos-mexico-nunca-habian-aprendido-matematicas-ciencias-lectura-todas-calificaciones-a-baja-prueba-mundial-pisa