Ei-iE

Mundos de la Educación

Docentes, “gente lista” y estadísticas incorrectas: Lo que me gustaría contarle a mi padre sobre los resultados de PISA y el crecimiento económico

publicado 6 julio 2017 actualizado 30 agosto 2017
Escritos por:

Los docentes taciturnos, la “gente lista” y el almuerzo gratuito

“¿Cómo es posible que haya tanta gente lista que no entiende las cosas?”, exclamó mi padre, exasperado, pensando en voz alta. “Estamos haciendo todo lo posible para poder ayudar a estos niños a adaptarse a la sociedad y para que encuentren un sentido a su vida. Para muchos de ellos, somos su única referencia. ¡Y ahora las autoridades dicen que no somos eficaces porque nuestros resultados en las pruebas están decayendo!”

En aquel momento yo estaba en la escuela secundaria, por lo que no tuve una respuesta para mi padre ese día. Así pues, regresamos a casa taciturnos. Mi padre ya era por aquel entonces un veterano profesor de matemáticas con 20 años de experiencia en el instituto público de nuestra pequeña ciudad (Galt, en el Estado de California). Esa misma tarde, las autoridades del Consejo Estatal de Educación habían transformado la reunión mensual del claustro de profesores en una sesión de “echarles la culpa a los docentes”. Y mi padre no podía creer que toda esta recriminación se atribuyera a la ‘(in)eficacia de los docentes’.

Tal como descubrí más tarde, en aquella época –allá por 1992– aproximadamente el 22% de los estudiantes del instituto recibían el comúnmente denominado “almuerzo gratis o a precio reducido”, un eufemismo para el Título I de ayuda federal destinada a los estudiantes más desfavorecidos del distrito. Los niños de familias pobres (por debajo del 130% del nivel federal de pobreza) podían asistir a la escuela y recibir un desayuno y/o un almuerzo de forma gratuita. El objetivo del plan era aliviar la carga económica de los hogares pobres y también asegurarse de que los alumnos no estuvieran hambrientos hasta el punto de que no pudieran concentrarse en aprender. El porcentaje de los estudiantes del distrito que se beneficiaban del almuerzo gratis o a precio reducido era finalmente un barómetro que reflejaba la pobreza en la comunidad en general. Por lo tanto, parecía que mi padre se estaba dando cuenta de algo: el rendimiento no tenía tanto que ver con la eficacia de los docentes, sino con la estructura socioeconómica de la sociedad en su conjunto.

Aun así, ¿por qué tanta gente “lista” creía que se trataba de una cuestión relacionada con la calidad del personal docente?

La verdad acerca de la eficacia de los docentes

Asistí a ese mismo instituto y posteriormente seguí los pasos de mi padre y me convertí en docente. Esto hizo que muchos de mis compañeros de clase de Yale comentaran –sin ningún ápice de ironía– que había “echado por la borda” una buena educación. Pero poco después de haber entrado yo mismo en las aulas, tampoco pude comprender por qué tanta gente “inteligente” es incapaz de entender la realidad con la que nos enfrentamos los docentes. No podía comprender por qué los auditores, los administradores y los académicos pasaban por alto la complejidad de los objetivos educativos, la dinámica de las aulas y la ambigüedad intrínseca de los resultados. Esta cuestión fue la principal razón por la que finalmente me volqué en la investigación educativa a tiempo completo:¿Qué es los que los responsables políticos y los investigadores creían saber que nosotros, que estábamos en las aulas, no supiéramos?

Según aprendí en mis estudios superiores, mi exasperado padre fue víctima del boom en torno a la “eficacia de los docentes”, una tendencia de investigación que alcanzó su apogeo en los años 90. Preocupados por A Nation At Risk[Una nación en riesgo] (1984) y equipados en ese momento con los últimos avances en econometría e informática personal, muchos investigadores “inteligentes” de Estados Unidos sostuvieron que la única variable de importancia en la medición de los resultados de los estudiantes eran los docentes. Es representativo aquí el trabajo de Eric Hanushek (Universidad de Stanford), que escribió un artículo sumamente influyente titulado The Economics of Schooling: Production and Efficiency in Public Schools[La economía de la escolarización: la producción y la eficiencia en las escuelas públicas] (1986). Daba razones EN CONTRA de la “suposición subyacente de que los distritos pobres (en términos de base imponible sobre la propiedad) son lo mismo que los estudiantes pobres [en términos de resultados]” (1170). En otras palabras, la mala calidad no se debía al contexto en el que se encontraban las escuelas, sino que provenía de la eficacia de cada docente en el aula. Este tipo de investigación allanó el camino a la afirmación de que los docentes eficaces podían marcar la diferencia, una postura que Hanushek sigue defendiendo activa y vehementemente (véase Boosting Teacher Effectiveness[Mejorar la eficacia de los docentes], 2014).

Avancemos rápidamente 30 años. Hoy en día nos encontramos con que –como reconocerán muchos lectores de este blog– la supuesta “eficacia de los docentes” se considera una verdad científica. Las bibliotecas están repletas de obras que explican cómo la calidad de un docente se refleja en unos mejores resultados del rendimiento académico de los estudiantes. Las autoridades estatales debaten, elaboran e introducen una y otra vez nuevos planes de rendición de cuentas para los docentes. Todo este trabajo surge de la “verdad” de la investigación de los años 1980-1990 relativa a la eficacia de los docentes.

¿Una nueva verdad en construcción? Las puntuaciones de las pruebas y el crecimiento económico

Y ahora parece que toda la “gente inteligente” tiene una nueva pasión: que las escuelas se centren en las aptitudes para el éxito en el marco de la nueva economía mundial del conocimiento. La Organización para la Cooperación y el Desarrollo Económico (OCDE) lo denomina una transición hacia la “pedagogía del siglo XXI”, pero el concepto básico tiene innumerables denominaciones. El caso es que los docentes, los programas de estudios y las escuelas deben repensarse completamente debido a las exigencias cambiantes del nuevo mercado de trabajo mundial –que, según se dice, está cada regido vez más por las destrezas cognitivas en lugar de por la fuerza industrial.

La manifestación política de esta nueva tendencia es el Programa Internacional para Evaluación de Estudiantes (PISA) de la OCDE. PISA pretende verificar las competencias que están directamente vinculadas al éxito en el mercado laboral, en vez de los conocimientos contenidos en el programa de estudios oficial de cada país en particular. El Banco Mundial también ha adoptado este razonamiento y promueve PISA como una herramienta para el desarrollo a nivel mundial. La OCDE y el Banco Mundial tenían como objetivo que todos los países se adhirieran a PISA de aquí a 2030.

¿Por qué estas organizaciones quieren evaluar las competencias? El motivo es que están convencidas de que la obtención de mayores puntuaciones en las pruebas tipo PISA dará lugar a unos beneficios económicos enormes: lograr la adquisición de unas competencias universales (PISA, nivel 1) de aquí a 2030 podría incrementar el PIB de los países de ingresos medios-bajos en un 1302% y en un 162% para los países de altos ingresos ( Hanushek, 2015). Un aspecto crucial aquí es que la OCDE prevé que los “asombrosos beneficios económicos y sociales” se obtienen automáticamente al mejorar las puntuaciones de las pruebas.

En jerga de investigador: la “gente inteligente” está convencida de que la relación es causal, lo que significa que se mantiene siempre, en cualquier lugar y en cualquier momento. De acuerdo con esta hipótesis causal, la obtención de mejores resultados en PISA se convierte en la nueva varita mágica que abre la puerta a unas escuelas más eficaces y a un futuro económico más prometedor para todos.

Ya me imagino a mi padre rascándose la cabeza (ahora totalmente canosa) y diciendo algo así como: “Muchos de mis mejores alumnos ni siquiera podían quedarse en la escuela porque se quedaban atrapados en el mundo de la droga y la violencia de los barrios del oeste de la ciudad. ¿Cómo es posible que la gente inteligente no lo entienda?”

Entonces, ¿de dónde proviene toda esta certeza “inteligente”? Increíblemente, la mayor parte proviene del mismo investigador anteriormente mencionado que impulsó la eficacia de los docentes en los años 90: Eric Hanushek. Hanushek ahora es investigador en el Instituto Hoover, de la Universidad de Stanford, en la lujosa ciudad de Palo Alto, California. Quizás algunos lectores conozcan su nombre, ya que ha sido un crítico sumamente enérgico de los sindicatos de la enseñanza en Estados Unidos y en el resto del mundo (véase un artículo reciente publicado en marzo de 2017 en el Wall Street Journal). Curiosamente, Palo Alto se encuentra a menos de 100 millas del instituto del distrito de bajos ingresos donde trabajaba mi padre.

Trabajando en equipo con un investigador alemán (Ludger Woessmann), el nuevo proyecto de Hanushek analizó la relación entre los resultados anteriores de las pruebas internacionales y las puntuaciones de las pruebas actuales, y luego lo asoció todo al crecimiento económico mundial de 1960 a 2000. De este modo, Hanushek y Woessmann (H&W) afirmaron que habían encontrado un vínculo tan sólido que fue considerado como causal (Figura 1a). Según el estudio, nada menos que el 57% del crecimiento económico de un país se debía a los resultados obtenidos por los alumnos en las pruebas de matemáticas y ciencias. Aparentemente, H&W habían descubierto la evidencia internacional decisiva que les permitían vincular las puntuaciones de las pruebas al crecimiento económico. Este trabajo constituye la espina dorsal de una nueva ‘verdad científica’ que relaciona las puntuaciones de las pruebas y la economía mundial, y respalda la rápida expansión de PISA.

Figura 1. Relación entre las puntuaciones de las pruebas en un periodo determinado (1964-2003) y el crecimiento del PIB per cápita (a) para aproximadamente el mismo periodo (1960-2000) y (b) para el periodo posterior (1995-2014).

Unas estadísticas defectuosas: lo que quiero contarle a mi padre

Pero ¿qué pasaría si estas cifras no fueran en realidad correctas?

Mi cambio de carrera profesional hacia la investigación me había dado las herramientas necesarias para verificar las afirmaciones de Hanushek. Esperaba, como mínimo, poder explicarle a mi padre –con un lenguaje más sencillo– lo que parecía que la gente “inteligente” veía y que nosotros no podíamos ver.

Sin embargo, cuando escudriñé con más detenimiento las cifras, me sentí inquieto por lo que había descubierto. Utilicé exactamente la misma muestra de países, datos y métodos utilizados por H&W. La única modificación que hice fue seleccionar un periodo de tiempo más razonable para calcular el crecimiento económico. Una vez hecho esto, no obstante, obtuve un resultado bastante incómodo: la relación se reducía de una manera tan drástica que mostraba que las afirmaciones de Hanushek no eran válidas.

El punto clave es la divergencia del tiempo. Y no se necesita ser un investigador en el campo de la educación o un chiflado de la estadística para entender la lógica. Hanushek comparó las puntuaciones de las pruebas y el crecimiento económico durante el mismo periodo (1960-2000) y reveló la estrecha relación que había encontrado (Figura 1a). Sin embargo, como es lógico, los estudiantes tardan al menos algunas décadas en ocupar una proporción importante de la fuerza laboral. Así pues, comparé las puntuaciones de las pruebas para un periodo con el crecimiento económico del periodo posterior (1995-2014). Sorprendentemente, la relación, que antes parecía tan estrecha, ahora se antojaba sospechosa (Figura 1b). Este hallazgo no solo refutaba el vínculo estrecho entre la puntuación de las pruebas y el crecimiento del PIB divulgado, sino que también desenmascaraba la causalidad como una simple coincidencia estadística. Y la coincidencia ciertamente no puede apoyar la noción de que las escuelas tuvieran que ser transformadas radicalmente para que mejoraran las puntuaciones de las pruebas.

Dicho llanamente: las estadísticas eran defectuosas. Aunque un tanto técnico, el documento completo ha sido publicado bajo el título A New Global Policy Regime Founded on Invalid Statistics? Hanushek, Woessman, PISA and Economic Growth[¿Un nuevo régimen político mundial basado en estadísticas no válidas? Hanushek, Woessmann, PISA y el crecimiento económico] (Komatsu y Rappleye, 2017). Los lectores que perseveren pese a los detalles técnicos verán cómo se ha construido la fachada de la certeza.

Pues bien, ¿qué puedo decirle a mi padre? Se jubiló en junio de 2016 como director del mismo pequeño instituto, después de dedicarse durante más de 40 años a la educación pública. En los últimos años antes de jubilarse hablamos varias veces de “estas nuevas pruebas internacionales llamadas PISA” y mi padre, nuevamente exasperado, exclamó: “Dicen que si no mejoramos las puntuaciones de las pruebas estamos poniendo en peligro el futuro de todo el país”. Continuó: “Pero simplemente no lo entiendo. ¿Cómo pueden las autoridades estatales esperar que mejoremos la puntuación de las pruebas cuando nuestros niños carecen de estabilidad en sus hogares y en la comunidad?”.

El año en que mi padre se jubiló, el número de estudiantes del instituto que se beneficiaban del almuerzo gratis o a precio reducido alcanzaba el 68% – con un incremento de aproximadamente el 200% desde principios de los años 90. A pesar de ello, la escuela era juzgada como ‘deficiente’en el marco de la ley “Que Ningún Niño se Quede Atrás” por no mostrar suficientemente una “mejora anual adecuada” en las puntuaciones de las pruebas estandarizadas. Ahora sé que mi padre tenía razón.

Pero al menos ahora le puedo decir:

“Papá, la gente que viene y te dice estas cosas no es al fin y al cabo tan inteligente. No ven la realidad de las aulas, las escuelas y las comunidades, probablemente debido a que han pasado toda su vida examinando cifras, puntos de entrada de datos y modelos econométricos. Pero cuando uno se fija realmente en las cifras, toda su pretendida ‘verdad’ proviene de estadísticas defectuosas. Papá, tú tenías toda la razón desde el principio”.

Y luego proseguir:

“Pero quizás a estas personas les resulte difícil demostrar que son inteligentes o mantener sus puestos de trabajo si simplemente confirman lo que los docentes en el aula ya saben. Así que, papá, espero que puedas utilizar mi investigación –que se basa en última instancia en tu percepción de la educación que compartiste conmigo hace tiempo– para desafiar a esta ‘gente inteligente’ en el futuro”.

Pero ahora mi padre está jubilado. Así que no va a decirle esto a nadie. Por lo tanto, serán los lectores de este artículo los que deberán hacerlo. Si podemos hacerlo, tal vez seamos capaces de evitar la repetición del movimiento de la “eficacia docente”. Si podemos oponernos a quela educación esté sometida a estadísticas defectuosas y a investigadores “inteligentes”, quizás podamos (volver a) priorizar la experiencia de los docentes en el terreno –aquellos que tienen tantos conocimientos por compartir– aquellos que son simplemente como mi padre.

Este artículo forma parte de una serie que hemos publicado sobre el impacto de los estudios internacionales de evaluación de los docentes, los estudiantes y los sistemas educativos. Mundos de la Educación es un espacio que propicia un debate abierto y bien informado. Las contribuciones están escritas por comentaristas independientes y no representan la política de la IE.

Las opiniones expresadas en este blog pertenecen al autor y no reflejan necesariamente ninguna política o posición oficial de la Internacional de la Educación.