Enseignant(e)s, « personnes intelligentes » et statistiques biaisées: ce que je veux dire à mon père à propos des scores PISA et de la croissance économique
Restez à jour
Abonnez-vous à la lettre d’information Mondes de l’Éducation.
Restez à jour
Abonnez-vous à la lettre d’information Mondes de l’Éducation.
Merci de votre abonnement
Une erreur est intervenue
Enseignant(e)s mécontent(e)s, « personnes intelligentes », et déjeuners gratuits
« Comment tant de personnes intelligentes ne peuvent-elles pas comprendre? » a dit mon père, exaspéré, comme s’il pensait à voix haute, « nous faisons tout notre possible pour pouvoir simplement aider ces enfants à s’adapter à la société et trouver une forme de direction dans leur vie. Nous sommes, pour nombre d’entre eux, la seule stabilité qu’ils ont. Mais aujourd’hui, les responsables publics nous disent que nous sommes inefficaces car nos scores aux tests baissent! »
J’étais seulement un élève de premier cycle du secondaire à l’époque. Je n’avais aucune réponse à donner à mon père ce jour-là et nous avons tristement pris la voiture pour rentrer à la maison. Mon père occupait déjà le poste de professeur de mathématiques depuis 20 ans à l’école publique de notre petite ville (Glat, en Californie). Ce jour-là, les représentant(e)s du conseil de l’éducation de l’Etat ( State Board of Education) avaient apparemment passé la réunion mensuelle du département à pointer du doigt les enseignant(e)s. Le fait que tous les reproches étaient attribués à « l’inefficacité des enseignantes et enseignants » laissait mon père incrédule.
Comme je l’ai appris ensuite, à cette époque, vers 1992, environ 22% des étudiant(e)s de l’école bénéficiaient de repas gratuits ou à prix réduit, subvention accordée par le gouvernement fédéral aux étudiant(e)s les plus pauvres du quartier. Les enfants des familles pauvres (dont les revenus correspondent à moins de 130% du niveau de pauvreté fédéral) pouvaient ainsi se rendre à l’école et bénéficier d’un petit-déjeuner et/ou d’un déjeuner gratuit(s). Le plan visait à alléger la charge financière des ménages pauvres mais également à éviter que la faim n’empêche les étudiant(e)s de se concentrer sur l’apprentissage. Le pourcentage d’étudiant(e)s bénéficiant d’un déjeuner gratuit ou à prix réduit d’un quartier constituait de fait un baromètre de la pauvreté au sein de l’ensemble de la communauté. Mon père semblait ainsi être sur une piste intéressante: la réussite était, selon lui, moins liée à l’efficacité des enseignant(e)s, mais davantage à la composition socio-économique de la communauté.
Cependant, pourquoi tant de personnes « intelligentes » étaient-elles convaincues qu’il s’agissait d’une question de qualité des enseignant(e)s?
La Vérité de l’efficacité des enseignant(e)s
J’ai étudié à la même école secondaire, puis suivi les traces de mon père et suis devenu enseignant. Ceci amena nombre de mes copains de classe de Yale à remarquer, sans aucune ironie, que j’avais « gâché » une bonne éducation. Toutefois, peu après mis les pieds dans une salle de classe, je ne pouvais, moi non plus, comprendre pourquoi tant de personnes « intelligentes » méconnaissaient les réalités des enseignant(e)s. Je ne pouvais expliquer pourquoi les auditeurs/trices, administrateurs/trices et universitaires ne saisissaient pas la complexité des objectifs éducatifs, des milieux de la salle de classe ainsi que l’ambiguïté des résultats. Cette question est la principale raison de mon orientation vers la recherche à plein temps dans le domaine de l’éducation: Qu’est-ce que les décideurs/euses et chercheurs/euses pensaient savoir que nous, dans les salles de classe, ignorions?
Comme je l’ai vite appris lors de mes études supérieures, mon père exaspéré avait subi les contrecoups du mouvement prônant l’efficacité de l’enseignant(e), un courant de recherche qui a atteint son apogée dans les années 1990. Préoccupés par l’ouvrage A Nation At Risk(1984) et désormais armés des progrès dans les domaines de l’économétrie et de l’informatique, de nombreux chercheurs/euses « intelligent(e)s » aux Etats-Unis ont affirmé que la variable la plus critique des résultats mesurables des étudiant(e)s était les enseignant(e)s. Les travaux d’Eric Hanushek (Université de Stanford) sont représentatifs à cet égard, dont le très influent The Economics of Schooling: Production and Efficiency in Public School s (1986). Celui-ci a dénoncé avec vigueur « l’hypothèse sous-jacente établissant une corrélation entre quartiers pauvres (en termes d’assiette de l’impôt foncier) et étudiants en situation d’échec scolaire » (1170). Autrement dit, la qualité n’était pas liée au contexte des écoles mais était due à l’efficacité individuelle de l’enseignant(e) dans la salle de classe. Ce type de recherche aboutit à l’affirmation selon laquelle les enseignant(e)s efficaces pouvaient combler l’écart, une position défendue activement et fortement par Hanushek encore aujourd’hui (voir Boosting Teacher Effectiveness, 2014).
Faisons maintenant un bon en avant de trente ans. Nous constatons aujourd’hui, comme nombre de lecteurs/trices de ce blog le reconnaitrons, que l’hypothèse de « l’efficacité des enseignant(e)s » fait désormais figure de vérité scientifique. Les étagères croulent sous le poids des travaux portant sur la manière dont la qualité des enseignant(e)s peut se traduire par une amélioration des résultats des étudiant(e)s. Les responsables publics/ques débattent, élaborent et mettent sans cesse en place de nouveaux mécanismes de responsabilisation des enseignant(e)s. Toutes ces mesures proviennent de la « vérité » de la recherche sur l’efficacité des enseignant(e)s des années 1980-1990.
L’émergence d’une nouvelle vérité? Scores obtenus aux tests et croissance économique
Et maintenant, toutes les « personnes intelligentes » semblent avoir une nouvelle passion: faire en sorte que les écoles se concentrent sur les compétences nécessaires à la réussite dans la nouvelle économie mondiale des connaissances. L’Organisation de coopération et de développement économiques (OCDE) la qualifie de transition vers la « pédagogie du 21e siècle ». L’idée générale prend toutefois de multiples noms et a trait à la nécessité de procéder à une refonte complète des enseignant(e)s, du programme scolaire et des écoles, compte tenu de l’évolution des exigences d’un nouveau marché du travail mondial, qui serait soutenu de plus en plus par les aptitudes cognitives plutôt que le muscle industriel.
La manifestation politique de la nouvelle tendance est le Programme international pour le suivi des acquis des élèves de l’OCDE (PISA). PISA prétend tester les compétences directement liées à la réussite dans le marché du travail, plutôt que les connaissances relevant du programme scolaire officiel de pays particuliers. Fait important, la Banque mondiale a adhéré à cette logique et promeut aujourd’hui PISA pour le développement dans le monde entier. Aussi, l’OCDE et la Banque mondiale visent-elles l’adhésion de tous les pays à PISA à l’horizon 2030.
Pourquoi ces organisations veulent-elles tester les compétences? La raison est qu’elles sont convaincues que l’obtention de meilleurs scores aux tests de type PISA donnera lieu à d’énormes bienfaits économiques: la réalisation des compétences universelles (Niveau 1 de PISA) à l’horizon 2030 pourrait ainsi induire une croissance supplémentaire de PIB de 1302 % pour les pays à revenus moyens et de 162% (Hanushek, 2015) pour les pays à hauts revenus. Le point crucial ici réside dans le fait que l’OCDE considère que les « stupéfiants avantages économiques et sociaux » de l’amélioration des scores obtenus aux tests sont automatiques.
En langue technique des chercheurs/euses: les « personnes intelligentes » sont convaincues que la relation est causale , c’est-à-dire qu’elle est valable en tout lieu et en tout temps. Dans cette hypothèse de causalité, l’augmentation des scores PISA devient une nouvelle formule magique pour des écoles performantes et un meilleur avenir économique pour tou(te)s.
Je peux déjà entendre mon père se gratter la tête (désormais totalement grise), en disant probablement quelque chose comme: « Nombre de mes meilleurs étudiants ne pouvaient même pas rester à l’école car ils étaient confrontés à la drogue et la violence dans les quartiers de l’ouest de la ville. Comment les personnes intelligentes ne comprennent-elles pas cela ? »
D’où vient cette certitude « intelligente »? Aussi incroyable que cela puisse paraître, elle vient en grande partie du même chercheur à la tête du mouvement prônant l’efficacité de l’enseignant(e) dans les années 1990 que nous avons déjà mentionné ci-dessus: Eric Hanushek. Eric Hanushek est aujourd’hui chercheur à l’Hoover Institute de l’Université de Stanford dans le cadre bourgeois de Palo Alto en Californie. Certain(e)s lecteurs/trices pourront reconnaître son nom car il a été un critique très virulent des syndicats d’enseignants en Amérique et dans le monde (voir un récent article de mars 2017 du Wall Street Journal). Il est intéressant de remarquer que Palo Alto est situé à moins de 100 miles de l’école secondaire de mon père accueillant des étudiant(e)s issu(e)s de familles à bas revenus.
Associé à une recherche en Allemagne (Ludger Woessman), le nouveau projet de Hanushek a analysé la relation entre les résultats antérieurs de tests internationaux et les scores actuels aux tests PISA, puis les a mis en relation avec la croissance économique mondiale de 1960 à 2000. Ce faisant, Hanushek et Woessman (H&W) ont affirmé avoir identifié un lien si fort, qu’il a été jugé causal (Figure 1a): 57% de la croissance économique d’un pays s’expliquent par les scores des étudiant(e)s aux tests en mathématiques et en sciences. H&W avaient apparemment identifié la preuve internationale décisive permettant d’associer scores obtenus aux tests et croissance économique. Ces travaux constituent le pilier d’une nouvelle « vérité scientifique » associant scores obtenus aux tests et économie dans le monde, et soutenant la rapide expansion de PISA décrite ci-dessus.
Tableau 1: Relations entre les scores obtenus aux tests sur une période donnée (1964-2003) et la croissance du PIB par habitant (a) sur approximativement la même période (1960-2000) et (b) sur une période ultérieure (1995-2014).
Statistiques biaisées: ce que je veux dire à mon père
Et si ces statistiques étaient en réalité erronées?
Mon changement de carrière en faveur de la recherche académique m’a donné les outils permettant de vérifier les affirmations de Hanushek. J’espérais pouvoir, au moins, expliquer à mon père, plus simplement ce que les personnes « intelligentes » semblaient voir, contrairement à nous.
Mais lorsque j’ai examiné en détail les statistiques, ce que j’ai découvert m’a perturbé. J’ai utilisé exactement les mêmes échantillon de pays, données et méthodes que ceux retenus par H&W. Mon seul ajustement a été de sélectionner une période plus raisonnable pour le calcul de la croissance économique. Le résultat obtenu est toutefois plutôt troublant: la relation devient si spectaculairement faible qu’elle invalide les affirmations d’Hanushek.
La considération première ici a trait au décalage dans le temps. Il n’est pas nécessaire d’être un chercheur/euse dans le domaine de l’éducation ou un(e) expert(e) en statistiques pour comprendre la logique. Hanushek a comparé les scores obtenus aux tests et la croissance économique sur la même période (1960-2000), et a rendu compte de la forte relation qu’il a relevée (Figure 1a). Toutefois, il faut logiquement attendre au moins plusieurs décennies avant que les étudiant(e)s représentent une part importante de la main d’œuvre. J’ai donc comparé les scores obtenus aux tests, à la croissance économique sur une période ultérieure (1995-2014). Curieusement, la relation qui semblait si forte apparaît désormais suspecte (Figure 1b). Cette conclusion réfute non seulement le lien fort et colporté entre scores des tests et croissance du PIB, mais révèle également la causalité comme simple coïncidence statistique. Or la coïncidence ne peut en aucun cas soutenir la notion selon laquelle les écoles devaient être réformées de manière agressive pour augmenter les scores obtenus aux tests.
En langage simple: les statistiques étaient biaisées. Quoique quelque peu technique, l’article complet a été publié A New Global Policy Regime Founded on Invalid Statistics? Hanushek, Woessman, PISA and Economic Growth(Komatsu and Rappleye, 2017). Les lecteurs/trices qui persévéreront malgré les précisions techniques se rendront compte de la façon dont l’illusion de la certitude a été construite.
Que dois-je donc dire à mon père? Il a quitté son poste de principal du même petit établissement secondaire, à l’occasion de son départ à la retraite en juin 2016, après avoir passé plus de 40 ans dans l’enseignement public. Au cours des quelques années précédant son départ à la retraite, nous avons parlé à plusieurs reprises de « ces nouveaux test internationaux PISA ». Mon père affichait son exaspération: « Ils disent que si nous n’améliorons pas les scores aux tests, nous mettons l’avenir de l’ensemble du pays en danger ». Il poursuivit: « Mais je ne comprends toujours pas. Comment les responsables publics peuvent nous demander d’améliorer les résultats obtenus à ces tests quand nos enfants sont privés de stabilité chez eux et au sein de la communauté? »
L’année où mon père a pris sa retraite, le pourcentage d’étudiant(e)s bénéficiant de repas gratuits et subventionnés s’élevait à 68%, ce qui représente une augmentation d’environ 200% depuis le début des années 1990. L’école a néanmoins été jugée « défaillante », conformément à la législation No Child Left Behind, en raison de « l’absence d’amélioration annuelle adéquate » des scores aux tests standardisés. Je sais maintenant que mon père avait vu juste.
Mais au moins, je peux maintenant lui dire:
« Papa, les personnes qui viennent te dire ces choses ne sont pas si intelligentes après tout. Elles ne peuvent voir les réalités des salles de classe, des écoles et des communautés probablement parce qu’elles ont passé toute leur vie à examiner des statistiques, des points de données et des modèles économétriques. Mais lorsque tu examines vraiment les statistiques, toute leur prétendue vérité repose sur des statistiques biaisées. Papa, tu avais raison depuis le début ».
Et ajouter:
« Mais peut-être que ces personnes estiment qu’elles auront du mal à manifester leur intelligence ou à garder leur emploi si elles confirment simplement ce que les enseignantes et enseignants dans les salles de classe savent déjà. Donc, Papa, j’espère que tu peux utiliser ma recherche, qui s’appuie finalement sur tes réflexions sur l’éducation que tu as partagées avec moi il y a longtemps, afin de t’opposer à ces ‘personnes intelligentes’ à l’avenir ».
Mon père est toutefois retraité aujourd’hui. Il ne communiquera ces informations à personne. Il revient par conséquent aux lecteurs/trices de cet article de le faire. Nous pourrions ainsi peut-être éviter une répétition du mouvement en faveur de l’efficacité de l’enseignant(e). Si nous pouvons résister à la réduction de l’éducation fondée sur des statistiques biaisées et des chercheurs/euses « intelligent(e)s », nous pourrons peut-être (re)donner la priorité à l’expérience des enseignant(e)s sur le terrain, ceux/celles qui ont tant de réflexions à partager, exactement comme mon père.
Ce texte fait partie d’une série d’articles que nous publions sur l’impact des enquêtes internationales sur le suivi des acquis des étudiant(e)s sur les enseignant(e)s, les étudiant(e)s et les systèmes éducatifs. Mondes de l’Education est un espace de dialogue ouvert et informé. Les contributions sont rédigées par des commentateurs/trices indépendant(e)s et ne représentent pas la politique de l’IE.
Le contenu et les avis exprimés dans ce blog sont ceux de son auteur et ne reflètent pas nécessairement la position officielle de l’Internationale de l’Education.