Ei-iE

Le nombre de pays participant au Programme international de l’OCDE pour le suivi des acquis des élèves (PISA) est désormais plus de deux fois supérieur au nombre de pays membres de l’OCDE. S’il y a bien un constat qui montre à quel point l’enquête PISA s’est imposée face aux autres évaluations internationales de l’éducation, c’est que les pays non membres de l’OCDE considèrent désormais l’enquête PISA comme incontournable pour évaluer leurs systèmes éducatifs. Ainsi, l’ouvrage de Sellar, Thompson et Rutkowski n’est pas seulement une réflexion opportune sur les avantages et les inconvénients des évaluations internationales de l’éducation, il met également en lumière le rôle fondamental de l’enquête PISA dans ce domaine.

Cet ouvrage possède de nombreuses qualités : il est bref, objectif, particulièrement clair et, contrairement à d’autres critiques universitaires de l’enquête PISA, les auteurs maîtrisent parfaitement leur sujet. En outre, ils ne craignent pas de formuler clairement des propositions politiques.

Les auteurs critiquent avant tout les pays qui considèrent l’amélioration de leurs résultats à l’enquête PISA comme un objectif à part entière, se livrant à une concurrence toxique. Ironiquement, ces pays ne parviennent pas non plus à véritablement tirer profit des données et des conclusions politiques issues de cette enquête.

Quelle serait donc, selon Sellar et al., la bonne approche concernant l’enquête PISA ? Si les auteurs indiquent clairement que leur ouvrage ne se veut pas anti-PISA, ils estiment en revanche que les ministres des gouvernements utilisent souvent l’enquête PISA comme un bulletin scolaire à l’enjeu particulièrement élevé, dont les résultats mènent à des célébrations ou des accusations injustifiées. L’ouvrage tente de détourner les décideurs politiques de cette approche. Bien qu’il ne s’agisse pas ici de résumer l’ouvrage, nous en présentons certaines idées centrales.

A titre d’exemple, les auteurs soutiennent que l’enquête PISA ne peut évaluer de façon comparative les écoles elles-mêmes, dans la mesure où elle évalue les élèves de quinze ans. Or, dans certains pays, les cursus scolaires durent plus longtemps que dans d’autres. L’enquête PISA ne peut dès lors qu’être une évaluation des élèves en fonction de leur âge.

Dans ce qui s’apparente en soi à une première amorce de la mise en œuvre des tests PISA eux-mêmes, les auteurs expliquent que l’enquête PISA échantillonne non seulement les élèves dans chaque pays participant, mais également que chaque élève ne doit compléter qu’une partie des items de test. S’ils estiment que cette procédure est bien établie et fiable, ils demandent toutefois à l’OCDE – et il s’agit là du fil rouge de l’ouvrage – de reconnaître les limites de l’enquête PISA. Les grilles de performances des pays participants à l’enquête PISA en sont un bel exemple. Si ces grilles font la réputation de l’enquête, elles constituent sans nul doute son aspect le plus controversé. Plutôt que d’appeler à la suppression pure et simple de ces grilles, Sellar et al. demandent aux gouvernements de prendre conscience des limites de l’enquête et de cesser de se complaire dans leurs jeux de convoitise. L’ouvrage contient une section particulièrement intéressante sur le caractère inévitable de l’incertitude ou des erreurs statistiques dans les résultats de l’enquête PISA. Les auteurs concluent que « le classement [de l’enquête PISA] doit être interprété comme une amplitude statistique et non comme une répartition exacte» et que « l’analyse des erreurs-types est bien plus qu’une bonne pratique statistique», et tiennent en outre à rappeler «à toutes les parties prenantes que les résultats de l’enquête PISA ne sont pas des valeurs exactes, mais plutôt des estimations de ce que l’OCDE pense que les élèves de 15 ans savent et sont capables de faire». Les auteurs suggèrent par ailleurs – à juste titre – qu’il serait davantage utile d’« attirer l’attention sur les domaines dans lesquels les élèves ont obtenu de mauvais résultats, plutôt que de se lamenter sur [...] leurs performances en général», ce qui pourrait entraîner des changements radicaux, et sans nul doute contreproductifs, pour les bons élèves.

L’Internationale de l’Education est elle-même intervenue à ce propos. Elle a toujours fait valoir que les classements des pays participant à l’enquête PISA faisaient de l’ombre aux inférences politiques de l’enquête, qui sont pourtant bien plus importantes. En 2009, elle a demandé au Professeur Peter Mortimore de proposer des modèles alternatifs d’analyse et de suivi des performances des pays à l’enquête PISA (Mortimore, 2009). Il est particulièrement intéressant de noter que ses propositions sont très similaires à celle de l’ouvrage qui appelle l’OCDE à non seulement impliquer les enseignant(e)s dans la conception et l’élaboration de l’enquête PISA, mais également à élargir les domaines d’évaluation de l’enquête.

Cela nous amène aux limites de l’ouvrage lui-même. Curieusement, s’il analyse amplement la conception des épreuves, il ne fait pas mention du principe d’équité – qui constitue le pilier de l’enquête –, sauf pour indiquer qu’il s’agit d’un résultat politique. Il ne mentionne pas non plus le fait que les tests soient centrés sur l’utilisation et l’application des connaissances plutôt que sur l’apprentissage par cœur des élèves – un tournant fondamental dans l’histoire des évaluations de l’éducation induit par le lancement de l’enquête PISA. L’ouvrage aurait pu davantage s’attarder sur le lien entre les questionnaires contextuels et les évaluations PISA, car c’est en effet la corrélation entre les réponses aux questionnaires et les résultats des évaluations qui donne à l’enquête PISA toute sa portée politique. Sellar et al. avertissent à juste titre les décideurs politiques de ne pas supposer que l’enquête PISA peut identifier les causes du succès ou de l’échec des politiques. Toutefois, ils auraient pu expliquer plus clairement qu’il est quasi impossible, quelle que soit l’étude réalisée, d’identifier les liens de cause à effet, tant au niveau des politiques que des systèmes. L’enquête PISA ne peut qu’établir des corrélations.

Sellar et al. s’attaquent aux gouvernements qui ne tiennent pas compte de l’impact considérable qu’exerce le milieu d’origine des élèves sur la plupart des résultats, et qui célèbrent ou redoutent les variations – insignifiantes – des classements PISA. Les auteurs visent en particulier les gouvernements australien et néo-zélandais. Dans ces pays, les élèves issus d’un milieu culturel chinois obtiennent des résultats comparables à ceux qui vivent à Shanghai (Chine).

Pour les auteurs, l’enquête PISA devrait par conséquent servir à améliorer les résultats des élèves peu performants – une autre ligne directrice de l’Internationale de l’Education. L’ouvrage affirme sans ambages que si l’enquête PISA est utilisée pour plaider en faveur de changements qui pourraient « rendre les systèmes éducatifs meilleurs et plus équitables », elle constitue également un puissant outil visant à enrichir et à élargir le débat sur l’éducation.

Sellar et al. insistent sur le fait que ce sont les pays membres de l’OCDE – et en particulier les responsables politiques – et non les représentant(e)s de l’OCDE qui utilisent les données de l’enquête PISA. L’ouvrage sous-entend, mais ne le revendique pas clairement, qu’il en va de même pour les limites des « compétences » évaluées. Comme le précise le Professeur Mortimore, ce sont les membres de l’OCDE qui ont empêché l’Organisation d’élargir le programme d’évaluation en y intégrant des disciplines telles que « la géographie ou les sciences sociales».

Toutefois, les réserves émises à l’égard de cet ouvrage sont peu nombreuses. Sellar et al. ont probablement raison lorsqu’ils soutiennent que, si l’enquête PISA constitue l’un des meilleurs efforts en vue de mesurer avec précision les résultats scolaires, elle ne peut toutefois avoir que des effets négatifs et pervers à l’heure où les tests standardisés et les régimes de sanctions à l’égard de la responsabilisation en matière d’éducation sont légion. Pour les auteurs, les enseignant(e)s et les chefs d’établissement doivent être les piliers de l’évaluation PISA lorsqu’elle paraît, et il est en outre nécessaire d’ouvrir un débat permanent, articulé autour de l’utilisation et de la mauvaise utilisation des tests standardisés. Car après tout, l’enquête PISA appartient tout autant aux enseignant(e)s qu’aux gouvernements.