La lecture et l’interprétation des indicateurs internationaux

Ce premier séminaire trouve sa logique dans la place de plus en plus importante prise dans le débat public et notamment éducatif sur l’ évaluation et sur les indicateurs , nationaux et internationaux qui en sont parmi les éléments clés . L’ interprétation des indicateurs est une problématique classiques des comparaisons internationales ; elle est devenue aussi un élément de la coordination des politiques européennes en matière d’ éducation
Elle est enfin au cœur de la réforme de la procédure budgétaire axée sur la notion de performance et d’ indicateurs de résultats J.R. CYTERMANN
Séminaire EHESS 2005/2006

La lecture et l’interprétation des indicateurs internationaux

Ce premier séminaire trouve sa logique dans la place de plus en plus importante prise dans le débat public et notamment éducatif sur l’ évaluation et sur les indicateurs , nationaux et internationaux qui en sont parmi les éléments clés . L’ interprétation des indicateurs est une problématique classiques des comparaisons internationales ; elle est devenue aussi un élément de la coordination des politiques européennes en matière d’ éducation
Elle est enfin au cœur de la réforme de la procédure budgétaire axée sur la notion de performance et d’ indicateurs de résultats

I) Une attention croissante aux indicateurs internationaux

Une observation à la fois des publications des chercheurs en Education, de la presse généraliste ou spécialisée en Education et aussi des publications des principales organisations syndicales montre inévitablement depuis 5 ans environ une place de plus en plus forte des comparaisons internationales à partir des indicateurs internationaux. La sphère éducative rejoint sous cet aspect maintenant avec un décalage ce que l’on peut observer dans ce domaine (économie, emploi, recherche). On peut interpréter cet intérêt croissant comme le point de départ d’un renouveau de l’éducation comparée, même sous cet angle limité ou comme la traduction d’une meilleure ouverture des français sur leur environnement international mais d’autres facteurs interviennent également :

1) l’élargissement du champ des comparaisons internationales

De ce point de vue l’inclusion dans les comparaisons internationales, outre les traditionnels indicateurs de scolarisation de taux d’encadrement ou de coût, de données sur les acquis des élèves dans le cadre d’enquêtes internationales a considérablement changé la donne et a multiplié l’impact des comparaisons internationales, et dans certains pays, l’effet a été très important, notamment en Allemagne., pays dans lequel les résultats des évaluations internationales ont provoqué un véritable choc .Notons et on y reviendra , que cet impact des évaluations internationales a été fortement amplifié lorsque l’OCDE a pris la place des organisations plus liées à la recherche.

2) l’Education au service de la compétitivité

Le renouveau ou l’approfondissement des théories sur le rôle de l’éducation dans la croissance économique ont indiscutablement eu comme conséquence un intérêt croissant pour la comparaison internationale en matière d’éducation. Ce n’est pas entièrement nouveau puisque le développement des évaluations aux Etats Unis, et leur engagement fort dans les comparaisons internationales ,date des années 1993. Le rapport «Education as a risk » présentait la situation de l’éducation aux Etats Unis comme un risque pour la compétitivité de l’économie américaine, les théories liant le développement de l’enseignement et de la recherche et le potentiel de croissance et d’innovation et compétitivité de l’économie sont exposées dans « Education et Croissance » d’Aghion et Cohen ou dans le livre de Marc Gurgand L’Econome de l’Education (Editions la Découverte Collections Repères 2005).Elles sont fondées principalement sur la théorie du capital humain qui considére que l’ éducation est un investissement , profitable pour le futur salarié puisque une année d’ études supplémentaires peut lui apporter un gain de revenu mais aussi pour la nation en matière d’ amélioration de la productivité et de capacité d’ innovation.

C’est ce savoir aussi de compétitivité qui place l’Education comme une des politiques clés du processus de Lisbonne.

3) Le processus de Lisbonne et la méthode de coopération ouverte

Rappelons que le processus de Lisbonne qui date de Mars 2000 a pour objectif de faire l’Union Européenne en 2010 l’économie de la connaissance la plus compétitive et la plus dynamique du monde, l’éducation et la formation constituent un domaine privilégié de la strastégie de Lisbonne. Des réflexions ont été engagées pour définir des objectifs concrets futurs des systèmes d’enseignement. Cela s’est traduit par la publications d’un rapport Européen sur la qualité de l’éducation scolaire en mai 2000, proposant 16 indicateurs de qualité qui préfigurent les indicateurs de convergence des systèmes éducatifs par la définition de 3 objectifs stratégiques et de 13 objectifs secondaires.

Le processus de Lisbonne repose aussi sur la méthode ouverte de coordination reposant notamment sur des comparaisons significatives entre pays sur la base d’indicateurs et de critères de référence, en fonction des objectifs arrêtés en commun. Cinq premiers critères de référence ont été adoptés au Conseil Européen de mai 2003.

– le taux moyen de jeunes quittant prématurément l’école dans l’Union européenne ne devrait pas dépasser 10 %
– le nombre total de diplômés en mathématiques, sciences et technologies dans l’Union devrait augmenter d’au moins 15 % et le hommes-femmes devrait être réduit
– au moins 85 % des jeunes âgés de 22 ans dans l’Union devraient avoir achevé, avec diplôme, leurs études secondaires supérieures.
– le pourcentage d’élèves âgés de 15 ans ayant de faibles résultats en lecture dans l’Union devra être réduits d’au moins 20 % par rapport à 2000, c’est-à-dire aux résultats enregistrés dans PISA, reconnu de fait comme un standard européen
– le taux moyen de participation à la formation tout au long de la vie devrait concerner au moins 12,5 % de la population adulte en âge de travail.

On retrouvait la référence à ces critères dans le rapport annexé à la loi d’orientation et d’action pour l’Ecole (LOAPS) de la loi Fillon sans qu’il faille surestimer l’impact de la politique de Bruxelles sur les systèmes éducatifs. En revanche cette méthode de coopération ouverte à base d’indicateurs s’analyse clairement comme une méthode de gouvernance par les résultats et non plus par les normes, méthode qu’on retrouve dans la LOLF, loi organique aux lois de finances .

4) La LOLF et la culture de résultats en France

Nous reviendrons dans la séance suivante sur la LOLF et l’évaluation des politiques éducatives. Rappelons également qu’ à l’instar des autres Etats, mais notamment des Etats Unis (la loi GPRA « Gouvernement Performance Résultats Act) date de 1993, La loi organique aux lois de finances introduit la mesure des résultats de l’action publique dans la procédure budgétaire. Chaque années est jointe au projet de loi de finances un projet annuel de performances de chaque programme précisant la présentation des actions les coûts associés, les objectifs poursuivis, les résultats obtenus et attendus pour les années à venir mesurés au moyen d’indicateurs précis dont le choix est justifié. Une démarche parallèle inscrit dans les lois de règlement la présence de rapports annuels de performance établissant à partir des indicateurs une comparaison des objectifs et des résultats. Dans l’état actuel des choses, les objectifs affichés dans les projets de loi de finances n’incluront pas, dans l’enseignement contrairement au domaine de la recherche ,une référence internationale mais les objectifs et indicateurs recouvrent des domaines voisins de ceux des indicateurs européens et internationaux en terme de compétence des élèves.

Au bout du compte comme le dit justement Norberto Bottani les indicateurs internationaux sont devenus des instruments de la politique éducative..

II Acteurs et instruments de la productions d’indicateurs internationaux

1) Un acteur dominant l’OCDE

Depuis 1992, l’OCDE publie chaque année « Regards sur l’Education les indicateurs de l’OCDE. C’est une publication qui a pris une ampleur considérable (de 172 pages en édition bilingue à 500 pages maintenant en édition unilingue), extension due aux nombre de pays couverts (une trentaine de pays) et aux champs couverts). La présentation est essentiellement quantitative avec une description extrêmement lacunaire du contexte éducatif de chacun des pays. D’autres publications existent : L’analyse des politiques d’éducation qui examine chaque année un certain nombre de thèmes transversaux (recrutement des enseignants, internationalisations des services d’éducation…) et l’examen de la politique des pays qui se traduit elle par des recommandations. S’ ajoutent aussi maintenant des publications présentant les principaux résultats des évaluations internationales

Si l’on prend « Regards sur l’Education » sa composition est la suivante :

– une partie A regroupe les indicateurs relatifs au niveau de formation de la population active, au taux de scolarisation et d’obtention d’un diplôme et aux acquis et compétences des élèves. Elle s’intéresse aussi aux effets de l’éducation sur l’activité et l’emploi et au rendement de l’éducation pour l’individu (niveau de revenu selon le niveau d’éducation) et pour la collectivité (impact sur la croissance). Cette partie correspond à la mesure des performances des systèmes éducatifs.

– une partie B correspondant au coût du système éducatif (dépenses d’éducation par élève ou par étudiant aux différents niveaux ainsi que les aides aux élèves et aux étudiants

– une partie C traite des durées et taux de scolarisation et d ˜accès à la formation avec un regard particulier sur l’accueil des étudiants étrangers. Elle s’intéresse également à la formation et à l’emploi des jeunes, ,à la situation des jeunes peu qualifiés et à la participation à des actions de formation continue

– une partie D est consacrée à l’organisation scolaire et à l’environnement pédagogique. Y sont étudiés par exemple le taux d’encadrement et la taille des classes ,la durée d’instruction, les salaires et temps de travail des enseignants ainsi que la question du rapport public privé. Elle fournit quelques éléments de contexte. Le sujet traité en 2005 est celui de la différenciation entre les filières pendant l’ enseignement obligatoire

Notions que la collecte des données est commune à l’OCDE, à Eurostat et à l’UNESCO, et fondée sur une méthodologie détaillée et développée ; mais l’ OCDE s’ est plus attachée à élargir le nombre de pays concernés qu’à regarder la cohérence des données dans le temps

2) Un acteur important « la Communauté Européenne »

Elle intervient à plusieurs niveaux

* un niveau de consolidation statistique réalisé par Eurostat s’appuyant sur plusieurs sources :
– questionnaire commun OCDE/UNESCO/Eurostat
– base de donnée démographique générale
– enquête communautaire sur les forces de travail
– comptes nationaux
– l’unité Eurydice, placée dans le cadre du programme SOCRATES. Elle publie tous les deux ou trois ans « Chiffres clés de l’Education » s’appuyant sur les données fournies par Eurostat, les évaluations internationales et des enquêtes spécifiques notamment sur l’organisation scolaire des pays. Elle se veut l’alliance du quantitatif et du qualitatif, apporte beaucoup d’informations sur le fonctionnement du système éducatif des Etats membres et reste très neutre dans ces commentaires. Elle est organisée de la manière suivante :

– une partie A décrit le contexte démographique, économique et en terme d’emplois des différents pays

– une partie B décrit l’organisation des enseignements dans les pays membres, ainsi que les objectifs et modes d ˜ évaluation et de prise des décisions des systèmes éducatifs européens

– une partie C est intitulée « participation à l’enseignement ( taux de scolarisation aux différents niveaux,…)

– une partie D est consacrée aux ressources et aux coûts du système éducatif., à l’aide sociale aux familles et aux étudiants, à la formation aux modes de recrutement, aux carrières et aux salaires des enseignants et des autres personnels

– une partie E est intitulée « processus éducatifs « est consacré aux temps d’enseignement ,à la taille des classes et à l’évaluation des élèves

– une partie F est intitulée Diplômes et niveaux de qualifications. Elle s’intéresse à la qualification de la population et au taux d’obtention des diplômes et à leur répartition disciplinaire.

Eurydice produit aussi des études thématiques (enseignants, évaluation des établissements, processus de Bologne)

Enfin la Commission Européenne lance des études pour définir un certain nombre d’indicateurs, d’équité, de qualité ou sur les langues.

3) D’autres acteurs plus épisodiques :

– l’UNESCO s’est vu peu à peu supplanter par l’OCDE dans son rôle de producteur de statistiques éducatives. Son institut de statistiques publie depuis deux ans un recueil de données mondiales sur l’éducation »Statistiques comparées » sur l’éducation dans le Monde, principalement tourné vers l’analyse des pays en voie de développement. L’UNESCO fournit au PNUD des indicateurs entrant dans la définition de l’indicateur de développement humain (IDDH) notamment le taux d’alphabétisation des adultes et les taux bruts de scolarisation.. Elle produit par ailleurs des données sur les effectifs des élèves et des enseignants, des taux d’accès, des mesures de progression (taux de survie) et d’espérance de scolarisation ,des taux de diplômes et des données relatives aux dépenses en éducation.

– une association de chercheurs l’IEA a produit les premières évaluations internationales sur les compétences des élèves de 15 ans en lecture, mathématiques et sciences ; supplantée par l’OCDE sur ce champ ; elle produit les évaluations en lecture des élèves de 9 ans

– -le réseau européen des responsables des politiques d’évaluation des systèmes éducatifs ont lancé une évaluation sur six pays des compétences en anglais des élèves de 15 ans

– Un consortium regroupant des universités américaines et canadiennes a fourni une étude comparative sur l’accès à l’enseignement supérieur et l’équité des systèmes d’aides.

– Nous aurons à reparler du classement de Shangai
Notons que la France, dans ses publications et notamment l’ Etat de l’ Ecole utile largement les comparaisons internationales

3) Des difficultés d’interprétation des indicateurs internationaux

Notons qu’il existe une tendance française à remettre en cause ou à discuter les comparaisons internationales lorsqu’elles ne nous sont pas favorables même si les critiques sont parfois tout à fait fondées. Les critiques sont de plusieurs types :

* une critique de nature « idéologique » pour qui les producteurs d’indicateurs internationaux sont des organisations , (OCDE, Communauté Européenne) soupçonnées de véhiculer une idéologie libérale en matière d’éducation fondée sur la subordination de l’éducation à l’emploi. Une publication de l’ Institut de recherches de la FSU intitulée « le nouvel ordre éducatif mondial » illustre ce courant . On reproche à l’OCDE une approche économique de la formation, fondée essentiellement su la notion de capital humain Dans cet ordre d’idée, on peut s’interroger, si ce n’est pas une hypothèse forte, que de considérer et c’est la logique de PISA, que les systèmes éducatifs ont des objectifs identiques en matière de compétences des élèves( cf. idée de socle commun ) .Comme le dit la FSU dans l’ ouvrage précité : « on peut aussi s’ interroger sur l’ hypothèse qui est faite d’ évaluer des compétences présentées comme universelles hors du contexte scolaire de leur acquisition « Cette convergence forcée des systémes éducatifs et cette vision utilitariste de l’ éducation est contestée comme l’ est auprès de certains milieux le recours à la notion de compétences plutôt que de connaissances

* des critiques de nature méthodologique sur les imperfections. C’est vrai pour les évaluations internationales avec notamment la discussion sur les biais culturels oui l’ origine anglo-saxonne des items (cf note jointe) même si un rapport du NRC américain conclut au bout du compte à l’ importance des progrès méthodologiques réalisés depuis 40 ans, à la crédibilité des enquêtes et des résultats ; c’est aussi vrai pour les autres indicateurs internationaux (cf rapport joint au HCEE qui liste des imperfections parfois importantes :

– difficulté de classer les programmes d’enseignement dans la classification internationale, notamment pour les niveaux 3, 4 et 5. L’ ensemble des programmes d’ enseignement est ainsi réparti sur 7 niveaux, en utilisant des critères comme le type d’ études ou de situation sur le marché du travail sur lequel le programme débouche , l’ orientaton du programme , générale , professionnelle ou préprofessionnelle , la durée du programme, la position dans la structure de délivrance de diplômes et de titres. Des problémes de classification existent : frontière entre le préprimaire et l’ accueil à finalité non éducative , classement des premières formations professionnelles dans l’ enseignement secondaire supérieur quand ces formations commencent avanrt la fin de la scolarité obligatoire et durent moins de 2 ans , partage entre le post -secondaire non tertiaire et le tertiaire .

– multiplicité des concepts sur les basses qualifications et les faibles niveaux d’études avec des indicateurs parfois différents tout en étant proche entre l’OCDE les critères de Lisbonne et les indicateurs définis en France ; la conception française de sorties sans qualification (60000) s’est peu à peu rapproché des concepts internationaux (150 000 personnes).Le critère européen est fondée sur l’ absence de diplômes ou de certification du secondaire supérieur ; le critère français était longtemps sur le niveau de la formation suivie avec ou sans diplôme

– difficile appréhension des conditions d’encadrement des enseignants : l’indicateur international utilise nombre d’élèves par enseignants est moins intuitif que l’indicateur utilisé dans les débats nationaux comme la taille des classes et on peut avec un ratio équivalent de taux d’ encadrement avoir des tailles de classes différentes

– -difficulté de comparer les rémunérations en termes de conversion ou unités monétaires comparables et de la diversité des obligations de service ( devant les éléves , dans l’ v école , temps total ) .Toutes les données monétaires « dépenses d’ éducation , salaires , ) sont divisées par l’ indice de parité de pouvoir d’ achat (ppa) pour être converties en équivalents dollars américains Cet indice de parité donne le montant en monnaie national , qui permettrait , dans un pays donné de financer le même panier de biens et de services que celui qui pourrait être acheté en dollars américains. Ce mode de conversion, jugé préférable à l’ utilisation du taux de change du marché , n’ est pas spécifique au domaine éducatif mais est utilisé pour l’ ensemble des comparaisons économiques internationales (PIB.. )

– situation complexe à décrire dans l’enseignement supérieur : collecte complexe exhaustivité non assurée, lacunes dans l’information, incohérence des données d’une année sur l’autre, imbrication entre enseignement supérieur et recherche, prise en compte imparfaites des aides aux étudiants

Ces incertitudes sur les données ne remettent pas en cause le constat généralement admis dans le débat public : celui de sous-financement de l’enseignement supérieur.

4 )Des critiques sur le mode de présentation des documents.

Si la prose de l’OCDE appelle à plusieurs reprises à la prudence dans les interprétations, elle l’est moins parfois, dans les commentaires oraux lors des conférences de presse et elle favorise au bout du compte la lecture des indicateurs internationaux comme une lecture de type « palmarès ». Cette lecture peut être favorisée par les réactions de la presse et parfois des politiques surtout lorsque les résultats sont analysés comme pour PISA, en distinguant les différentes communautés linguistiques ou régionales. Pour des chercheurs belges ,le « talon d’Achille des évaluations et des comparaisons internationales est leur interprétation hâtive. bien plus que des faiblesses constitutives rédhibitoires .Pour la FSU « l’usage, médiatique et politique, tantôt triomphateur, tantôt accusateur qui est fait de ces résultats, rend difficile la mise en évidence des présupposés de l’enquête, l’étude sereine de ces résultats et l’analyse de leurs implications en matière de politique éducative » L’OCDE elle même ne résiste pas à faire parfois des commentaires force consonance idéologique ou à des recommandations hâtives. ( exemple des droits d’inscription pour les étudiants étrangers jugés non dissuasifs ou de la remarque les pays qui ont le plus recours aux prêts étudiants , sont ceux qui ont la plus forte scolarisation ) Et l’ analyse des premiers résultats de PISA débouche sur des « recommandations de politique éducatives

Ces questions d’interprétation se posent de manière très comparable pour les comparaisons dans le temps des résultats des évaluations internationales et des indicateurs de performances dans le cadre de la LOLF, et la qualité de l’interprétation est primordiale.

Or les résultats des évaluations internationales et des comparaisons internationales en général comme les futurs indicateurs de la LOLF posent plus de questions qu’ils n’apportent de réponse. Et un des grands intérêts de PISA est d’avoir ouvert aux chercheurs des pistes de recherche sur l’interprétation des résultats.

5) Quelques pistes d’ interprétation des résultats des évaluations internationales :
-l’abondance des données de PISA , à la fois à partir des résultats des évaluations elles-mêmes et des nombreuses données de contexte , recueillies auprès des élèves et des chefs d’ établissements et l’ ouverture de ces données ont chercheurs ont permis de creuser quelques pistes même si certaines mises en relation suggérées par l’OCDE sont farfelues ou biaisées par l’ idéologie libérale ( relations entre les résultats en mathématiques des élèves et la possibilité de licencier les enseignants au niveau de l’ établissements . )

. Les pays qui ont un tronc commun pendant toute la scolarité obligatoire, ont de bien meilleurs résultats que ceux qui recourent à la sortie du primaire à des filières différenciées. Les évaluations internationales réhabiliteraient au bout du compte, le collège unique ou la mixité sociale.

. La pratique du redoublement est à la fois inéquitable et inefficace ; les pays qui ont un accompagnement personnalisé ont de bien meilleurs résultats que ceux qui pratiquent le redoublement. En France ceux qui sont à l’heure ou en avance ont des résultats comparables aux élèves finlandais, ceux qui ont un an de retard aux élèves grecs, ceux qui ont deux ans de retard au Brésil. Le redoublement peut être considéré comme une filière de différenciation. Reste que ces méfaits du redoublement vont à l’encontre de l’opinion commune des enseignants, voire des ministres.

. Contrairement à ce qu’on pourrait penser, il n’a pas d’arbitrage à faire entre efficacité globale d’un système et équité de ce système. Les pays qui obtiennent les meilleurs résultats sont également souvent ceux qui présentent les inégalités les moins fortes. Les données de PISA ont permis la construction d’indicateurs d’équité. La conclusion de l’étude de l’IREDU est sans appel : « Toute limitation de la scolarisation ou mise à part précoces de certains élèves, tout groupement par niveau ou filières distinctes, ou encore des phénomènes de ségrégation entre établissements tendent à accroître l’inégalité sociale des performances sans améliorer pour autant le niveau moyen ou même le niveau de l’élite ».

. C’est à cette production des élites que s’attaque Nathalie Mons, dans le dernier numéro de la revue du CIEP et dans le dernier numéro d’octobre du monde de l’éducation en utilisant comme indicateur de production des élites, le pourcentage d’élèves atteignant le niveau 5 dans PISA ; les différences sont importantes : 15 % en Finlande ou au Canada, 8,5 % en France, 5% en Espagne. La formule est lapidaire « la production d’une élite scolaire conséquente ne s’acquiert pas par le sacrifice des élèves en difficulté ».

. Une piste prometteuse exploitée par la DEP, mais relativement peu relayée par les chercheurs, est celle de l’interprétation des différences de résultats des élèves français selon les items par rapport aux pratiques pédagogiques (attitude des enseignants face à l’erreur, expression orale en anglais ; ce serait un des domaines privilégiés d’un travail plus approfondi entre l’IGEN et la DEP.

. Dans la logique de la LOLF, on ne trouve pas de relation probante entre le niveau des dépenses éducatives et les résultats à PISA ; il y a une corrélation significative si l’on considère l’ensemble des pays participants, mais ce caractère significatif cesse si on se limite à l’ensemble des pays originairement membres de l’OCDE. Cette absence de relation significative entre résultats et performances posera des problèmes dans une dynamique LOLF, alors que la pente naturelle pourrait être de suivre des raisonnements du type de ceux tenus en 2003 par le rapporteur du budget de l’enseignement scolaire après les premiers résultats de PISA : les élèves ont diminué, les moyens sont restés constants ou ont augmenté et les résultats sont moyens.

Eléments bibliographiques

– Rapport n° 16 et 17 établis à la demande du HCEE.

– Les rencontres de la DESCO : évaluation des connaissances et des compétences des élèves de 15 ans : questions et hypothèses formulées à partir de l’étude de l’OCDE – 31 mai 2002.

– Note 04/02 de l’IREDU « inégalités sociales et organisation des systèmes éducatifs : quelques enseignements de l’enquête PISA.

– Politiques d’éducation et de formation : 2004/2 n° 11 « Evaluation des résultats scolaires des élèves : quels impacts sur les politiques d’éducation ? »
.
-Mons (Nathalie) : « Doit-ont sélectionner ou former les élites scolaires ? Une comparaison internationale des politiques éducatives ? – Revue internationale d’éducation n°39 – pp 105-121.

OCDE « Apprendre aujourd’hui, réussir demain, premiers résultats de PISA 2003 ».

– Dupriez (V), Dumay (X) : «L’égalité des chances à l’école : analyse d’un effet spécifique de la structure scolaire « Revue française de pédagogie n°150 – 2005 pp 5-15.