Cette note présente de manière conjointe les deux séances,
« L’évaluation quantitative internationale des systèmes éducatifs, apports, limites et renouvellement » (N Mons) et « Quelques réflexions méthodologiques autour des évaluations internationales des compétences des élèves » (M Demeuse)
La problématique est la même et porte sur les enseignements et les interprétations que l’on peut tirer des enquêtes quantitatives portant sur les compétences des élèves mais aussi sur leurs limites méthodologiques.

1) Les opérateurs des enquêtes internationales

Ces enquêtes internationales ont maintenant quarante ans Elles ont d’ abord été réalisées par une association de chercheurs, l’IEA (international association for the development of educational achievment) dans le domaine des sciences et des mathématiques (TIMSS : third international Mathématics and Science Study) comme dans le domaine de la lecture ou literacy (reading literacy survey). L’IEA a eu longtemps le monopole de ces enquêtes mais ce monopole a été mis en brèche par l’OCDE ; l’IEA a cependant poursuivi ces activités avec une enquête sur les performances en lecture des élèves de 9 ans intitulée PIRLS ou IGLU et dont les résultats ont été rendus publics en 2004. Les résultats français étaient comme pour PISA, dans la moyenne des pays de l’OCDE.

L’entrée en lice de l’OCDE s’explique par plusieurs raisons ; les enquêtes internationales menées par l’OCDE, étaient longues à sortir. La publication d’indicateurs sur les compétences des élèves était le prolongement logique de la publication d’indicateurs sur l’Education. L’insistance sur les compétences des élèves plus que sur les connaissances se situe dans la logique propre de l’OCDE, de ses études sur le capital humain et de l’importance de l’éducation comme facteur de la politique de l’emploi. Pisa est ainsi dans la suite logique aussi de l’évaluation dite IALS qui avait pour but de mesurer les capacités des adultes, en numéracie et en litéracie, utiles dans la vie de tous les jours. Rappelons que cette enquête avait suscité une polémique très sérieuse en France, qui s’était retirée de l’enquête. Cet intérêt croissant pour l’éducation s’est manifesté par la création d’une direction de l’éducation, indépendante de la direction emploi à l’OCDE.
Comme l’ explique très bien Norberto Bottani ( « les évaluations internationales des acquis des élèves et leur impact sur les politiques d’ éducation ») dans le numéro de la revue politiques d’ Education et de Formation intitulé « Evaluation des résultats des élèves ; quels impacts sur les politiques d’Education » l’entrée en lice de l’OCDE, donnait une force frappe sans commune mesure avec celles de l’IEA du fait de l’implication des gouvernements, des ressources financières disponibles et de la régularité des enquêtes. .
Notons cependant que les travaux de l’OCDE, ni même ceux de l’IEA n’épuisent pas les sujets traités et que, ni l’une, ni l’autre ne traitent par exemple des compétences en langue étrangère, qui pour des raisons évidentes, n’intéressent pas beaucoup les pays anglo- saxons ce qui a conduit la France, avec d’autres pays, à mener une enquête particulière sur les acquis en Anglais, dont les résultats vous seront présentés lors de la séance 10. Mais le risque existe que la contribution à l’OCDE épuise les financements disponibles et l’Europe, par exemple, sont réticente à construire des indicateurs supplémentaires, même, si pour les langues, ils sont clairement spécifiques à l’Europe.

2) L’ opération PISA

PISA a pour objectif de mesurer les compétences des élèves de 15 ans en lecture, mathématiques et sciences. Contrairement aux enquêtes de l’IEA , la référence est un âge ( en France les classes de 3ème , de2nde et de BEP sont concernées ) et non une classe . Trois vagues sont prévues la première en 2000 est axée sur la lecture la seconde en 2003 ( publication 2005) sur les mathématiques, la troisième en 2006 aura comme dominante la lecture. Les résultats de la première vague ont mis au pinacle les pays scandinaves (Finlande et Suède,) certains pays anglo – saxons( Australie , Canada ) et le Japon et la Corée ; la France obtenait des résultats moyens et l’ Allemagne des résultats catastrophiques . Les données sur les compétences des élèves ont été complétées par des questionnaires qualitatifs contextuels remplis par les élèves et les chefs d’établissements.
Au-delà des résultats mêmes et des commentaires médiatiques, dont une synthèse vous est jointe ; L ˜ enquête Pisa, dont les données ont été mises à la disposition des chercheurs a suscité de nombreuses études dont une partie des résultats vous seront présentés par nos intervenants

3) les études sur PISA et sur les évaluations internationales en général.

On peut arriver à la typologie suivante

– études à caractère méthodologique, portant à la fois sur l’interprétation des données, sur les biais linguistiques et culturels (Monseur et Demeuse, Ariane Baye ) présentées dans le numéro précité politiques d’éducation et formations. Le travail de Nathalie Mons qui vous est envoyé en pièce jointe comporte aussi des aspects méthodologiques
– lien entre qualité et équité, développé dans le numéro 2002 Analyse des politiques d’ éducation « Améliorer la qualité et l’ équité, enseignements tirés du cycle d’ évaluation 2000 du PISA » Ce sujet de l’ équité est également très présent dans la communication de Marc Demeuse qui tente de répondre à la question :  » L’ampleur des différences de rendement entre filles et garçons, entre natifs et immigrés, entre établissements scolaires, est elle nécessairement le reflet d’ un manque d’ équité des systémes éducatifs ».
– recherche de facteurs explicatifs aux différences de résultats entre les pays ; liens entre résultats et coûts, entre résultats et organisation de l’enseignement en filières séparées ou non, entre résultats et décentralisations dans des systémes éducatifs, points qui seront abordés par N Mons
– impact des évaluations internationales sur les politiques éducatives et la gouvernance des systémes éducatifs, questions traitées par le numéro précité de « politiques d’éducation et formation ( articles de N Bottani et C Maroy
– PISA a entraîné des comparaisons sur les contextes des performances. Le gouvernement allemand a ainsi commandité une enquête sur 7 pays (Allemagne, France, Angleterre, Canada, Finlande, Pays-Bas et Suède ) intitulée
« Conditions of school performances in seven countries , A Quest for Understanding of international variation of PISA résults » et accessible sur www.pisa.oecd.org . Les incidences du contexte japonais sur les apprentissages scolaires sont également présentées dans le numéro précité de Politiques d’éducation et de formation

Les intervenants

Nathalie Mons, qui interviendra le mercredi 17 novembre est doctorante à l’IREDU (Université de Bourgogne )
Marc Demeuse qui interviendra jeudi 16 décembre est professeur à l’université de Mons

Eléments bibliographiques

1) Documents de l’OCDE : Cadre d’évaluation de PISA 2003 -La lecture, moteur de changement : performances et engagement d’un pays à l’ autre Résultats dePISA 2000.
Améliorer la qualité et l’équité ; enseignements tirés du cycle d’évaluation 2000 du PISA. Accès au site www.pisa.oecd.org

2 ) Evaluation des résultats scolaires des élèves : Quels impacts sur les politiques d’éducation ? Politiques d’Education et de formation 2004/2 pages 7 à 93 L 4 article DE M Demeuse vous sera communiqué dans 1 mois.

3)Communication Nathalie Mons en pièce jointe.

4)Politiques de décentralisation en éducation : diversité internationale, légitimations théoriques et justifications empiriques : texte distribué en séance.

5)Etude de l’IREDU sur la liaison entre filières séparées au collège unique et performances des élèves ( signalement en pièce jointe ) disponible sur www.u-bourgogne.fr/IREDU.

6) Quelques documents du séminaire 2002-2003 sur PISA.