GROUPE THEMATIQUE « EVALUATION »
(Document de travail)
Evaluation des établissements
LECTURE TRANSVERSALE RAPPORTS PAYS
Rédacteur : Roger-François GAUTHIERCe document n’est en aucun cas un travail d’éducation comparée, puisqu’il n’est que la lecture transversale de rapports officiels des pays concernés sans vérification de la fiabilité des matériaux. Les questions qui se posent sont toutefois similaires à celles dont les comparatistes sont familiers : quel est le sens du regard sur des systèmes étrangers ,et quel usage peut-il en être fait ? S’agit-il seulement de repérer de grandes tendances d’évolution communes à un ensemble de pays ? En certains cas peut-être, mais il n’est pas nécessairement indispensable de savoir comment les Hongrois évaluent leurs établissements… S’agit-il de repérer de bonnes idées pour les dupliquer ? En certains cas peut-être, mais avec une profonde prudence, tant la clôture des systèmes nationaux (la plupart des Etats) ou régionaux (Espagne, Allemagne) et les effets de contexte rendent l’importation difficile ou dérisoire . Il peut s’agir en fait d’un peu tout cela , quand c’est parfois possible, mais peut-être de façon plus intéressante de se mettre en position un peu plus favorable pour lire et penser plus librement la situation de son propre pays , en la confrontant aux autres et en découvrant ce qui ailleurs semble faire système, ce qui entraîne d’inévitables blocages, etc. Il s’agit en quelque sorte seulement, mais ce n’est pas nécessairement rien, de construire une expertise un peu plus détachée des contingences nationales que celle que permet précisément le seul regard national.

L’apparence est que la question de l’évaluation des établissements est perçue dans la grande majorité des pays comme une question stratégique : la réalité est que l’importance accordée à cette question est non seulement très variable d’un pays à l’autre, mais que la signification politique des évaluations d’établissements mises en place et les motifs qui président à cette mise en place divergent beaucoup entre différentes situations, en fonction de l’histoire, de la phase « centralisatrice »(Royaume-Uni) ou « décentralisatrice » (pays scandinaves) que traversent les systèmes , du type de décentralisation dont il est le cas échéant question (vers les collectivités locales, vers les écoles elles-mêmes), de la part que prend la collectivité publique à compétence générale (la nation , le Land, …) à la définition des politiques scolaires (programmes et examens nationaux ou non), etc…

On peut tenter de lire cette documentation en fonction des critères suivants :

1. Diversité des facteurs à l’origine du développement de démarches d’évaluation
– Les évaluations internationales ont joué un rôle dans des pays auparavant assez indifférents aux évaluations pour déclencher un intérêt pour les évaluations des systèmes nationaux et des établissements, par exemple dans le cas de l’Allemagne. Le lien avec les évaluations internationales fait explicitement partie du cahier des charges de l’inspection générale tchèque.
– L’évaluation d’établissement ne semble guère progresser dans des pays de décentralisation extrême en direction des autorités locales, comme dans les pays scandinaves : l’Etat évalue le travail des municipalités en matière d’enseignement, mais l’établissement n’est pas évalué spécifiquement. Il n’a pas d’autonomie .
– Les pays en revanche qui développent des procédures riches d’évaluation des établissements sont ceux qui leur reconnaissent une grande autonomie, comme les Flandres belges ou la République Tchèque, mais il existe bien sûr aussi des pays pour lesquels le développement de l’évaluation des établissements s’est fait dans un contexte radicalement contraire à l’idée d’autonomie des établissements, et c’est le cas notamment du Royaume -Uni.
– Beaucoup de pays sont dans une position intermédiaire, comme l’Allemagne, où la préoccupation de l’amélioration de la qualité amène à chercher les voies d’une plus grande autonomie des établissements, et donc à s’intéresser progressivement à leur évaluation. La même préoccupation de qualité conduit s’autres pays sur la voie de la centralisation (UK).

Schématiquement ,la même préoccupation de restauration de qualité face aux crises des systèmes scolaires conduit selon les pays à des réponses centralisatrices, ce qui est propice au développement d’un certain type d’évaluation d’établissements (UK), à des réponses favorables à l’autonomie des établissements (F, République tchèque), avec le développement éventuel (exception italienne) d’un autre type d’évaluation d’établissements, ou à des réponses en termes de développement des responsabilités des collectivités locales (Scandinavie), ce qui ne conduit en général pas au développement de l’évaluation des établissements. La préoccupation de restauration de la qualité dans les pays où les établissements sont depuis longtemps autonomes (Flandres) conduit à une forte préoccupation d’évaluation d’établissements.
Si l’autonomie des établissements est donc souvent accompagnée du développement de procédures d’évaluation d’établissements, on ne peut pas dire que la centralisation soit par essence contraire au développement de ces procédures (UK) ni que la décentralisation leur soit favorable (Scandinavie).
Risquons le tableau… :

Autonomie ancienne des établissements : Intérêt certain pour évaluation des établissements

Autonomie des établissements en développement : Intérêt plus aléatoire pour l’évaluation des établissements

Ancienne centralisation : Peu de culture d’évaluation, mais peut se développer

Centralisation de reconquête: Fort intérêt pour l’évaluation d’établissements

Pouvoir aux collectivités territoriales : Peu d’intérêt pour l’évaluation

2. Positionnement des instances chargées des évaluations externes (inspections générales, notamment)

Les inspections générales, dans les pays, assez nombreux, où elles existent (elles ont pu être supprimées, comme en Grèce, remplacées par des « conseillers pédagogiques ») sont parfois très anciennes (1832 au Royaume-Uni, époque napoléonienne aux Pays-Bas), mais il est certain que les pays où elles sont de création récente, comme la République tchèque, (où cette création s’accompagne d’une suppression des échelons déconcentrés), peuvent écrire la page avec plus d’imagination , ce qui confère à la définition de ce corps nouveau une place d’emblée stratégique dans la politique éducative générale.
En plusieurs pays le besoin a été ressenti de donner à l’inspection un statut indépendant des autorités ministérielles, qu’il s’agisse des Pays-Bas où le programme de travail de l’inspection est suivi de près et peut être amendé par le Parlement , ou du Royaume -Uni où l’OFSTED, qui reste formellement une inspection générale, est rattaché directement au gouvernement, et dont les rapports sont publics sans passer par le ministère.
A noter que certaines inspections jouent un rôle pédagogique fort dans la diffusion de la culture d’évaluation des établissements : cf. l’inspection écossaise publiant « How good is our school ? », best seller en matière d’autoévaluation.

3. Méthodes et critères des évaluations externes

Si en certains pays ,comme la Pologne ou la Slovénie, on peut considérer que les clarifications nécessaires sur le rôle de l’instance évaluatrice n’ont pas été suffisantes (selon le cas, mélange du rôle d’évaluateur et de l’opérateur, distinction contre-productive étanche entre évaluation pédagogique et administrative, ou entre un « contrôle » qui proclame ne pas s’occuper de qualité et une qualité qui n’est pas contrôlée), on a la plupart du temps une spécification du rôle de l’évaluateur externe.
Cela se marque par un travail important et public sur les procédures et critères d’évaluation, la publicité desdits critères et procédures, la périodicité de ces évaluations, la publicité de leurs résultats (cf. point 4) ou encore les procédures de suivi :

– Beaucoup de pays s’attachent à définir une périodicité rigoureuse des évaluations externes, comme le Portugal (6 ans), le Royaume-Uni (6 ans) ou encore l’Ecosse ( tous les 7 ans, avec intégration des rythmes du primaire et du secondaire afin que durant une scolarité obligatoire chaque enfant ait son établissement inspecté 2 fois). S’agissant du temps de l’évaluation externe et de sa préparation, toutes les situations existent, avec la situation étonnante de la Catalogne et du Pays Basque où les évaluateurs (universitaires au Pays Basque) évaluent l’établissement dans la durée de son activité, suivant par exemple une même cohorte d’élèves sur 4 ans.

– Les méthodes des évaluations externes des établissements sont diverses mais définies publiquement, dans des textes parfois longuement discutés au niveau parlementaire (Pays-Bas), et on voit par exemple souvent s’établir des distinctions entre « inspections de routine », ou « short » et « intégrales », ou « full », entre évaluation exhaustive ou focalisation sur des faiblesses apparentes (Ecosse). La question du rapport avec les évalués est l’objet d’une attention spéciale dans les protocoles tchèques où il est prévu d’interroger chaque fois le responsable de l’école sur ce qu’il a pensé des procédures et résultats de l’évaluation externe ; c’est aussi en République tchèque qu’existe, au sein de l’inspection générale, un groupe de méthodes permanent sur les questions d’évaluation ainsi qu’une obligation faite à l’inspection d’une auto évaluation annuelle de ses propres rapports.

– S’agissant de la part des questions pédagogiques dans les évaluations d’établissements, elle est partout très forte, tournée d’abord vers la mesure des résultats des élèves : cette mesure n’est pas facilitée dans les pays sans programmes nationaux ni examens nationaux (on assiste alors, comme en Hongrie, au développement inflationniste du marché des tests privés), elle l’est en revanche dans les pays qui s’en dotent , comme le Royaume -Uni,( le cas de la France, dotée de programmes et d’examens nationaux, mais peu focalisée sur les résultats des élèves étant assez spécifique).A noter aussi que dans la plupart des pays, même quand il existe un « curriculum » national, l’établissement doit expliciter ce qu’il en fait et que la première question des évaluateurs externes est en général : « quels programmes enseignez-vous ? quels curricula ?»

– Les procédures de suivi sont en général assez systématiques , comme en Ecosse ou en République Tchèque (2 ans) , mais elles vont parfois, comme au Royaume -Uni , bien au -delà d’un suivi, selon la catégorie (« mesures spéciales », ou « faiblesses spécifiques »)à laquelle l’établissement a été rattaché à l’issue de l’évaluation externe : toute une procédure est lancée qui peut aller, au moins en théorie, jusqu’à la fermeture de l’établissement.

4. La question du rapport entre l’évaluation et les usagers

Les questions de l’interrogation des usagers et des retours qui leur sont faits de l’évaluation font partie des plus débattues. Parfois comme en Hongrie, certaines évaluations sont directement faites pour répondre à la demande des familles, par exemple sur les taux de succès des lycées aux concours d’entrée à l’Université.
Beaucoup de pays adressent des questionnaires aux usagers, soit à tous (Roumanie), soit sur échantillon (Ecosse), allant parfois (Norvège) jusqu’à imaginer la figure de l’élève -inspecteur s’exprimant sur Internet . Des méthodes diffusées en plusieurs pays, comme l’European Foundation for Quality Management , prévoient une interrogation sur la « satisfaction » à la fois des usagers et des agents.
Les rapports sont adressés à tous les parents sous 10 semaines en République Tchèque, mais beaucoup de pays (Royaume-Uni, Ecosse, notamment ), les mettent systématiquement sur Internet. S’il est décidé au Portugal que le rapport sera publié, il doit l’être in extenso. Dans beaucoup de pays, en revanche, les recommandations qui accompagnent les rapports, ou encore les notes mises aux établissements (Royaume-Uni) ne sont pas publiées.
Le souci de ne pas enfermer l’évaluation dans les logiques professionnelles de l’éducation a conduit le Royaume-Uni et l’Ecosse à ouvrir les équipes d’inspection à des profanes (Laymen, Lay members), dont la présence est parfois contestée, parfois jugée insuffisante en nombre pour être significative.

5. Développement et ambiguïtés des démarches d’auto évaluation

Il est question dans presque tous les pays de démarches d’auto évaluation, et la Roumanie paraît avoir pris la mesure de l’objectif en décidant d’y former tous les chefs d’établissement avant 2004, ou l’Ecosse, qui a intégré à ses évaluations externes l’obligation d’évaluer la mise en place et la qualité du regard auto évaluateur de l’établissement sur lui-même.
En certains pays, comme l’Italie, où les établissements se sentent un peu livrés à eux-mêmes dans un contexte d’autonomie sans évaluation externe , les établissements de plusieurs régions ont initié des démarches d’auto évaluation.
Retenons aussi la situation du Royaume -Uni, où le thème de l’auto évaluation est prôné par les autorités ministérielles au nom des mêmes objectifs que l’évaluation externe réalisée par l’OFSTED, qui a d’ailleurs publié un manuel d’auto évaluation très proche de son propre manuel !: la question est alors posée de savoir si l’auto évaluation est la simple intériorisation d’un contrôle externe, ou bien si , à la fois pour être crédible et pour avoir sa valeur ajoutée propre, elle ne pourrait pas être davantage prise en compte par … l’évaluation externe, en étant par exemple à l’origine de l’inscription de chapitres spécifiques au menu de cette dernière.