Un dispositif expérimental visant à favoriser le retour vers une formation qualifiante de jeunes non diplômés en rupture scolaire a été évalué par le Céreq. L’absence d’impact sur les parcours mesuré par une méthode randomisée contraste avec la satisfaction des acteurs et des bénéficiaires.
En France, environ 120 000 jeunes quittent chaque année le système éducatif français sans diplôme. À partir de 2009, le Fonds d’expérimentations pour la jeunesse (FEJ) a financé diverses actions expérimentales visant à lutter contre le décrochage scolaire. Parmi elles, l’expérimentation APIPAQ (accompagnement partenarial d’itinéraires personnalisés vers la qualification) avait pour objectif de favoriser le maintien ou le retour de jeunes en rupture scolaire vers une formation qualifiante. Elle reposait
sur un partenariat renforcé entre rectorat et mission locale, et sur la création d’espaces d’accueil personnalisés (EAP) animés par un organisme de formation indépendant, à destination des jeunes les plus en difficulté. APIPAQ a été mise en oeuvre entre 2009 et 2011.
Sur cette période, au niveau national, ont été mis en place le système interministériel d’échanges d’informations (SIEI) et des plateformes locales de lutte contre le décrochage scolaire visant à repérer et à prendre en charge ces jeunes.
APIPAQ, dispositif innovant initié sur une échelle limitée (le bassin de Marseille), aurait pu être étendu. Cependant, les résultats de l’évaluation conduite par le Céreq ne plaident pas en faveur de sa généralisation.
Expérimentation randomisée : principe, protocole et mise en oeuvre
L’évaluation quantitative d’APIPAQ repose sur la méthode randomisée. Celle-ci consiste à définir une population susceptible de bénéficier d’un dispositif, puis à répartir aléatoirement les individus dans deux groupes distincts : le groupe « intervention » et le groupe « témoin ». Dans le cas présent, la population entrant dans l’expérimentation était repérée par la mission locale et le rectorat. Tous deux transmettaient au Céreq, en temps réel, les informations nominatives relatives aux jeunes. Dès réception de celles-ci, le Céreq affectait de manière aléatoire chaque jeune au groupe « intervention » ou « témoin ». Il informait ensuite le partenaire à l’origine du repérage, c’est-à-dire soit la mission locale, soit le rectorat, du résultat de cette affectation.
Un jeune sur deux a été placé dans le groupe « intervention ».
L’acteur chargé du suivi d’un jeune affecté au groupe « intervention » pouvait lui proposer de bénéficier d’un EAP s’il jugeait que cette solution était plus adaptée que celles préexistantes. En revanche, un jeune placé dans le groupe « témoin » bénéficiait d’une prise en charge classique et ne pouvait en aucun cas être orienté vers un EAP
Le tirage aléatoire au sein de la même population permet de constituer des groupes statistiquement identiques, c’est-à-dire présentant les mêmes caractéristiques avant la mise en oeuvre du dispositif. Ce qui différencie les deux groupes, c’est qu’au sein du groupe « intervention », certains jeunes ont la possibilité de bénéficier d’un EAP. En théorie, les différences observées a posteriori entre les deux ensembles sont ainsi directement imputables aux effets du dispositif.
L’objectif était de mesurer l’effet des EAP, en complément des autres modes de prise en charge, sur l’accès des jeunes en rupture scolaire à une formation qualifiante. Pour cela, une enquête téléphonique a été menée auprès de tous les jeunes inclus dans l’expérimentation, deux ans environ après la survenue de la rupture. Elle a porté sur les formations suivies depuis la rupture et les diplômes et qualifications obtenus. L’évaluation quantitative repose sur la comparaison des résultats des répondants du groupe « intervention » à ceux du groupe « témoin ».
Freins, contraintes et regards des acteurs
Dispositif partenarial entre la mission locale et le rectorat, APIPAQ fait intervenir de nombreux acteurs. La manière dont les responsables de la mission locale et du rectorat se sont emparés de l’expérimentation et ont transmis l’information aux personnes qui interviennent auprès des jeunes n’a pas été uniforme. En conséquence, les niveaux de motivation et d’investissements des intervenants n’ont pas été homogènes. Certains acteurs étaient peu favorables au fait de déléguer l’animation des EAP à un organisme de formation, opérateur extérieur intervenant en tant que prestataire. La progression des orientations vers les EAPa pu être freinée par les capacités de gestion des intervenants. Par exemple, la présentation des EAP aux jeunes du groupe « intervention » sortis du système éducatif en juin 2009 et suivis par la mission locale s’effectuait lors d’informations collectives. Plusieurs centaines de jeunes ont été repérés à l’automne 2009 et le fait d’organiser toutes ces informations collectives a nécessité plusieurs semaines.
D’un point de vue pratique, les échanges d’informations nominatives avec le Céreq ont induit un temps de latence entre le repérage de la rupture et la réponse apportée par l’institution. En effet, il fallait attendre le résultat de l’affectation aléatoire pour savoir si le jeune repéré pouvait bénéficier d’un EAP.
Les acteurs étaient fortement incités à accepter la méthode randomisée car sa mise en oeuvre conditionnait le financement des EAP. Les personnels de la mission locale, du rectorat et de l’organisme de formation animant les EAP ont donc scrupuleusement respecté ses contraintes, de sorte qu’aucun jeune du groupe « témoin » n’a été orienté vers un EAP. Pour autant, cette méthode est loin d’avoir suscité l’enthousiasme, et ce pour plusieurs raisons.
Tout d’abord, elle ne s’appréhende pas de manière intuitive : la comparaison entre deux groupes purement construits sur la théorie statistique ne convainc pas. Ensuite, l’utilisation de cette méthode dans le domaine de l’évaluation des politiques publiques est très récente et très limitée. Elle ne fait pas encore partie de la culture des intervenants, et a du mal à être acceptée par les acteurs. Enfin, point délicat sur le plan humain, les intervenants auprès des jeunes se trouvent confrontés à un véritable sentiment d’injustice lorsqu’un jeune qu’ils souhaitent orienter vers un EAP est affecté au groupe « témoin ». Se pose alors un problème d’ordre éthique car ils perçoivent une inégalité de traitement inacceptable entre les jeunes. Ce sentiment repose sur le présupposé d’une plus-value des EAP. Solution supplémentaire dans la palette institutionnelle, l’EAP constituerait nécessairement une chance de plus pour le jeune. Dès lors, de quel droit l’en priver arbitrairement ? Il est bien difficile de faire admettre aux acteurs de terrain que la méthode randomisée est appliquée justement parce que la pertinence du dispositif n’est pas certaine.
Résultats et limites de la méthode
Force est de constater que les différences entre les deux groupes à l’issue de l’évaluation sont ténues. Dans le groupe « intervention », les jeunes ont suivi en moyenne 1,3 formation depuis la rupture scolaire, et 36 % ont abandonné au moins une formation en cours de route.
Dans le groupe « témoin », ces chiffres sont de 1,2 et 27 %.
En ce qui concerne le type de formation suivie, la seule différence sensible s’observe sur les remises à niveau, avec une participation plus forte dans le groupe « intervention » (cf. graphique ci-contre). Sur l’obtention de diplôme, les jeunes du groupe « témoin » semblent dans une situation un peu plus favorable, puisqu’en décembre 2011 23 % d’entre eux en possèdent un contre 18 % dans le groupe « intervention ». Enfin, les situations des individus à cette date sont globalement proches. Dans le groupe « témoin » cependant, le besoin de formation est plus présent puisque 10 % des jeunes se déclarent en recherche de formation contre 5 % dans le groupe « intervention ».
Les différences les plus nettes apparaissent sur les modalités d’accompagnement dans la recherche de formation ou d’emploi, les jeunes du groupe « témoin » étant les moins bien lotis. Dans ce groupe, 13 % des jeunes affirment que, depuis leur rupture, ils n’ont été en contact avec aucun organisme dans le cadre d’une recherche de formation ou d’emploi. C’est le cas pour seulement 5 % des jeunes du groupe « intervention ». En ce qui concerne les personnes ressources, les individus du groupe « témoin » citent plus fréquemment la famille et les amis Ceux du groupe « intervention » évoquent plus souvent la mission locale et, logiquement pour les bénéficiaires d’un espace d’accueil personnalisé (EAP), un organisme de formation comme acteurs de leur suivi.
Au final, la plus-value des EAP n’est pas mise en évidence au regard de l’accès en formation qualifiante, critère d’évaluation initialement retenu. Le Céreq n’a donc pas préconisé leur généralisation.
L’évaluation quantitative permet d’affirmer que les EAP n’ont pas d’effet notable sur les retours en formation et l’acquisition de diplôme dans le groupe « intervention ». Certaines limites, sans être de nature à remettre en cause ce constat, doivent cependant être mentionnées. Tout d’abord, l’affectation aléatoire introduit un délai entre le repérage de la rupture scolaire et la prise en charge par les intervenants, ce qui a pu ralentir l’accès des jeunes aux EAP, voire en dissuader certains. Ensuite, le contexte d’évaluation du dispositif a pu modifier le comportement des personnels des EAP chargés du suivi des jeunes. Ils ont pu privilégier les orientations vers une formation au détriment des autres possibilités, sans avoir la conviction d’améliorer la qualité du suivi personnalisé. Enfin, le taux de réponse limité à l’enquête diminue la précision des résultats, tandis que la faible proportion de jeunes ayant fréquenté un EAP parmi les répondants du groupe « interintervention » (74 sur 199) peut rendre indiscernable un effet du dispositif, effet qui serait faible quoi qu’il en soit.
Soulignons également que l’évaluation se limite à l’effet des EAP sur l’accès à la qualification et ne tient pas compte des effets induits de l’expérimentation. Par construction, l’évaluation randomisée ne prend pas en considération une dimension centrale d’APIPAQ, à savoir l’évolution potentielle de la coordination entre la mission locale et l’Éducation nationale sur la prise en charge des jeunes. Cette évolution a pu impacter positivement les deux groupes. L’enquête intervenant environ deux ans après la rupture, elle ne rend pas compte d’éventuels effets positifs du dispositif sur plus long terme.
Enfin, elle occulte les aspects sociaux et psychologiques bénéfiques pour les jeunes, plus délicats à appréhender dans le cadre d’une enquête quantitative.
Document(s) associé(s) :
