Rechercher

Le projet pilote d’assistance statistique pour la sélection de programmes destiné aux conseillers ORP

Un système d'assistance statistique pour la sélection de programmes (en allemand "Statistisch assistierte Programmselektion", Saps) a été mis en place, dans le cadre d'un projet pilote, afin d'aider les conseillers travaillant dans les offices régionaux de placement (ORP) à choisir les mesures actives du marché du travail (Mamt) appropriées. Une évaluation ultérieure montre cependant que les conseillers impliqués ont peu modifié leurs choix. Les recommandations en ligne n'ont donc pas abouti à une participation différente des demandeurs d'emploi aux Mamt. Même s'il n'a pas été possible d'évaluer le potentiel du système d'assistance électronique, il apparaît que les conseillers sont peu enclins à mettre en oeuvre les recommandations fournies par des outils d'assistance (externes).



Les Mamt visent à améliorer les qualifications et l’employabilité des demandeurs d’emploi dans le but d’une réinsertion professionnelle rapide et durable. Des évaluations de ces mesures en Suisse et dans les pays avoisinants ont, cependant, démontré qu’elles ne sont pas toujours appropriées et qu’elles peuvent avoir des effets négatifs pour certains individus, tout en étant efficaces pour d’autres. L’hétérogénéité des résultats montre qu’à elles seules, les Mamt ne parviennent pas à résoudre les difficultés des demandeurs d’emploi. Les participants devraient être sélectionnés de façon plus ciblée. La question qui se pose est donc: qui doit participer à quelle mesure et quand?

Le but: optimiser la probabilité d’emploi


Fondamentalement, c’est aux conseillers ORP qu’il incombe de décider de l’opportunité d’une mesure et, le cas échéant, de sélectionner celle qui est appropriée et le bon moment. Diverses études ont, cependant, démontré que ce processus peut être amélioré, car les conseillers ne parviennent pas toujours à choisir la mesure appropriée. Si le but est d’accroître les réinsertions sur le marché du travail, la meilleure Mamt est celle qui, entre toutes, promet la plus haute probabilité d’emploi à un moment donné. Une autre option consiste naturellement à dire qu’il n’y aura «pas de mesure ce mois-ci, mais peut-être plus tard».

Avantage des recommandations en ligne par rapport au conseil individuel


Plusieurs pays ont récemment mis au point des outils électroniques pour aider les conseillers à sélectionner la bonne mesure pour chaque individu. Le système d’assistance statistique présente l’avantage de disposer des informations des banques de données administratives de tous les chômeurs enregistrés en Suisse ces dernières années. Alors que les conseillers doivent établir leurs pronostics à partir des clients qu’ils connaissent – ce qui n’est pas toujours simple, surtout pour les conseillers peu expérimentés -, le système informatique peut faire appel aux données de centaines de milliers de demandeurs d’emploi placés dans des situations analogues, pour émettre des pronostics quant aux chances de réinsertion. Par rapport aux conseillers ORP, le système assisté par ordinateur a un autre avantage, celui de pouvoir exploiter les informations sur le parcours professionnel d’une personne après son retour au travail. Un conseiller ne peut, en général, retracer la carrière de ses clients que pendant la période où il les a suivis. Lorsqu’un demandeur d’emploi est radié des listes, le conseiller en connaît souvent les raisons; il ignore, par contre, la suite du parcours professionnel. Si, par exemple, ce demandeur retourne au chômage après un an, il se peut qu’il soit suivi par un autre conseiller, ou même qu’il doive s’annoncer à un autre ORP suite à un changement de domicile. Le conseiller initialement responsable ne sera donc pas forcément au courant de cet échec et ne pourra le prendre en compte dans ses futurs choix de mesures. La méthode électronique, elle, permet de suivre tous les chômeurs, quels que soient les ORP ou les conseillers responsables. Elle peut donc estimer de façon fiable la probabilité qu’une personne ne soit pas retombée au chômage, par exemple après un an. Ce point est particulièrement important, car les Mamt ne sont pas uniquement censées favoriser la rapidité de la réinsertion professionnelle, mais aussi sa durabilité. Ce savoir statistique peut donc être exploité pour établir des pronostics individuels quant à l’efficacité des éventuelles mesures envisagées. Les demandeurs d’emploi ne forment, en effet, pas un groupe homogène; la diversité de leurs qualifications oblige souvent à prendre en compte le plus d’informations possible sur les uns et les autres. Grâce à l’ampleur des données statistiques, il est ainsi possible de prédire avec quelle probabilité une personne dotée de telles caractéristiques trouvera un emploi si elle participe à un moment donné à telle ou telle mesure. Celle comportant la probabilité la plus forte de retour à l’emploi lui sera recommandée. L’important n’est pas ici l’évaluation de la probabilité d’emploi en soi, mais la différence entre les probabilités générées par chaque mesure.

Évolution du système Saps


Ces évaluations individuelles pourraient être mises à disposition des conseillers ORP en ligne et c’est dans ce but qu’a été élaboré le Saps. Une étude effectuée en 2002 sur la faisabilité d’un tel système en Suisse a révélé un potentiel considérable d’amélioration du processus de sélection. Le Saps a alors été mis au point sur la base de cette conclusion, puis testé en Suisse en 2005 au cours d’une expérience pilote. Les leçons qui ont pu en être tirées sont présentées ci-dessous. Plusieurs pays envisagent d’adopter un système analogue de prévision assisté par ordinateur (Danemark, Suède) ou ont déjà lancé un projet pilote (Allemagne).

Sélection de programmes par Internet


Au cours de l’expérience pilote, les conseillers recevaient par Internet des pronostics préparés pour leurs demandeurs d’emploi et actualisés tous les quinze jours. Un conseiller pouvait consulter à tout moment les pronostics d’emploi pour ses clients (voir la page du Saps en photo). La partie supérieure de l’écran présente quelques données personnelles permettant au conseiller de s’assurer qu’il n’a pas saisi par inadvertance un faux numéro d’identification. En dessous s’affichent les prévisions Saps, suivies d’un champ («Feedback») dans lequel le conseiller a toute latitude de s’exprimer. Pour chaque Mamt, l’indicateur d’emploi montre sur combien de mois de travail stable la personne pourrait compter dans les douze mois suivants si elle participait à la mesure correspondante. L’exemple présenté montre que le pronostic de la durée d’emploi, lors des douze prochains mois, est de 5,3 mois si cette personne suivait un cours d’informatique. Si, en revanche, elle ne bénéficiait d’aucune mesure, elle ne pourrait espérer que 3,6 mois d’emploi fixe durant la même période d’un an. Les mesures affichées en vert sont significativement meilleures que l’option «Pas de mesure» statistiquement parlant, et donc recommandables; celles affichées en rouge sont moins bonnes et donc déconseillées. Ces évaluations des chances individuelles d’emploi sont actualisées à plusieurs reprises au cours de la période chômée, afin de tenir compte des circonstances. C’est pourquoi l’option «Pas de mesure» signifie toujours qu’il ne convient pas de proposer une mesure pour le moment, mais que cela pourra être le cas plus tard.

Une étude pilote randomisée


L’outil électronique, mis au point au cours de l’expérience pilote, a ensuite été éprouvé en 2005 au cours d’une expérience de terrain de plus de six mois, effectuée dans 21 ORP pilotes (y compris trois centres de soutien). Le but de cette expérience sur le terrain était d’examiner l’utilité et les possibilités d’une application généralisée du système à toute la Suisse. Toutefois, pour estimer l’utilité effective, il ne suffit pas d’évaluer simplement le processus ou sa mise en oeuvre. Il faut comparer le succès des demandeurs d’emploi avec et sans prévisions Saps. Or, la méthode la plus fiable pour une telle évaluation consiste à randomiser la participation. À cet effet, 50% des conseillers des ORP pilotes, tirés au sort, avaient la possibilité de consulter les pronostics concernant leurs demandeurs d’emploi, tandis que l’autre moitié n’y avait pas accès. Les conseillers «autorisés» ne pouvaient lire que les prévisions concernant leurs propres clients. Ils n’étaient pas tenus de les appliquer, mais seulement de les considérer comme une aide pour choisir une mesure. Le Saps n’est, en effet, pas censé remplacer l’expertise du conseiller, mais fournir des informations sur la façon dont le marché de l’emploi juge tel cours ou telle formation continue. Après la conclusion de la phase de terrain, à la fin décembre 2005, les demandeurs d’emploi ont été suivis jusqu’à la fin décembre 2006 au moyen des banques de données Plasta et Sipac de l’assurance-chômage, afin de mesurer pendant au moins un an la différence de probabilités en matière de retour à l’emploi entre les demandeurs dont les conseillers participaient au projet Saps et ceux suivis par le groupe témoin. La variable cible sur laquelle avaient été établies les prévisions Saps – et qui a aussi été utilisée pour l’évaluation – était le nombre de mois d’emploi stable dans l’année suivant le début d’une mesure.

Les recommandations en ligne n’ont aucune influence sur les mesures choisies par les conseillers ORP


Comme les prévisions Saps ont été établies avant tout pour aider les conseillers à sélectionner les Mamt, la première étape de l’évaluation consistait à examiner la différence entre les mesures choisies d’une part par le groupe assisté, de l’autre par le groupe témoin. En effet, ce n’est que si l’on peut constater des écarts significatifs que le système Saps pourra avoir un effet (indirect) sur le taux d’emploi des demandeurs et donc sur le taux de chômage. L’évaluation de l’expérience de terrain à la fin des douze mois de suivi n’a, cependant, pas révélé de différences significatives (statistiquement parlant) entre les participants et le groupe témoin. Elle montre que les conseillers participants n’ont pas changé significativement leurs choix de mesures. Ils ont certes consulté régulièrement les prévisions Saps – du moins au début de la phase de terrain -, mais il n’a pas été possible de déceler une quelconque influence de ces pronostics sur les mesures choisies. Les recommandations statistiques ne se sont donc pas non plus traduites dans la participation des demandeurs d’emploi aux différentes Mamt. Pour cette raison, il n’a pas été possible d’établir des différences significatives quant aux chances des chômeurs de trouver un emploi durable. Pourquoi les conseillers n’ont-ils pas utilisé les prévisions Saps? On en est réduit aux hypothèses, mais divers entretiens indiquent des pistes. Inquiets à l’idée que leur liberté d’action soit bridée à court ou à long termes, plusieurs conseillers s’étaient montrés d’emblée très critiques vis-à-vis du projet. Quelques-uns redoutaient le temps qu’ils perdraient en y participant. D’autres, en revanche, nourrissaient de fortes attentes quant à la précision des prévisions assistées par ordinateur, et manifestent une certaine déception dans leurs réactions. Ils citent ainsi plusieurs pronostics absurdes, concernant par exemple un architecte de 45 ans pourvu d’une formation complémentaire en droit et d’une expérience en France, un chef de projets informatiques sans connaissances d’anglais, mais avec de bonnes notions d’allemand et de français ou une physiothérapeute enceinte, âgée de 36 ans, avec deux enfants en bas âge et un mari pilote. Dans tous ces cas, ils s’étaient attendus à ce que ces détails spécifiques soient pris en compte dans les prévisions. Or les possibilités du système se limitent plutôt à indiquer le jugement moyen que le marché de l’emploi porte sur les Mamt. Les estimations Saps tiennent, certes, déjà compte d’un grand nombre de caractéristiques, mais il s’agit toujours d’estimations moyennes de groupes de population. Elles peuvent ne pas s’appliquer à un individu spécifique, dont les caractéristiques sont rarement observées. Pour cette raison, les conseillers avaient été encouragés, avant même le début du projet, à déroger aux recommandations du système dans des cas aussi évidents. Étant donné le faible taux de mise en oeuvre des prévisions au cours de l’expérience de terrain, le Saps n’a eu d’effet significatif ni sur le choix des mesures, ni sur les chances de réinsertion des chômeurs. Il n’est donc pas possible de tirer des conclusions fondées concernant le potentiel du Saps en soi. On peut, cependant, constater que les conseillers ORP sont apparemment peu enclins à mettre en oeuvre des outils d’assistance (externes).

Encadré 1: Définitions Le Saps est un outil informatique qui aide à sélectionner individuellement les Mamt appropriées. À partir d’informations très détaillées sur le demandeur d’emploi, elle établit des estimations statistiques quant aux chances professionnelles qu’aurait cette personne si elle participait à telle mesure à tel moment.

Les études randomisées sont surtout utilisées en médecine pour évaluer l’efficacité des médicaments. On tire au sort 50% des membres d’une population donnée (par exemple toutes les personnes présentant les symptômes typiques d’une maladie et qui se sont portées volontaires) pour leur administrer un médicament, alors que les autres 50% reçoivent un placebo (à leur insu). La sélection fortuite garantit qu’il n’y a pas de différence systématique entre les deux groupes.

Proposition de citation: Stefanie Behncke ; Markus Froelich ; Michael Lechner ; (2008). Le projet pilote d’assistance statistique pour la sélection de programmes destiné aux conseillers ORP. La Vie économique, 01 avril.