RAV-Personalberatung: Pilotstudie zur statistisch assistierten Programmselektion

Arbeitsmarktliche Massnahmen werden mit dem Ziel eingesetzt, arbeitslose Personen durch eine Verbesserung ihrer Qualifikation und Vermittelbarkeit rasch und dauerhaft in den Arbeitsmarkt einzugliedern. Evaluationen in der Schweiz und in benachbarten Ländern zeigten, dass AMM nicht immer angebracht sind und sehr wohl auch negative Beschäftigungsergebnisse erzeugen können, auch wenn sie für einige Gruppen von Stellensuchenden erfolgreich sein können. Die Heterogenität der Studienergebnisse deutete an, dass die AMM allein vermutlich nicht die Schwierigkeiten der Stellensuchenden zu lösen vermögen. Eine gezielte Auswahl der Teilnehmenden ist erforderlich. Es stellt sich somit die Frage: Wer sollte wann an welcher Massnahme teilnehmen?

Maximierung der Beschäftigungswahrscheinlichkeit als Ziel

Prinzipiell obliegt es den RAV-Personalberatenden, über die Angemessenheit einer Massnahme zu entscheiden und gegebenenfalls eine passende Massnahme zum geeigneten Zeitpunkt auszuwählen. Verschiedene Studien deuteten jedoch an, dass dieser Auswahlprozess verbesserungsfähig ist und es den Personalberatenden nicht immer gelingt, die am besten geeignete Massnahme auszuwählen. Unter dem Ziel der Erreichung einer erhöhten Wiederbeschäftigung wäre die beste Massnahme jene, die zu einem bestimmten Zeitpunkt die höchste Beschäftigungswahrscheinlichkeit aus allen zur Verfügung stehenden Massnahmen erwarten lässt. Eine weitere Handlungsoption lautet auch «Keine Massnahme in diesem Monat, aber vielleicht später».

Vorteile der statistisch assistierten Programmselektion

In mehreren Ländern wurden in der Vergangenheit verschiedene computergestützte Hilfsmittel entwickelt, die den Personalberatenden bei der Massnahmenwahl zur Seite stehen sollen. Das computergestützte System hat hierbei den Informationsvorteil gegenüber den Personalberatenden, dass es über die Informationen aus den administrativen Datenbanken für alle in der Schweiz registrierten Arbeitslosen der letzten Jahre verfügt. Während die Personalberatenden ihre Prognosen anhand der ihnen bekannten Klienten erstellen müssen, was insbesondere für Personalberatenden mit geringer Erfahrung nicht immer einfach ist, kann das computergestützte System auf mehrere Hunderttausende von Erwerbsverläufen von Stellensuchenden in ähnlichen Situationen zurückgreifen, um aus dieser Datenmenge Prognosen für die erwarte-ten Wiederbeschäftigungswahrscheinlichkeiten zu erstellen.  Das statistische System hat gegenüber den Personalberatenden einen weiteren Wissensvorsprung dadurch, dass es Informationen über den Erwerbsverlauf nach Beendigung der Arbeitslosigkeit nutzen kann. Ein Personalberater kann den Werdegang seiner Klienten üblicherweise nur für die Zeit nachverfolgen, in der sie von ihm betreut werden. Wird eine stellensuchende Person abgemeldet, so ist ihm zwar oftmals der Abmeldegrund bekannt, nicht aber der weitere Erwerbsverlauf. Wird die ehemals stellensuchende Person z.B. nach einem Jahr wieder arbeitslos, wird sie möglicherweise von einem anderen Personalberater betreut oder aufgrund eines Ortswechsels gar in einem anderen RAV registriert. Die Person wird also wieder arbeitslos, ohne dass der frühere Personalberater dies weiss und dieses negative Ergebnis bei der Auswahl von zukünftigen Massnahmen für andere Arbeitslose berücksichtigen kann. Das statistische System kann alle ehemals arbeitslosen Personen nachverfolgen, egal, in welchem RAV oder von welchem Personalberater sie betreut werden. Es kann somit zuverlässig abschätzen, mit welcher Wahrscheinlichkeit eine Person z.B. nach einem Jahr noch nicht wieder arbeitslos geworden ist. Dies ist insbesondere von Bedeutung, wenn AMM nicht nur die rasche, sondern auch die nachhaltige Wiedereingliederung fördern sollen. Dieses statistische Wissen kann verwendet werden, um für jeden einzelnen Stellensuchenden auf individueller Ebene Prognosen über die Effektivität möglicher Massnahmen zu erstellen. Stellensuchende sind keine homogene Gruppe, sondern haben oft sehr unterschiedliche Qualifikationserfordernisse, sodass möglichst viel Wissen über die jeweilige Person berücksichtigt werden sollte. Auf Basis dieser reichhaltigen Datengrundlage kann also prognostiziert werden, mit welcher Wahrscheinlichkeit eine Person mit bestimmten Charakteristika eine Beschäftigung finden wird, wenn sie – zu einem bestimmten Zeitpunkt – an Massnahme A oder B oder C etc. teilnehmen würde. Die Massnahme, welche die höchste Beschäftigungswahrscheinlichkeit verspricht, wäre dann für diese stellensuchende Person zu empfehlen. Wichtig hierbei ist also nicht die Schätzung der Beschäftigungswahrscheinlichkeit per se, sondern der Unterschied zwischen den Wahrscheinlichkeiten verschiedener Massnahmen.

Entwicklung von Saps

Diese individualisierten Schätzungen könnten den Personalberatenden in den Arbeitsvermittlungszentren online bereitgestellt werden. Als ein solches Hilfsmittel wurde Saps entwickelt. In einer im Jahr 2002 durchgeführten Studie zur Durchführbarkeit von Saps in der Schweiz deutete sich ein beträchtliches Potenzial für die Verbesserung des Massnahmenauswahlprozesses an. Aufgrund dieser Ergebnisse wurde Saps entwickelt und in einer Pilotstudie im Jahr 2005 in der Schweiz getestet. Die Evaluationsergebnisse dieser Pilotstudie werden nachfolgend beschrieben. Mehrere Länder erwägen momentan die Einführung eines ähnlichen statistischen Prognosesystems (Dänemark, Schweden) oder haben bereits ein Pilotprojekt gestartet (Deutschland).

Programmselektion per Internet

Während der Pilotstudie wurden den Personalberatenden Prognosen für ihre Stellensuchenden per Internet bereitgestellt und zweiwöchentlich aktualisiert. Zu jedem beliebigen Zeitpunkt konnte ein Personalberater die Beschäftigungsprognosen für einen seiner Klienten abrufen (siehe Bildschirm Saps). Im oberen Teil des Bildschirms erscheinen einige wenige Angaben zur Person, um sicherzustellen, dass der Personalberater nicht versehentlich eine falsche Personennummer eingegeben hat. Darunter erscheinen die Saps-Prognosen, gefolgt von einem Bereich (Feedback), in dem die Personalberater detaillierte Rückmeldungen geben konnten. Der Beschäftigungsindikator im Bereich der Prognosen zeigt für jede AMM an, wie viele Monate stabiler Beschäftigung in den nächsten zwölf Monaten zu erwarten wären, wenn die Person an der jeweiligen Massnahme teilnehmen würde.  In diesem Beispiel wird für eine bestimmte stellensuchende Person prognostiziert, dass sie innerhalb der nächsten 12 Monate 4,9 Monate lang stabil beschäftigt wäre, wenn sie einen Informatik-Anwenderkurs besuchen würde. Erhielte sie hingegen jetzt keine Massnahme, würde sie gemäss der Saps-Prognose innerhalb der nächsten 12 Monate 3,2 Monate lang eine stabile Beschäftigung erwarten. Grün markierte Massnahmen sind statistisch signifikant besser und empfehlenswert. Rot markierte Massnahmen sind statistisch signifikant schlechter und sollten vermieden werden. Diese Schätzungen der individuellen Beschäftigungschancen werden im Laufe der Erwerbslosenperiode mehrfach neu erstellt, um aktuelle Umstände berücksichtigen zu können. Daher bedeutet die Handlungsoption «keine Massnahme» immer, dass keine Massnahme zu diesem Zeitpunkt angeordnet werden sollte, aber eventuell später.

Randomisierte Pilotstudie

Dieses statistische Hilfsmittel wurde im Rahmen dieser Studie entwickelt und anschliessend im Jahr 2005 in einem mehr als halbjährigen Feldversuch in 21 Pilot-RAV (inkl. 3 Stützpunkten) in der Praxis erprobt. Ziel des Feldversuchs war es, Nutzen und Möglichkeiten einer allfälligen schweizweiten Implementierung des Systems zu eruieren. Um den möglichen Nutzen abschätzen zu können, reicht eine einfache Prozessoder Umsetzungsevaluation nicht aus. Zur Evaluation des effektiven Nutzens von Saps für die Beschäftigungserfolge der Stellensuchenden ist ein Vergleich der Beschäftigung mit und ohne Saps-Prognosen erforderlich. Das zuverlässigste Design für eine solche Evaluation beruht auf einer Randomisierung der Teilnahme, die eine systematische Verzerrung der Resultate ausschliesst. Dabei wurden 50% der Personalberatenden der teilnehmenden Pilot-RAV zufällig ausgewählt und ihnen die Möglichkeit zum Abruf der Prognosen für ihre Stellensuchenden gegeben, während die andere Hälfte der Personalberatenden keine Prognosen einsehen konnte. Die teilnehmenden Personalberatenden konnten die Prognosen nur für ihre eigenen Stellensuchenden betrachten. Die Personalberatenden waren jedoch nicht verpflichtet, die Prognosen umzusetzen, und sollten sie als Unterstützung bei der Massnahmenwahl betrachten. Saps ist nicht als Ersatz für die Expertise des Personalberaters gedacht, sondern soll Informationen darüber bereitstellen, wie der Arbeitsmarkt den Wert bestimmter Kurse und Weiterbildungen beurteilt. Nach Abschluss der Feldphase Ende Dezember 2005 wurden die stellensuchenden Personen anhand Avam/Asal-Datenbanken der Arbeitslosenversicherung bis Ende Dezember 2006 nachverfolgt, um den Unterschied in den Beschäftigungswahrscheinlichkeiten zwischen den Stellensuchenden, deren Personalberater am Saps-Projekt teilnahmen, und den Stellensuchenden, deren Personalberater in der Kontrollgruppe waren, über mindestens ein Jahr messen zu können. Die Zielvariable, anhand derer die Saps-Prognosen erstellt wurden und die auch zur Evaluation verwendet wurde, war die Anzahl Monate stabiler Beschäftigung in den folgenden 12 Monaten nach Beginn einer Massnahme.

Kein Einfluss auf die Massnahmenauswahl der RAV-Beratenden

Da die Saps-Prognosen in erster Linie mit dem Ziel erstellt wurden, die Auswahl von AMM zu unterstützen, wurde im ersten Schritt der Evaluation betrachtet, wie sich die Auswahl der Massnahmen zwischen Teilnehmer- und Kontrollgruppe unterschied. Nur wenn sich hier signifikante Änderungen feststellen lassen, kann das Saps-System mittelbar über die Massnahmenauswahl einen Effekt auf die Beschäftigungsraten der Stellensuchenden und somit auf die Arbeitslosenquote haben. Die Evaluation des Feldversuchs nach Ende der Nachverfolgungsphase von 12 Monaten ergab jedoch keine statistisch signifikanten Unterschiede zwischen den Teilnehmenden und der Kontrollgruppe. Die Evaluationsergebnisse zeigten, dass die teilnehmenden Personalberatenden ihre Massnahmenauswahl nicht in signifikanter Weise änderten. Zwar haben die Personalberatenden die Saps-Prognosen – zumindest zu Beginn der Feldphase – regelmässig abgerufen; jedoch konnte kein Einfluss dieser Prognosen auf ihre Massnahmenauswahl festgestellt werden. Die statistischen Empfehlungen schlugen sich somit auch nicht in der Teilnahme der Stellensuchenden an den verschiedenen AMM nieder. Aus diesem Grunde konnten keine signifikanten Unterschiede in den Beschäftigungschancen der Stellensuchenden ermittelt werden. Über die Gründe, warum die Personalberatenden die Saps-Prognosen nicht umsetzten, kann nur gemutmasst werden. In diversen Gesprächen zeigten sich jedoch Anhaltspunkte: Mehrere Personalberatende standen aus der Sorge, dass ihre Freiheiten in ihrer Arbeit über kurz oder lang beeinträchtigt werden könnten, bereits zu Beginn dem Projekt sehr kritisch gegenüber. Einige Personalberatende scheuten den Zeitaufwand bei der Teilnahme. Allerdings gab es auch Personalberatende, die sehr hohe Erwartungen an die Präzision der statistischen Prognosen stellten und in ihren Rückmeldungen eine gewisse Enttäuschung offenbarten. So wurden mehrmals Beispiele genannt, in denen die Prognosen als unsinnig betrachtet wurden: z.B. für einen 45-jährigen Architekten mit Zusatzausbildung in Jura und Auslandserfahrung in Frankreich, einen Informatik-Projektleiter ohne Englisch-, aber mit guten Deutsch- und Französischkenntnissen oder eine 36-jährige schwangere Frau mit zwei kleinen Kindern und Ausbildung zur Physiotherapeutin, die mit einem Piloten verheiratet ist. Man hatte erwartet, dass diese spezifischen Details in die Prognose mit einfliessen sollten. Die Möglichkeiten des Systems sind jedoch eher darauf beschränkt, die durchschnittliche Wertschätzung der AMM durch den Arbeitsmarkt darzustellen. Zwar wurde in den Saps-Schätzungen bereits eine grosse Zahl von Charakteristika berücksichtigt, jedoch handelt es sich auch dann immer noch um durchschnittliche Schätzungen für diese Untergruppen, die nicht für jede einzelne Person mit ihren häufig unbeobachteten Charakteristika zutreffen mag. Daher wurden die Personalberatenden vor Projektbeginn aufgefordert, in solchen eindeutigen Fällen von den Empfehlungen des Systems abzuweichen. Durch die geringe Umsetzung der Prognosen hatte Saps in diesem Feldversuch weder signifikante Auswirkungen auf die Massnahmenauswahl noch auf die Beschäftigungschancen der Arbeitslosen. Somit kann keine fundierte Aussage bezüglich des Potenzials von Saps per se getroffen werden. Jedoch lässt sich feststellen, dass die Personalberatenden zur Umsetzung von (externen) beratenden Hilfsmitteln scheinbar eher wenig geneigt sind.

Kasten 1: Begriffsdefinitionen
Saps ist ein statistisches Hilfsmittel zur Auswahl von arbeitsmarktlichen Massnahmen auf individueller Ebene. Unter Berücksichtigung sehr detaillierter Informationen der stellensuchenden Person werden statistische Schätzungen der erwarteten Beschäftigungschancen erstellt, wenn diese Person zu diesem Zeitpunkt eine bestimmte Massnahme beginnen würde.

Randomisierte Studien werden insbesondere in der Medizin zur Evaluation der Wirksamkeit eines Medikaments eingesetzt. Hierbei werden aus einer bestimmten Population (z.B. alle Personen mit typischen Krankheitssymptomen, die sich zur Teilnahme an der Studie freiwillig bereiterklärt haben) zufällig 50% ausgewählt, die das Medikament erhalten, während die anderen 50% unwissentlich ein Placebo einnehmen. Durch die zufällige Auswahl wird sichergestellt, dass die beiden Gruppen sich nicht systematisch unterscheiden.