Der Jobchancen-Barometer hilft das Risiko längerer Arbeitslosigkeit früh zu erkennen

Eine möglichst gezielte Beratung und Nutzung der verfügbaren Instrumente erhöht die Erfolgschancen der Stellensuchenden und damit auch die Wirksamkeit der Regionalen Arbeitsvermittlungszentren (RAV). Um eine solche fokussierte Ausrichtung der RAV-Tätigkeit zu erreichen, setzten das Staatssekretariat für Wirtschaft (Seco) und die Kantone in den letzten Jahren verstärkt auf segmentierte Beratungsstrategien. Das bedeutet, dass unterschiedliche Typen Stellensuchender mit auf sie abgestimmten Beratungsinterventionen und Massnahmen betreut werden. Eine solche Vorgehensweise bedingt eine möglichst frühe Einordnung der Stellensuchenden in passende Segmente, damit der Klient und die Personalberaterin schnell und gezielt aktiv werden können. Eine frühe Einschätzung des Profils der stellensuchenden Person und ihres Risikos, länger arbeitslos zu bleiben, stellt eine grosse Herausforderung dar. Hier setzt das Pilotprojekt des Jobchancen-Barometers an. In einem Feldversuch wurde getestet, ob das neue Instrument den RAV-Personalberatenden eine sinnvolle Unterstützung bietet, die Klienten einzuordnen und damit eine noch zielgerichtetere Ausrichtung der Beratung zu ermöglichen.

Versuchsanordnung aus der Medizin

Das Pilotprojekt wurde zwischen 2012 und 2014 vom Kanton Freiburg in Kooperation mit dem Seco und mit Forschenden durchgeführt. Die getestete Pilotversion des Barometers offerierte den Personalberatern eine Zweiteinschätzung der zu erwartenden Arbeitslosigkeitsdauer der Stellensuchenden und ihres Risikos, länger arbeitslos zu bleiben. Um den Nutzen des Instruments evaluieren zu können, wurde der Einsatz experimentell getestet. Das heisst, dass das Instrument den Personalberatern zufallsverteilt in 50 Prozent der Fälle als modellbasierte Vorhersage der Arbeitslosigkeitsdauer zur Verfügung stand. Die übrigen 50 Prozent, bei denen das Instrument nicht angewendet wurde, dienten als Kontrollgruppe. Dieses experimentelle Forschungsdesign führt zu einer sehr hohen Vergleichbarkeit von Versuchs- und Kontrollgruppe und liefert so transparente und kausal interpretierbare Evaluationsergebnisse. Diese Versuchsanordnung wird häufig in der Medizin, der Psychologie und vermehrt auch in der Bildungs- und Arbeitsmarktforschung benutzt.

Um bei der Einordnung der stellensuchenden Personen unterstützend zu helfen, zapft der Jobchancen-Barometer das «statistische Gedächtnis» der RAV an und verbindet es mit gezielten Zusatzinformationen, die durch die Personalberater erhoben und eingeschätzt werden. Das statistische Gedächtnis der RAV sind die vergangenen, in der Avam/Asal-Datenbank gespeicherten Fälle Stellensuchender, von denen auch die Dauer der Stellensuche bis zur Abmeldung beim RAV erhoben ist. Mittels ökonometrischer Modelle kann dieser Schatz an Informationen dazu genutzt werden, Vorhersagen zur erwarteten Arbeitslosigkeitsdauer künftiger Fälle zu generieren. Bildlich gesprochen werden die Prognosen also aus dem Vergleich mit bestehenden Fällen erstellt. Dabei ist die Rolle der Personalberater zentral, weil darüber hinaus natürlich auch andere Aspekte für die Aussichten von Stellensuchenden relevant sind, die nicht in den erwähnten Datenbanken erfasst sind. Solche zusätzlichen Informationen wurden von den Beratern gezielt gesammelt und in die Barometer-Applikation eingegeben (siehe Kasten).

Für diese Informationsgrundlage sammelten die Personalberater zuerst in einer «Kalibrierungsphase» solche zusätzlichen Daten zu den Stellensuchenden. Diese wurden danach mit den Informationen aus Avam/Asal kombiniert. Auf dieser gemeinsamen Basis wurden dann Vorhersagemodelle für verschiedene Typen von Stellensuchenden kalibriert. In der anschliessenden Experimentalphase wurde sodann das eigentliche Pilotprojekt durchgeführt und der Jobchancen-Barometer in allen Freiburger RAV zur Nutzung freigeschaltet. Der Barometer kam während und nach dem ausführlichen Erstgespräch zum Einsatz. Dort sammelten die Berater die zusätzlichen Informationen und bekamen im Anschluss daran die Barometer-Vorhersage. Im Pilot geschah dies in 50 Prozent der Fälle. Insgesamt wurden in der Hauptphase des Pilotprojekts gut 5500 Arbeitslosigkeitsspannen in den Test mit einbezogen. Sie konnten so genutzt werden, um die Wirkung des neuen Instruments zu untersuchen.

Aufwand und Nutzen noch ungleich

Die Auswertung des Pilotprojekts ist umfassend und untersucht viele unterschiedliche Aspekte. Neben der direkten Wirkung des Instruments auf den Sucherfolg untersuchte man beispielsweise auch, wie die Berater den Jobchancen-Barometer benutzt hatten, und sammelte Feedbacks der Beteiligten. Ebenso wurde die Genauigkeit der Vorhersage analysiert. Schliesslich wurden einige explorative Untersuchungen vorgenommen, wie Komponenten des Barometerprojekts weiterentwickelt werden könnten, um eine direktere Einbindung in die bestehende Praxis und eine Verbesserung der Prognoseleistung zu erreichen.

Das Fazit der Untersuchungen ist gemischt: Das Verhältnis von Aufwand und direktem Nutzen des Instruments ist in seiner Pilotform noch nicht zufriedenstellend. Ebenso ist auch die Prognoseleistung noch verbesserungswürdig. Umgekehrt zeigte sich bei der Wirkungsanalyse, dass trotz dieser suboptimalen Voraussetzung die Barometer-Vorhersagen bei einigen relevanten Gruppen von Stellensuchenden messbaren Einfluss hatten: Sie fanden etwas schneller wieder eine Stelle.

Die Analysen förderten relevante Unterschiede zutage hinsichtlich des Unterschiedes, wie der Personalberater und wie der Jobchancen-Barometer das Risiko einer längeren Arbeitslosendauer einschätzte. Je präziser eine solche Einschätzung möglich ist, desto zielgenauer können der RAV-Beratungsprozess und die Zuweisung in arbeitsmarktliche Massnahmen (AMM) schon am Anfang auf das spezifische Risikoprofil der Person ausgerichtet werden.

Durch den Vergleich der Einschätzung des Barometers mit dem der Personalberater hinsichtlich der realisierten Arbeitslosendauer konnte ein wichtiger Aspekt untersucht werden. Dabei hat sich gezeigt, dass die Berater im Durchschnitt die zu erwartende Arbeitslosigkeitsdauer unterschätzen. Ebenso wurde sichtbar, dass sie die Risikoeinschätzungen der Arbeitslosigkeitsdauer zu wenig differenzieren. Dass sie nämlich zu viele mittlere Spannen von 150 bis 200 Tagen erwarten, aber zu wenig kurze und massgeblich zu wenige Fälle von Langzeitarbeitslosigkeit (länger als zwölf Monate).

Es besteht also grundsätzlich Potenzial für ein Instrument, das bei der Einordnung mithilft. Der Barometer in der Pilotversion weist diesbezüglich eine gemischte Bilanz aus. Er zeigt in der Tendenz dieselben Einschätzungsschwierigkeiten wie die Personalberater, wenn auch in einem geringeren Masse. Die Prognosegenauigkeit ist etwas höher. Im Pilotprojekt zeigte er in rund 60 Prozent der Fälle ein richtiges Signal: Wo der Berater die Dauer unterschätzte, konnte der Barometer eine längere Arbeitslosigkeit voraussagen und umgekehrt.

Benutzerfreundlichkeit steigern

Allerdings ist die Vorhersagepräzision des Instruments in seiner Pilotform noch nicht befriedigend. Tendenziell zu viele falsche und unbrauchbare Signale reduzieren die Glaubwürdigkeit des Instruments. Hier besteht Verbesserungsbedarf. Gewisse Ungenauigkeitsquellen können relativ direkt angegangen werden, andere grundsätzliche Punkte werden aber bleiben. So wird etwa die Diversität von individuellen Arbeitslosigkeitsfällen nie komplett von statistisch basierten Vorhersagen erfasst werden. Ein solcher Anspruch sollte deshalb erst gar nicht an ein Hilfsmittel gestellt werden.

Eine weitere Herausforderung ist die bessere Einbindung des Instruments in die alltägliche Berufspraxis der Berater. Eine solche könnte auch die Akzeptanz des Tools steigern. Detaillierte Auswertungen der Feedbacks haben gezeigt, dass die Berater den Nutzen des Jobchancen-Barometers in seiner Pilotversion insgesamt als negativ beurteilen. Einerseits wurde der grosse Anteil an wenig glaubwürdigen Prognosen kritisiert. Andererseits erscheinen drei wichtige Aspekte der praktischen Umsetzung als verbesserungswürdig. Erstens sei der Aufwand insbesondere für die «Fütterung» des Tools verhältnismässig hoch. Dies hat zum Teil mit der im Pilotprojekt noch nicht konsistenten Einbindung des Barometers in bestehende Prozesse zu tun. Insbesondere müssten bei einer breiteren Nutzung bestehende Doppelspurigkeiten, etwa bei der Dateneingabe oder bei Protokollierungsprozessen, abgebaut werden.

Zweitens scheint der direkte Nutzen für die Arbeit der RAV-Berater noch zu wenig ersichtlich zu sein. Auch hier müsste vor einer künftigen Nutzung zuerst noch abgeklärt werden, wie die angebotenen Einordnungen mit den möglichen Segmentierungsstrategien verbunden werden. Dies bedingt einen laufenden Strategieentwicklungsprozess – sowie verbindlichere Vorgaben, welche Klientensegmente wie intensiv zu betreuen sind.

Drittens müsste aus Sicht der Nutzer die zeitliche Flexibilität des Instrumenteinsatzes erhöht werden. Im Pilotprojekt wurde genau vorgegeben, dass das Tool während und nach dem Erstgespräch zum Einsatz kommen soll. Dieses macht zwar aus Sicht des Grundziels der frühen Segmentierung Sinn. Gleichzeitig benötigen die Personalberater aber Zeit, um die stellensuchende Person fundierter einschätzen zu können, wodurch letztlich auch die Qualität der gesammelten Informationen stiege. Hier besteht also eine gewisse Abwägung zwischen Geschwindigkeit und Präzision. In der Praxis ist auch eine schrittweise Komplettierung dieser Informationen und damit eine Aktualisierung der Prognose über die Zeit denkbar. Sofern besonders diese drei Aspekte befriedigend gelöst werden können, lässt sich aus den Umfrageergebnissen und aus dem individuellen Nutzungsverhalten ableiten, dass ein optimiertes und besser eingebettetes Tool auch auf Anklang bei den Beratern stossen könnte.

Prognose beeinflusst den Sucherfolg positiv

Doch welche kausalen Wirkungen übte die Vorhersage auf das Verhalten der Berater und den Erfolg der Stellensuche aus? Diese Frage ist von zentralem Interesse. Für Stellensuchende, die sich ab Oktober 2013 in einem Freiburger RAV angemeldet haben, beeinflusste die Barometer-Prognose den Erfolg der Stellensuche nachweislich: Die Wahrscheinlichkeit, innerhalb von drei bis neun Monaten eine Stelle anzunehmen, reagierte positiv auf eine angezeigte Barometer-Prognose. Dieser Effekt wird hauptsächlich von männlichen Stellensuchenden und Stellensuchenden mittleren Alters getrieben. Die Wahrscheinlichkeit, innerhalb von drei Monaten eine Stelle zu finden, reagiert besonders für Stellensuchende, für die eine optimistische Barometer-Prognose von weniger als 90 Tagen angezeigt wurde.

In weiteren Untersuchungen zeigte sich, dass die Personalberater in ihrer Einschätzung der Arbeitslosigkeitsdauer die Barometeranzeige mitberücksichtigt haben. Insbesondere hatte die Anzeige einer optimistischen Prognose einen positiven Effekt auf die Beratungsintensität. Hingegen waren weder bei Sanktionsraten noch bei der Zuweisung von AMM direkte Wirkungen der durch die Prognose gesetzten Signale sichtbar. Im Gesamten zeigt sich also, dass eine Barometer-Prognose wie im Pilotprojekt, trotz ihrer relativ häufigen Ungenauigkeit, grundsätzlich einen signifikanten Einfluss auf den frühen Sucherfolg von Stellensuchenden haben kann. Die Vorhersage kann die Einschätzung des Risikos des Stellensuchenden durch den Berater beeinflussen. Der Einfluss scheint über gewisse Anpassungen der Beratungspraxis, wie etwa die Häufigkeit der Gespräche, zu laufen. Die Wirkung variiert jedoch mit den Charakteristika der stellensuchenden Person.

Alles in allem ergibt sich aufgrund der Auswertungen, dass im Ansatz positive Auswirkungen eines solchen Instruments vorhanden sind – trotz der Komplexität des Unterfangens und der kaum entwickelten Einbindung in die Praxis. Die Studie zeigt zudem in explorativen Untersuchungen auf, mit welchen möglichen Ansätzen die Problematik der zu ungenauen Prognosen angegangen werden könnte. Einerseits wäre wohl eine Vereinfachung des Prognosemodells angezeigt, bei der sich die Vorhersage darauf beschränkt, zu signalisieren, in welche Risikogruppe der Stellensuchende fällt, anstatt die spezifische Arbeitslosigkeitsdauer zu prognostizieren. Damit wird die Vorhersage weniger anfällig auf grosse, wahrnehmbare Abweichungen in die falsche Richtung und ist technisch zudem einfacher. Eine zweite explorative Untersuchung hat Interessantes hervorgebracht hinsichtlich der Weiterentwicklung der Vorhersage: Neue Methoden, die im Kontext von Big Data entwickelt wurden, scheinen die Vorhersagequalität zu verbessern. Tests mit sogenannten Machine-learning-Verfahren haben aufgezeigt, dass schon bei relativ kleinen Datenmengen statistisch relevante Verbesserungen der Vorhersagegenauigkeit erzielt werden können. Weitere Untersuchungen in diese Richtung könnten sich als interessant erweisen.

Falls eine Weiterentwicklung des Jobchancen-Barometers in Zukunft angegangen wird, sollten seitens der Politikgestaltung und der Praxis in jedem Falle zuerst die genaueren Zielsetzungen eines solchen Instruments diskutiert werden. Worauf sollen etwa die Segmentierungs- und Vorhersagefunktionalitäten von Barometer-Modellen ausgerichtet werden? Welche Zielgruppen stehen im Fokus? Welche Massnahmen und Praxiskonsequenzen sollen von den Einteilungen in Risikogruppen abgeleitet werden? Sind solche Fragen geklärt, können einerseits die Vorhersagemodelle und der Inhalt der Prognosen genauer ausgerichtet werden und andererseits Aufwand und Doppelspurigkeiten mit anderen Instrumenten reduziert werden.