Evaluationen von arbeitsmarktlichen Massnahmen besser koordinieren

Die Regionalen Arbeitsvermittlungszentren (RAV) setzen seit über 20 Jahren sogenannte arbeitsmarktliche Massnahmen ein. Diese Angebote, die mitunter Standortbestimmungen, Bewerbungstraining, Sprach- und Fachkurse und Beschäftigungsprogramme umfassen, zielen darauf ab, die Stellensuchenden fit für den Arbeitsmarkt zu machen. Die Wirkung der Massnahmen wurde seit der Jahrtausendwende mehrfach untersucht. Für die vom Staatssekretariat für Wirtschaft (Seco) in Auftrag gegebenen Studien liegen Syntheseberichte vor. Zudem existieren verschiedene internationale Übersichtsstudien, in die auch Studien aus der Schweiz eingeflossen sind. Was hingegen bisher fehlte, war eine vollständige Übersicht zu den Schweizer Studien, welche auch Evaluationen der Kantone oder weiterer Auftraggeber berücksichtigt. Im Auftrag der Aufsichtskommission für den Ausgleichsfonds der Arbeitslosenversicherung (AK-ALV) haben wir diese Lücke mit einer neuen Studie zu schliessen versucht.[1]

In einem ersten Schritt identifizierten wir die vorhandenen Evaluationen und Studien. Das Netz wurde dabei möglichst weit ausgeworfen: Das Projektteam kontaktierte die zuständigen Abteilungen der kantonalen Arbeitsmarktbehörden, die Evaluationsteams bereits bekannter Studien, Forschungsinstitute an Universitäten und Fachhochschulen sowie ausgewählte Stiftungen. Insgesamt konnten so rund 56 Evaluationen und Studien identifiziert werden – deutlich mehr als vermutet. Den Fokus der statistischen Analyse legten wir schliesslich auf 23 Evaluationen, die die Wirkung der arbeitsmarktlichen Massnahmen mit einer Vergleichsgruppe oder -situation bestimmten.

Mehrheitlich positive Resultate

Unsere Analyse zeigt, dass zwei Drittel der 23 Evaluationen die darin untersuchten arbeitsmarktlichen Massnahmen positiv bewerteten. Das weitere Drittel ermittelte entweder keine Wirkung oder kam zum Schluss, dass die Massnahmen die Stellensuchdauer verlängerten. Überdurchschnittlich gut schneiden Coachingangebote und Beschäftigungsprogramme ab. Auch die mit arbeitsmarktlichen Massnahmen in ihrer Ausgestaltung verwandten Zwischenverdienste werden vergleichsweise häufig positiv beurteilt. Demgegenüber weist bei den sogenannten Basisprogrammen, die auf die berufliche Standortbestimmung und Bewerbungstrainings fokussieren, sowie bei den Fachkursen jede zweite Evaluation ein negatives Resultat auf (siehe Abbildung).

Evaluationsresultate, nach Massnahmentyp

Anmerkung: Die Auswertung basiert auf 22 Studien, wobei eine Studie in mehrere Kategorien einfliessen kann. Nicht dargestellt ist eine Studie, welche ein Massnahmenbündel (Kombination aus verschiedenen Massnahmen) untersuchte. Lesebeispiel: 10 Evaluationen haben sich mit den Basisprogrammen beschäftigt, wobei eine Evaluation sowohl eine positive wie auch eine negative Wirkungsschätzung beinhaltet. Dadurch ergeben sich 3,5 Studien mit positiven Ergebnissen (35%) und 5,5 mit negativen Ergebnissen (55%).

Um die Resultate besser einordnen zu können, organisierten wir im Februar 2018 einen Validierungsworkshop, an welchem unter anderem Fachexperten aus den Regionalen Arbeitsvermittlungszentren sowie der kantonalen LAM-Stellen («Logistik arbeitsmarktliche Massnahmen») teilnahmen. Letztere sind mit der Organisation der arbeitsmarktlichen Massnahmen beauftragt.

Als möglicher Grund für das schlechte Abschneiden der Basisprogramme wurde im Workshop vermutet, dass diese bei vielen Stellensuchenden als Erstmassnahme nach dem «Giesskannenprinzip» angewendet werden und entsprechend wenig bedarfsgerecht zugeschnitten sind. Bei den Fachkursen wiederum, die ebenfalls schlecht abschnitten, sei die Wirkung grundsätzlich schwierig zu erfassen, da diese sich erst langfristig entfalte und Fachkurse häufig in Kombination mit anderen arbeitsmarktlichen Massnahmen eingesetzt würden. Hinsichtlich der Beschäftigungsprogramme wurde gesagt, das positive Ergebnis sei möglicherweise auf einen relativ grossen «Droheffekt» zurückzuführen. Ein solcher Effekt tritt auf, wenn Stellensuchende ihren Bewerbungseffort vor der arbeitsmarktlichen Massnahme erhöhen, um noch vor deren Beginn eine Stelle zu finden, da sie dem als unangenehm empfundenen Massnahmenbesuch entgehen möchten.

Die Interpretation der Resultate wird durch den Umstand erschwert, dass für alle mehrfach evaluierten Massnahmentypen sowohl positive wie auch negative Evaluationsresultate vorliegen. Dies signalisiert eine grosse Heterogenität in der Wirkung: Je nach Ausgestaltungsform, Teilnehmerschaft und Verfügungszeitpunkt kann ein konkretes Angebot mehr oder weniger wirkungsvoll sein. Mitunter bedeutet dies, dass die Studie und ihre Resultate mit Vorsicht genutzt werden sollten, wenn es um die Entscheidung zur Weiterführung oder Anpassung einer einzelnen arbeitsmarktlichen Massnahme geht: Hier empfiehlt es sich, die Evaluation eines ähnlichen Angebots zu konsultieren oder aber eine eigene Evaluation durchzuführen. Die Resultate der jetzt erstellten Studie können von den Spezialisten der kantonalen Arbeitsmarktbehörden hingegen als Grundlage genutzt werden, um die bestehende Angebotspalette im Kanton sowie deren Nutzung kritisch zu reflektieren und wo notwendig genauer zu untersuchen.

Wirkungskanäle noch wenig untersucht

Einen Fokus der Studie haben wir auf Evaluationen gelegt, die sich damit auseinandersetzen, wie die Wirkung einer arbeitsmarktlichen Massnahme zustande kommt. Diese Wirkungskanäle sind für die Optimierung bestehender Massnahmen sowie die Gestaltung neuer Massnahmen hilfreich, da sie Hinweise liefern, über welche Mechanismen die Wirkung der Massnahmen zustande gekommen ist. Es fällt auf, dass sich viele Evaluationen zwar bei der Interpretation der Resultate auf die Wirkungskanäle beziehen, aber nur wenige Studien diese auch empirisch untersuchen. Zudem ist viel Heterogenität zu beobachten: Ob beispielsweise ein Droheffekt stattfindet, hängt von der Art und der Ausgestaltung des Massnahmentyps ab. Eine gewisse Einigkeit besteht unter den Autoren der Evaluationen, dass sogenannte Lock-in-Effekte entstehen können. Diese treten auf, wenn Teilnehmende während einer arbeitsmarktlichen Massnahme ihren Bewerbungseffort reduzieren, da diese zeitintensiv ist, als nützlich empfunden wird oder da die Teilnehmenden vorübergehend keine Notwendigkeit für Bewerbungen sehen. Lock-in-Effekte können durch eine angemessene Selektion der Teilnehmenden sowie durch den Zuweisungszeitpunkt verhindert oder zumindest reduziert werden.

Stellensuchende mit schlechten Chancen profitieren mehr

Am meisten Einigkeit besteht hinsichtlich der Frage, welche Teilnehmendengruppen am stärksten von arbeitsmarktlichen Massnahmen profitieren: Mehrere Evaluationen haben gezeigt, dass arbeitsmarktliche Massnahmen bei Stellensuchenden mit schlechten Arbeitsmarktchancen eine bessere Wirkung entfalten als bei Personen mit guten Chancen. Ebenso weisen Frauen häufig bessere Resultate auf als Männer. Während somit eine Lösung darin liegen könnte, arbeitsmarktliche Massnahmen vermehrt bei Stellensuchenden mit schlechten Chancen einzusetzen, scheint eine solche Fokussierung auf Frauen wenig fair und sinnvoll. Eher sollte in künftigen Diskussionen und Untersuchungen mehr Gewicht auf die Frage gelegt werden, ob und allenfalls wie die Angebote zielgruppenspezifischer diversifiziert werden können, sodass sie zum Beispiel die Bedürfnisse männlicher Stellensuchender besser abdecken.

Auch bei den Empfehlungen, die in den jeweiligen Evaluationen formuliert wurden, ist eine Übereinstimmung auszumachen. So wurde mehrmals die Bedeutung einer bedarfsgerechten Ausgestaltung und Zuweisung unterstrichen: Um eine bestmögliche Wirkung zu erzielen, ist es wichtig, sorgfältig zu klären, welche arbeitsmarktliche Massnahme zu welchem Zeitpunkt für einen bestimmten Stellensuchenden geeignet ist.

Evaluationsmethoden gezielt wählen

In Bezug auf die gewählten Methoden und Methodenelemente sind wir grundsätzlich der Ansicht, dass es nicht per se «gute» oder «schlechte» Instrumente gibt, sondern nur solche, die sich für eine bestimmte Evaluationssituation besonders gut oder eben weniger gut eignen. Dabei spielen insbesondere das Erkenntnis- und Verwertungsinteresse, die zur Verfügung stehenden Ressourcen sowie die zu untersuchende Situation eine Rolle. Sinnvoll ist es, verschiedene Evaluationsinstrumente anzuwenden. Diese Triangulation erhöht die Robustheit der Resultate und verhindert «blinde Flecken».

Die Resultate zeigen, dass es durchaus eine Rolle spielen kann, welche Indikatoren, Methoden und Datengrundlagen verwendet werden. Beispielsweise kamen Studien, die die Wirkungsmessung mittels eines Quervergleiches (Teilnehmende werden mit Nichtteilnehmenden verglichen) vornehmen, häufiger zu einem negativen Evaluationsergebnis als solche, die einen Längsschnittvergleich (Vorher-nachher-Vergleich bei den Teilnehmenden etc.) durchführten.

Koordination verbessern

Auf Basis der ermittelten Informationen und Erkenntnisse empfehlen wir erstens, die arbeitsmarktlichen Massnahmen, die sich an Stellensuchende mit schlechten Arbeitsmarktchancen richten, zu priorisieren: Hier gibt es einen breiten Konsens, dass diese eine überdurchschnittliche Wirkung erzielen. Zweitens lohnt es sich, den Individualisierungsgrad, die Kommunikation mit Stakeholdern sowie die Arbeitsmarktnähe der Massnahme regelmässig zu überprüfen. Drittens sollten Massnahmentypen, deren Evaluationen viele negative Resultate beinhalten, die teuer sind oder häufig angewandt werden, bei der Angebotsplanung, bei der regelmässigen Qualitätssicherung sowie bei Evaluationen besonders sorgfältig geprüft werden.

Um sicherzustellen, dass zukünftig mehr aus Evaluationen gelernt werden kann, empfehlen wir weiter, stärker auf die Wirkungskanäle zu fokussieren und Evaluationen so auszugestalten, dass ihre Ergebnisse mit anderen Studien vergleichbar sind. Beispielsweise sollte, wenn immer möglich, eine formelle Vergleichsgruppe respektive -situation verwendet werden. Die Resultate sollten zudem stärker zwischen den Kantonen und dem Bund ausgetauscht werden. Hilfreich ist auch eine gemeinsame Interpretation. Schliesslich sind die Evaluationen besser zu koordinieren.

Dazu könnte eine gemeinsame Evaluationsagenda für arbeitsmarktliche Massnahmen formuliert werden. Die Evaluationsagenda würde für eine bestimmte Zeitdauer eine thematische Fokussierung vorsehen: Mehrere Evaluationen könnten sich zum Beispiel mit den Basisprogrammen und ihren unterschiedlichen Ausprägungen beschäftigen. Es könnten so auch die Angebote und die Nutzung in mehreren Kantonen und Regionen besser miteinander verglichen werden. Es ist zu erwarten, dass dadurch genauere Erkenntnisse zur Heterogenität der Wirkungen der arbeitsmarktlichen Massnahmen gewonnen werden können, als dies auf Basis bisheriger Studien möglich ist. Schliesslich könnte im Rahmen der Agenda auch geprüft werden, ob eine erhöhte Häufigkeit oder Bearbeitungstiefe von Evaluationen zu beschleunigten und detaillierteren Erkenntnisgewinnen führen.

 

1. Michael Morlok, Patrick Arni, David Liechti, Nathanael Moser, Aderonke Osikominu, Mirjam Suri (2018): Die Wirkung von arbeitsmarktlichen Massnahmen. Eine Analyse bisheriger Evaluationen. Arbeitsmarktpolitik No. 54, Studie im Auftrag der AK-ALV. []