Messbare Erfolge in der Entwicklungszusammenarbeit

In Projekten der Entwicklungszusammenarbeit sind messbare Resultate sehr wichtig. Sie dienen einerseits der Rechtfertigung ihrer Massnahmen vor den Geldgebern; bei der öffentlichen Entwicklungshilfe sind dies die Steuerzahlenden. Andererseits bieten sie strategische Entscheidungshilfen zur Frage, ob ein Projekt weitergeführt, ausgeweitet oder abgebrochen werden soll. Im Gegensatz zu herkömmlichen Endauswertungen von Entwicklungsmassnahmen begleiten Impakt-Evaluationen Projekte von Anfang bis zum Schluss. Da in den oftmals fragilen Kontexten der Entwicklungszusammenarbeit kaum Daten zur Auswertung verfügbar sind, erheben speziell eingesetzte Evaluations-Teams die Daten selber, oft über einen Zeitraum von mehreren Jahren.

Eine Impakt-Evaluation vergleicht die Daten einer Zielgruppe mit denjenigen einer Kontrollgruppe, die über denselben Zeitraum nicht von den Massnahmen eines Projekts profitieren konnte.[1] So wird die Wirkung der Massnahme systematisch belegt, und externe Faktoren, die ebenfalls zu einer Veränderung der Situation führten, können ausgeschlossen werden. Dieses langwierige Verfahren der Datenerhebung verursacht zusätzliche Kosten. Diese zahlen sich aber schnell aus, wenn aufgrund von positiven Resultaten der Impakt-Evaluation neue Akteure auf eine Massnahme aufmerksam werden und diese zukünftig auch in den eigenen Projekten anwenden. Die Wirkung von erfolgreichen Programmen kann sich dadurch schnell vervielfachen. Unter dem Strich sinken die Kosten der Entwicklungszusammenarbeit erheblich.

Um Synergien in der Datenerhebung und der Auswertung aller Programme von Akteuren der Schweizer Entwicklungszusammenarbeit zu stärken, fördert die Direktion für Entwicklung und Zusammenarbeit (Deza) die vermehrte Durchführung von Impakt-Evaluationen bei Schweizer Nichtregierungsorganisationen (NGOs). Gemeinsam mit dem Zentrum für Entwicklung und Zusammenarbeit der ETH Zürich (Nadel) zeichnet die Deza alle zwei Jahre die vielversprechendsten Programme von Schweizer NGOs mit einem «Impact-Award» aus. Die Gewinner erhalten finanzielle und wissenschaftliche Unterstützung bei der Durchführung einer Impakt-Evaluation. Bisher wurden vier Projekte von Schweizer NGOs mit dem Award ausgezeichnet: Die Ausgabe 2015–2017 gewannen Terre des Hommes mit einem Projekt zur Verbesserung der Diagnostik bei Kleinkindern in Burkina Faso und Vivamos Mejor mit einem Projekt zur kommunalen Kinderbetreuung in Kolumbien. In der Ausgabe 2017–2019 ging der Award an das Schweizerische Rote Kreuz für ein Projekt zur Katastrophenvorsorge bei Erdrutschen in Honduras und an Consciente für ein Programm zu computergestützten Lehrmitteln in Mittelamerika. Der Award ist mit jeweils 50’000 Franken zur Ausführung einer Impakt-Evaluation der Gewinnerprojekte dotiert. Die nächste Ausschreibung für Eingaben zum Impact-Award beginnt im Frühjahr 2020.

Diagnostik von Kleinkindern

Jüngst abgeschlossen wurde die Impakt-Evaluation eines Terre-des-Hommes-Projekts in Burkina Faso: Obwohl das westafrikanische Land die internationalen Standards zur Diagnose bei Kleinkindern der Weltgesundheitsorganisation (WHO) bereits 2003 flächendeckend eingeführt hatte, blieb die Kindersterblichkeit aufgrund von Fehldiagnosen oder falsch verschriebener Medikation sehr hoch. Das Projekt der Schweizer NGO zielte auf eine systematische Verbesserung der Diagnostik von Kinderkrankheiten in den ländlichen Gesundheitszentren in Burkina Faso ab.[2]

Herzstück des Programms ist eine Software-Applikation für Tablet-Computer, die Hilfestellung bei der Diagnostik und der Behandlung bot und gleichzeitig die Patientendaten von Kleinkindern registrierte. Von 2014 bis 2017 wurde gleichzeitig mit der Implementierung des Projekts in acht Regionen des Landes eine Impakt-Evaluation durch die London School of Hygiene and Tropical Medicine (LSHTM) durchgeführt.

Insgesamt zeichneten die Evaluatoren die Untersuchungen und Diagnosen von 2038 Kleinkindern auf. Diese Zahl setzt sich aus einer Zielgruppe und einer Kontrollgruppe zusammen. Erstere umfasst 695 Fälle, bei denen die neue Software bei der Untersuchung eingesetzt wurde. In der Kontrollgruppe von 1343 Fällen erstellte das medizinische Personal die Diagnose mittels herkömmlicher Papierfragebogen. Im Vergleich zur Kontrollgruppe wurden in der Zielgruppe mithilfe der Software die klinischen Richtlinien der WHO um 25 Prozent besser eingehalten. Bei allen Krankheitsbildern konnte der Anteil an korrekten Diagnosen signifikant gesteigert werden.

Terre des Hommes und das Gesundheitsministerium Burkina Fasos sind seither mit der weiteren Finanzierung und Ausweitung des Programms in alle Landesteile beschäftigt. Die positiven Resultate der Impakt-Evaluation haben auch internationales Interesse geweckt: Neue Partner – unter anderen die Bill & Melinda Gates Foundation und die WHO – setzen das Projekt mittlerweile auch in den Nachbarstaaten Mali und Niger um.

Zweite Chance auf Bildung

Auch von der Deza finanzierte Projekte werden mittels Impakt-Evaluationen ausgewertet. Das Center for Evaluation and Development (C4ED) und das Institute for Empirical Research in Political Economy (IREEP) evaluieren momentan ein Projekt in Benin, welches im Auftrag der Deza von der Entwicklungsorganisation Helvetas durchgeführt wird. Die Resultate dieser ersten Impakt-Evaluation eines Deza-Programms erscheinen im Herbst.

Obwohl der südöstliche Nachbarstaat von Burkina Faso das Grundrecht auf Bildung anerkennt, besuchen über 45 Prozent der Kinder und Jugendlichen des Landes keine Schule. Seit 2011 unterstützt die Schweiz in Benin ein Programm zur Förderung der Ausbildung von Kindern und Jugendlichen ohne Zugang zum Bildungssystem.[3] Das Programm ist an die sozialen und wirtschaftlichen Strukturen vor Ort angepasst und richtet sich speziell an Kinder und Jugendliche zwischen 9 und 15 Jahren, die zu alt sind für die Primarschule, aber zu jung, um direkt einen Beruf zu erlernen.

In einer quantitativen Grundstudie wurden 2017 und 2018 gesamthaft 2564 betroffene Kinder und Jugendliche in Benin zu ihrer Situation befragt: 748 von ihnen nahmen am Programm teil. Die Kontrollgruppe umfasste 1816 Kinder und Jugendliche, die keinen Zugang zum Programm hatten. In einem zweiten Schritt wurde im Sommer 2019 eine qualitative Befragung bei den Absolventen des Abschlusssemesters bezüglich ihrer beruflichen Eingliederung durchgeführt. Gleichzeitig befragte man die 2564 Teilnehmenden der Grundstudie erneut zu ihrer Situation. Indem man nun die Resultate vergleicht, kann man die praktische Auswirkung des Programms auf die schulischen Fähigkeiten und auf die berufliche Eingliederung der Teilnehmenden belegen.

Auch hier gilt: Ein positiver Befund führt im Idealfall dazu, dass die öffentliche Verwaltung Benins alternative Schulen nach Vorbild des Deza-Programms landesweit implementiert. Eine Ausweitung des Programms in andere Länder durch neue Partner ist danach nicht ausgeschlossen. In Zukunft werden für weitere Projekte der Deza und ihrer Partner Evaluationen vorliegen.

1. Zu Methoden siehe Beitrag von Dina Pomeranz, ETH Zürich, in dieser Ausgabe. []
2. Integrated e-Diagnostic Approach (IeDA). []
3. Programme d’Appui à l’Éducation et à la Formation des Enfants exclus du système éducatif (PAEFE). []