Die Wirksamkeit der wirtschaftlichen Entwicklungszusammenarbeit ist in den letzten Jahren immer wichtiger geworden. Öffentlichkeit und Parlamente in den Geberländern wollen genauer wissen, wie die Mittel in den Entwicklungsländern eingesetzt werden und was sie bewirken. Dies kommt auch in der internationalen Diskussion zum Ausdruck, sei es im Zusammenhang mit den Millennium-Entwicklungszielen der UNO oder im Kontext mit der OECD Declaration on Aid Effectiveness – auch Pariser Erklärung genannt. Geber- und Empfängerländer sind darin aufgefordert worden, ihre Arbeit auf eine höhere Wirksamkeit auszurichten. Evaluationen von Projekten der Entwicklungszusammenarbeit bilden dabei die Grundlage, um Rechenschaft über die erreichten Resultate abzulegen und über aufgedeckte Verbesserungspotenziale einen Lernprozesse anzustossen.
Das Staatssekretariat für Wirtschaft (Seco) hat seit Jahren bei seiner wirtschaftlichen Entwicklungszusammenarbeit Instrumente zur Projektsteuerung eingesetzt und eine Evaluationspolitik definiert, welche eine Beurteilung von Projekten und Programmen hinsichtlich Planung, Umsetzung, Resultate oder Auswirkungen nach klar vorgegebenen Regeln vornimmt (siehe Grafik 1). Bei den durchgeführten Evaluationen und den entsprechenden Bewertungen von Seco-Projekten werden zwei grundlegende Zielsetzungen verfolgt: – Erstens soll über die in der wirtschaftlichen Entwicklungszusammenarbeit verwendeten Mittel und die dadurch erzielte Wirkung transparent Rechenschaft abgelegt werden (accountability).– Zweitens sollen die aus Evaluationen gewonnenen Erkenntnisse in den internen Lernprozess einfliessen und so zu einer Optimierung der Interventionen der wirtschaftlichen Entwicklungszusammenarbeit und deren Wirksamkeit beitragen. Konkret werden dem Management Empfehlungen aus Evaluationen als Grundlage zur Formulierung von Massnahmen vorgelegt, mit dem Ziel, die methodologische Umsetzung und inhaltliche Ausgestaltung der Interventionen und somit deren Wirkung zu stärken. Die Evaluationen erfolgen nach Standards der Schweizerischen Evaluationsgesellschaft (Seval) und der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD). Um die Objektivität dieser Massnahmen zu stärken, hat das Seco 2009 zudem ein unabhängiges externes Evaluationskomitee
Das unabhängige Evaluationskomitee setzt sich aus 5 Mitgliedern aus politischen, akademischen, wirtschaftlichen und internationalen Kreisen sowie aus der Zivilgesellschaft zusammen und wird derzeit von Herrn Pietro Veglio präsidiert. geschaffen. Die Gründung dieses Komitees wurde vom OECD-Entwicklungsausschuss (DAC) ausdrücklich begrüsst. Es schlägt unter anderem Interventionslinien zur Evaluation vor, kommentiert die Resultate unabhängiger Evaluationen und überwacht die Umsetzung der darin enthaltenen Empfehlungen.Vor dem Hintergrund der beiden Ziele der Rechenschaftsablegung und des Lernens führt das Seco seit rund zehn Jahren systematische Analysen über Resultate und Wirksamkeit seiner Aktivitäten durch, welche jeweils im Jahresbericht zur Wirksamkeit der wirtschaftlichen Entwicklungszusammenarbeit veröffentlicht werden. Diese Praxis kennen nur wenige andere Entwicklungsagenturen. Die Arbeiten basieren auf externen Evaluationen, die mittels systematischer Analysen über Resultate und Wirksamkeit der Aktivitäten in den Partnerländern des Südens und Ostens erfolgen.
Die Jahresberichte finden sich unter http://www.seco-cooperation.admin.ch, Rubrik «Themen», «Evaluation», «Evaluationsbericht».Die allgemeine Einschätzung der Projekt-Performance basiert beim Seco auf einer detaillierten Bewertung der einzelnen Projekte in Bezug auf vier vom OECD/DAC definierten Kriterien: Relevanz, Effektivität, Effizienz und Nachhaltigkeit (siehe Kasten 1
OECD-DAC Evaluierungskriteriena
Relevanz
Ausmass, in dem die Ziele einer Entwicklungsmassnahme mit den Bedürfnissen der Begünstigten, den Anforderungen eines Landes, den globalen Prioritäten und den Politiken der Partner und Geber im Einklang stehen.
Effektivität
Ausmass, in dem die Ziele einer Entwicklungsmassnahme unter Berücksichtigung ihrer relativen Bedeutung erreicht worden sind oder voraussichtlich erreicht werden.
Effizienz
Ein Mass dafür, wie sparsam Ressourcen/Inputs (Finanzmittel, Fachwissen, Zeit usw.) in Ergebnisse umgewandelt werden.
Nachhaltigkeit
Ein Mass für das Fortbestehen der positiven Effekte einer Entwicklungsmassnahme nach Abschluss der Projekt-Leistungen.
a OECD-DAC, 2009: Glossar entwicklungspolitischer Schlüsselbegriffe aus den Bereichen Evaluierung und ergebnisorientiertes Management.).
Resultate der Evaluation 2005–2010
Die 123 Evaluationen, welche im Zeitraum 2005-2010 durchgeführt wurden, ergaben folgende Resultate:– Rund 77% der Projekte wurden als befriedigend bis sehr befriedigend bewertet: Im internationalen Vergleich erreicht das Seco hiermit Werte, die mit anderen bilateralen und multilateralen Entwicklungsagenturen vergleichbar sind. – Rund 23% der Projekte wurden als unbefriedigend erklärt: Diese Quote muss in Relation gestellt werden zum schwierigen Umfeld, in welchem Vorhaben der wirtschaftliche Entwicklungszusammenarbeit umgesetzt werden. Sie sollen innovative Wege aus der Armut aufzeigen und sind zusätzlich zweckbestimmt in Ländern und Märkten aktiv, welche sich durch labile sozioökonomische und politische Rahmenbedingungen auszeichnen, was insgesamt mit erhöhten Risiken verbunden ist.
Resultate im Überblick
Mit Bezug auf die einzelnen OECD/DAC Kriterien ergab sich im selben Zeitraum folgendes Bild: Relevanz: Rund 87% aller evaluierten Seco-Projekte erreichten hier zufriedenstellende Resultate und waren somit gut auf die realen Bedürfnisse des Partnerlandes und der Projektbegünstigten ausgerichtet.Effektivität: In rund drei Viertel der Seco-Projekte konnten die geplanten Aktivitäten umgesetzt und Zielsetzungen erreicht werden, was in der Folge auch die gewünschten entwicklungspolitischen Wirkungen auf höhere Ebene auslöste. Effizienz: Rund 57% der untersuchten Projekte erzielten gute bis sehr gute Resultate. Potenzial für Verbesserung liegt vor allem in einer konsequenteren Datenerhebung, die aussagekräftigere Kosten-Nutzen-Analysen erlaubt. Zudem werden zahlreiche Projekte auch als weniger effizient bewertet, wenn sie aufgrund unvorhergesehener Verzögerungen länger brauchen, um ihre Wirkung zu entfalten.Nachhaltigkeit: Rund 62% der Projekte erreichten ein befriedigendes Ergebnis. Der Umstand, dass 38% der extern evaluierten Projekte ein unbefriedigendes Ergebnis erreichten, ist für die Entwicklungszusammenarbeit des Seco die grösste Herausforderung. Gründe für dieses Resultat liegen einerseits in der Schwierigkeit, Annahmen in Bezug auf das Projektumfeld zu Projektbeginn realistisch einzuschätzen, was zu übertrieben optimistischen Einschätzungen führt. Andererseits müssten Projektpartner von Anbeginn stärker eingebunden und befähigt werden, Projektinteressen nach Projektabschluss selbständig zu vertreten.
Dazu gehört insbesondere, dass die nötigen finanziellen Mittel zur Interessenswahrnehmung zur Verfügung stehen. Allerdings handelt es sich bei der Nachhaltigkeit um das anspruchsvollste Kriterium, sowohl in Bezug auf die Erreichbarkeit als auch auf dessen Messung.
Die Evaluation am Beispiel des Projekts National Cleaner Production Center in Kolumbien
Die Bedeutung und Bewertung lässt sich anhand eines konkreten Projekts beispielhaft illustrieren:Zwischen 1998 und 2009 unterstützte das Seco das National Cleaner Production Center in Kolumbien (CPC Kolumbien). Dieses Kompetenzzentrum hat zum Ziel, durch Beratung von kolumbianischen Unternehmungen im Bereich neuer Umwelttechnologien dazu beizutragen, dass Technologien zum Einsatz kommen, die aufgrund gesteigerter Energieeffizienz gewinnbringend und ressourcenschonender sind als herkömmliche Produktionsarten.Im Bezug auf die Relevanz stellten die externen Evaluatoren dem Projekt sehr befriedigende Noten aus: Einerseits ist Kolumbien aufgrund des wirtschaftlichen Wachstums und dem zunehmenden Druck auf vorhandene Ressourcen darauf angewiesen, Technologien anzuwenden, die eine nachhaltige Ressourcennutzung erlauben. Andererseits wurde das Zentrum durch die lokalen Behörden bereits 1995 selbstständig gegründet, und ein Technologietransfer aus der Schweiz wurde ausdrücklich gewünscht. Was die Effektivität anbelangt, wurde im Fall des CPC Kolumbien aus folgenden Gründen eine befriedigende Beurteilung abgegeben: Die vorgegebene Zielsetzung des Projekts wurde grösstenteils erreicht, indem beispielweise rund 10 000 Personen im Zentrum eine Beratung oder Ausbildung erhielten, viele Unternehmen wirklich neue Technologien einsetzten und diese in den Betrieben auch tatsächlich zur erwünschten ressourcensparenderen Produktion führte. Das CPC Kolumbien Projekt zeichnete sich durch eine hohe Effizienz aus, da die vorhandenen personellen, finanziellen und zeitlichen Ressourcen ökonomisch eingesetzt wurden, was zu einer laufenden Steigerung des Umsatzes und einer finanziellen Unabhängigkeit des Zentrums ab 2007 führte. Das CPC Kolumbien erreichte finanzielle Unabhängigkeit, die personelle Fluktuation blieb begrenzt und die Anzahl der Angestellten stieg sogar leicht an; es reagierte flexibel und innovativ auf neue Herausforderungen und Bedürfnisse im Bereich der Cleaner Production. Entsprechend erreichte das Projekt eine sehr zufriedenstellende Beurteilung im Bezug auf seine Nachhaltigkeit: Die durch die Projektaktivitäten aufgebaute Kapazität auf institutioneller, finanzieller und personeller Ebene entfalten ebenfalls mittel- und langfristig ohne äussere Unterstützung ihre entwicklungspolitische Wirkung.
Fazit
Mit der in diesem Artikel beschriebenen Evaluationspolitik verfügt das Seco über ein international anerkanntes Instrumentarium, welches die Identifikation von Stärken und Schwächen der durchgeführten Projekte erlaubt und in einem zweiten Schritt, durch die Umsetzung der nötigen Verbesserungsmassnahmen, mittelfristig eine Optimierung der Wirkung der wirtschaftlichen Entwicklungszusammenarbeit sicherstellt. Damit sollen die Herausforderungen, die sich bezüglich Effizienz und Nachhaltigkeit stellen, gezielt angegangen und die bereits in den letzten Jahren erzielten guten Resultate bezüglich Relevanz und Effektivität auch in Zukunft erreicht werden.
Grafik 1: «Entwicklung der Evaluationstätigkeit beim Seco»
Kasten 1: OECD-DAC Evaluierungskriteriena
OECD-DAC Evaluierungskriteriena
Relevanz
Ausmass, in dem die Ziele einer Entwicklungsmassnahme mit den Bedürfnissen der Begünstigten, den Anforderungen eines Landes, den globalen Prioritäten und den Politiken der Partner und Geber im Einklang stehen.
Effektivität
Ausmass, in dem die Ziele einer Entwicklungsmassnahme unter Berücksichtigung ihrer relativen Bedeutung erreicht worden sind oder voraussichtlich erreicht werden.
Effizienz
Ein Mass dafür, wie sparsam Ressourcen/Inputs (Finanzmittel, Fachwissen, Zeit usw.) in Ergebnisse umgewandelt werden.
Nachhaltigkeit
Ein Mass für das Fortbestehen der positiven Effekte einer Entwicklungsmassnahme nach Abschluss der Projekt-Leistungen.
a OECD-DAC, 2009: Glossar entwicklungspolitischer Schlüsselbegriffe aus den Bereichen Evaluierung und ergebnisorientiertes Management.