Was ein Innovationsranking aussagt – und was nicht

Innovationsrankings werden in der öffentlichen Diskussion gerne benutzt, um auf die Innovationskraft eines Landes hinzuweisen. Eine kritische Betrachtung von Innovationsrankings zeigt jedoch, dass diese nur bedingte Aussagekraft besitzen und die im Einzelfall getroffenen Annahmen stärker ins Gewicht fallen als allgemein angenommen.

Foto: Keystone

Die Schweiz hat auf den ersten Blick wenig Grund, einen kritischen Blick auf Innovationsrankings zu werfen. Sie war in den letzten Jahren in den meisten Rankings in der Spitzengruppe dabei oder gar auf dem ersten Platz. Gemäss diesen Rankings ist die Schweiz eines der innovativsten und wettbewerbsfähigsten Länder der Welt. Wenn ein Land sich erlauben könnte, selbstzufrieden zu sein, so wäre es die Schweiz. Oder doch nicht?

Objektivität von Daten kritisch hinterfragen

Wer Innovation messen und international vergleichbar machen will, muss einen Kompromiss auf verschiedenen Ebenen finden. Die wichtigste, aber in der Praxis selten zentrale Frage eines Innovationsrankings ist, wie Innovation sinnvoll gemessen und verglichen werden kann und welche Informationen dafür erfasst werden müssen. Oder anders gesagt: Wie sieht das System aus, das mit diesen Methoden abgebildet werden soll und wie lässt sich Innovationserfolg oder Innovationspotenzial ermitteln und vergleichen? Diese Basisüberlegungen liegen für Innovationsrankings in der Regel nicht öffentlich vor oder berufen sich implizit auf allgemeine Modelle aus der Ökonomie.

Methodische und politische Kompromisse

Um sich dagegen abzusichern, dass man ein relativ zufälliges statistisches Konstrukt geschaffen hat, werden Robustheitstests durchgeführt und alternative Berechnungs- und Gewichtungsmöglichkeiten getestet. Besteht das Modell die statistischen Tests und kommt man mit verschiedenen alternativen Berechnungen (z.B. vorteilhafte oder nachteilige Gewichtung einzelner Indikatoren) nur zu wenig abweichenden Ergebnissen, gilt das Modell als robust.

Aussagekraft von Innovationsrankings

Analysiert man Rankings detailliert, gelangt man zu einigen interessanten Erkenntnissen, die für die Adressaten – insbesondere für die politischen Instanzen – durchaus von Bedeutung sind:– Innovationsrankings zeigen nur zuverlässig, wie die einzelnen Länder im Verhältnis zueinander positioniert sind. Die Indikatoren eines Rankings werden mit dem Ziel normiert, die Unterschiede zwischen den einzelnen Ländern auf einen Blick sichtbar zu machen (siehe Kasten 1

Wie wird ein Ranking berechnet?

Das IUS besteht aus 24 Indikatoren, die drei Dimensionen der Innovation abbilden sollen: Innovationsbefähiger (Enablers), Firmenaktivitäten und Outputs. Die Werte dieser Indikatoren werden normiert:

 

• Die Ergebnisse werden pro Indikator in absteigender Reihenfolge sortiert.
• Das Land, das die höchste Zahl erreicht, erhält den Indikatorwert 1, dasjenige mit der tiefsten Zahl den Wert 0.
• Für alle anderen Länder wird im Verhältnis dazu ein Wert zwischen 1 und 0 errechnet.
• Weicht ein Land oder eine kleine Ländergruppe zu sehr von den restlichen Ländern nach oben oder unten ab, wird der Ausreisser eingeebnet, damit die Unterschiede zwischen allen Ländern besser sichtbar werden. So können z.B. auch das zweit- oder drittplatzierte Land noch den Wert 1 erhalten.
• Fehlen von einem Land aktuelle Zahlen, wird der Wert aufgrund vergangener Daten geschätzt. Das kann zur Folge haben, dass Daten aus unterschiedlichen Jahren miteinander verglichen werden.
• Der Durchschnitt aller 24 Indikatoren (eine Zahl zwischen 1 und 0, wobei man in allen Indikatoren am besten sein müsste, um auch hier 1 zu erreichen) bestimmt die Platzierung des Landes im Ranking.

Man kann sich die Normierung analog zu einer Prüfung vorstellen: Wer am meisten Punkte erzielt hat, bekommt die Note 1; wer am wenigsten wusste, bekommt die Note 0. Die Noten aller anderen liegen abhängig vom besten und vom schlechtesten Ergebnis dazwischen. Wenn in der Prüfung z.B. 15 Punkte möglich gewesen wären, aber der beste Prüfling nur 10 Punkte erreicht, erhält er trotzdem die Bestnote 1. Hätte der schlechteste Teilnehmer mit der Note 0 immerhin 2 Punkte erreicht, würde das die Untergrenze markieren. Ein Prüfling, der 8 Punkte erreicht hat, bekäme dann die Note 0,75. Wäre der beste Prüfling besser gewesen oder der schlechteste schlechter, würde sich die Note entsprechend verändern. Bei 12 Punkten als bestes Ergebnis gäben 8 Punkte nur noch eine Note von 0,6.

Es ist anzumerken, dass im IUS der Einfachheit halber nach dem Prinzip «mehr ist besser» verfahren wird. Ein Land, in dem zum Beispiel 100% der Bevölkerung im Alter von 30–34 Jahren einen Doktortitel hätte, würde im entsprechenden Indikator zwar auf dem ersten Platz landen und den Wert 1 erhalten. Aber würde ihm das auch einen konkreten Vorteil in der Innovation verschaffen? Bei einigen Indikatoren ist es durchaus möglich, ja wahrscheinlich, dass das Überschreiten einer «goldene Mitte» keinen Nutzen mehr bringt oder gar schädlich ist.

). Sie dienen explizit dem Vergleich zwischen den Ländern und sagen nichts über die absolut gemessenen Werte aus. Über- oder unterproportionale Werte werden nicht dargestellt. Damit lässt sich aus dem Indikator nicht herauslesen, wie breit das Feld wirklich gestreut ist und wie die untersuchten Länder im Vergleich zu nicht untersuchten Ländern (z.B. ausserhalb Europas) dastehen. Teilweise wird der Abstand bei extremen Werten nivelliert; dies führt dazu, dass besondere Vorteile oder Nachteile eines einzelnen Landes im jeweiligen Ranking verschwinden.

Was bedeutet das für die Schweiz?

Nach eingehender Analyse lässt sich nicht genau sagen, warum die Schweiz in Rankings so erfolgreich ist. Sie scheint zwar ein sehr innovatives Land zu sein, hat aber auch das Glück, dass die aktuellen Rankings einige kaum veränderbare strukturelle Eigenheiten der Schweiz besonders stark gewichten. Auf der anderen Seite werden einige strukturelle Besonderheiten der Schweiz, die hierzulande als Stärken wahrgenommen werden, in internationalen Vergleichen nicht abgebildet. Ein typisches Beispiel dafür ist das duale Berufsbildungssystem, das im internationalen Vergleich aus dem Rahmen fällt und mangels Vergleichsdaten keine Beachtung findet.

Rankings sind Hilfsmittel, kein Selbstzweck

Innovationsrankings dienen dem Vergleich mit anderen Ländern. Für die Definition politischer Ziele sind Rankings deshalb nur mit Bedacht einzubeziehen. Da sehr unterschiedliche Länder in einem statistischen Umwandlungsprozess für die Rankings vergleichbar gemacht werden müssen, sollte man in der konkreten Anwendung immer überprüfen, ob der Vergleich für die eigenen Bedürfnisse überhaupt sinnvoll ist. Bei manchen Indikatoren lohnt sich ein Vergleich nur unter Kleinstaaten. In anderen Themen ist der Vergleich zu einzelnen Regionen innerhalb anderer Länder sinnvoller als der Ländervergleich. Rankings neigen ausserdem dazu, Besonderheiten eines Landes zu vernachlässigen, die nicht quantitativ abbildbar oder zu spezifisch sind, um international von Bedeutung zu sein.

Kasten 1: Wie wird ein Ranking berechnet?

Wie wird ein Ranking berechnet?

Das IUS besteht aus 24 Indikatoren, die drei Dimensionen der Innovation abbilden sollen: Innovationsbefähiger (Enablers), Firmenaktivitäten und Outputs. Die Werte dieser Indikatoren werden normiert:

• Die Ergebnisse werden pro Indikator in absteigender Reihenfolge sortiert.
• Das Land, das die höchste Zahl erreicht, erhält den Indikatorwert 1, dasjenige mit der tiefsten Zahl den Wert 0.
• Für alle anderen Länder wird im Verhältnis dazu ein Wert zwischen 1 und 0 errechnet.
• Weicht ein Land oder eine kleine Ländergruppe zu sehr von den restlichen Ländern nach oben oder unten ab, wird der Ausreisser eingeebnet, damit die Unterschiede zwischen allen Ländern besser sichtbar werden. So können z.B. auch das zweit- oder drittplatzierte Land noch den Wert 1 erhalten.
• Fehlen von einem Land aktuelle Zahlen, wird der Wert aufgrund vergangener Daten geschätzt. Das kann zur Folge haben, dass Daten aus unterschiedlichen Jahren miteinander verglichen werden.
• Der Durchschnitt aller 24 Indikatoren (eine Zahl zwischen 1 und 0, wobei man in allen Indikatoren am besten sein müsste, um auch hier 1 zu erreichen) bestimmt die Platzierung des Landes im Ranking.

Man kann sich die Normierung analog zu einer Prüfung vorstellen: Wer am meisten Punkte erzielt hat, bekommt die Note 1; wer am wenigsten wusste, bekommt die Note 0. Die Noten aller anderen liegen abhängig vom besten und vom schlechtesten Ergebnis dazwischen. Wenn in der Prüfung z.B. 15 Punkte möglich gewesen wären, aber der beste Prüfling nur 10 Punkte erreicht, erhält er trotzdem die Bestnote 1. Hätte der schlechteste Teilnehmer mit der Note 0 immerhin 2 Punkte erreicht, würde das die Untergrenze markieren. Ein Prüfling, der 8 Punkte erreicht hat, bekäme dann die Note 0,75. Wäre der beste Prüfling besser gewesen oder der schlechteste schlechter, würde sich die Note entsprechend verändern. Bei 12 Punkten als bestes Ergebnis gäben 8 Punkte nur noch eine Note von 0,6.

Es ist anzumerken, dass im IUS der Einfachheit halber nach dem Prinzip «mehr ist besser» verfahren wird. Ein Land, in dem zum Beispiel 100% der Bevölkerung im Alter von 30–34 Jahren einen Doktortitel hätte, würde im entsprechenden Indikator zwar auf dem ersten Platz landen und den Wert 1 erhalten. Aber würde ihm das auch einen konkreten Vorteil in der Innovation verschaffen? Bei einigen Indikatoren ist es durchaus möglich, ja wahrscheinlich, dass das Überschreiten einer «goldene Mitte» keinen Nutzen mehr bringt oder gar schädlich ist.