Liebe Adina, das staatslabor freut sich sehr, dich diese Woche bei unserer dritten staatskantine begrüssen zu dürfen. Zusammen mit Lena Einsele, die Programmbeauftragte in der Direktion für Entwicklung und Zusammenarbeit (DEZA) ist, wirst du dort eine Diskussion über Wirkungsstudien im öffentlichen Sektor abhalten. Was genau versteht man unter Wirkungsstudien im öffentlichen Sektor und warum ist das interessant?
Vielen Dank, ich freue mich auch sehr auf die Diskussion. Wirkungsstudien analysieren die positiven oder negativen Auswirkungen eines (Pilot-) Projekts, einer Massnahme oder einer Regulierung. Es geht darum zu messen, inwiefern eine Intervention hilft, die angestrebten Ziele zu erreichen und wie diese am besten erreicht werden können. Um ein aktuelles Beispiel aus der Schweiz zu nennen: Erhöht sich die Sicherheit von Polizistinnen und Polizisten, wenn die Polizei im Einsatz Body-Kameras trägt? Reduzieren solche Kameras die Gefahr von missbräuchlicher Gewaltanwendung? Oder: Helfen Integrationslehren Flüchtlingen, später eine Stelle zu finden? Ein weiteres Beispiel aus der internationalen Zusammenarbeit: Soll man Moskitonetze in Malariagebieten gratis verteilen oder einen Kostenbeitrag verlangen? Oft werden in Pilot-Projekten auch verschiedene Optionen untersucht, die man dann miteinander vergleichen kann. Das ist für den öffentlichen Sektor besonders spannend, weil es da, im Vergleich zum Privatsektor, oft wenig automatisches Feedback gibt. Es kann deshalb also sein, dass die öffentliche Hand Projekte finanziert, welche nicht die erhoffte Wirkung erzielen oder im umgekehrten Fall, dass extrem wirksame Lösungen nicht als solche erkannt werden. Wirkungsstudien können also sehr nützliche Entscheidungsgrundlagen liefern.
Um dein Beispiel von Moskitonetzen in Malariagebieten aufzunehmen: intuitiv scheint das Verteilen von gratis Netzen Sinn zu machen. Kannst du uns erklären was hinter einer derartigen Studie liegt?
Was wir jetzt im Nachhinein intuitiv finden, war vor der Studie heiss umstritten! In vielen internationalen Organisationen hiess die Lösung, dass man nie etwas gratis abgeben sollte, weil es dann nicht wertgeschätzt und nicht richtig gebraucht würde. Der berühmte Ökonom Bill Easterly meinte, dass es viel mehr Sinn macht, einen kleinen Betrag für die Netze zu verlangen, weil dann nur die Leute ein Moskitonetz kaufen, welche sie auch wirklich nutzen, und es so zu weniger Verschwendung kommen würde. In der Theorie machten alle diese Argumente Sinn. Deshalb war es wichtig zu testen, welche Theorie oder Intuition in der Praxis stimmte.
Verschiedene randomisierte Wirkungsstudien haben gezeigt, dass viel mehr Menschen erreicht werden, wenn die Netze gratis abgeben werden, dass die Netze dadurch nicht weniger gebraucht wurden und nicht die „falschen“ Leute ein Netz bekamen. Zudem kaufen Leute, die gratis ein Moskitonetz erhalten haben, später eher selber weitere Netz, weil sie das Produkt kennen und schätzen lernten. Schlussendlich sind die Kosten für die Regierung sogar tiefer, wenn die Netze gratis verteilt werden, denn der administrative Aufwand, die vielen kleinen Kostenbeiträge einzuziehen, ist meist grösser als der Ertrag. Das sind sehr wichtige Erkenntnisse, wenn es um die Nachhaltigkeit solcher Programme geht.
Dank den Resultaten dieser Studien haben viele Länder und Organisationen begonnen, Moskitonetze gratis abzugeben, was zu einer massiven Reduktion von Malaria geführt hat. Seit dem Jahr 2000 hat sich die Anzahl Menschen, welche jährlich an Malaria sterben, auf weniger als die Hälfte reduziert. So konnten über 6 Millionen Menschen gerettet werden, die meisten davon im Kleinkindalter. Das sind enorme Zahlen, wenn man sich das konkret vorstellt. Es gibt aber hier auch weiterhin Handlungsbedarf, da jährlich immer noch über 400,000 Menschen an Malaria sterben. Moskitonetze kann man übrigens auch als Privatperson über TAMTAM spenden, und so helfen, Menschenleben zu retten.
Man verbindet Wirkungsstudien mit Verhaltenswissenschaften. Kannst du uns diesen Zusammenhang erklären?
Das stimmt, es besteht hier oft eine enge Beziehung. Einerseits bilden Wirkungsstudien oft Grundlagen, um die Theorie der Verhaltenswissenschaften voranzubringen. Andererseits nutzt man oft Wissen aus den Verhaltenswissenschaften, um verschiedene Programmoptionen zu gestalten, die dann in Wirkungsstudien rigoros getestet werden. Es ging in England zum Beispiel darum, die Bevölkerung dazu zu bringen, ihre Steuern rechtzeitig zu zahlen. Forschende haben verschiedene Versionen eines Erinnerungsbriefes entworfen und dann in einer Wirkungsstudie getestet. Diese Briefe haben sie nicht einfach aus dem Blauen erfunden, sondern basierend auf Erkenntnissen der Verhaltenswissenschaften. Der Brief, der am besten funktioniert hat, hat zum Beispiel auf eine soziale Norm angespielt, indem er darauf aufmerksam machte, dass die meisten Leute ihre Steuern rechtzeitig bezahlen. Die grosse Bedeutung von sozialen Normen war in den Verhaltenswissenschaften aus früheren Studien bekannt. Diese Studie hat dann einen britischen Innovations-Preis der öffentlichen Hand gewonnen und geholfen, Millionen Pfund Steuereinkommen einzutreiben. So einen Preis, der Innovation im öffentlichen Sektor auszeichnet, fände ich übrigens auch eine super Idee für die Schweiz!
Bei diesem Beispiel untersucht man, was am besten funktioniert, indem man Gruppen unterschiedlich behandelt. Ist das nicht unfair?
Überlegungen zur Ethik und Fairness finde ich sehr wichtig. Es kommt dabei immer darauf an, was die Alternative ist. Deshalb weist die Ethikerin Professorin Samia Hurst der Universität Genf darauf hin, dass solche Studien extrem wichtig sind, um die Konsequenzen von Interventionen im öffentlichen Sektor zu verstehen. Nur so kann sichergestellt werden, dass man die wirksamste Option wählt und niemandem Schaden zufügt. Ausserdem ist es in der Praxis oft so, dass Nichtregierungsorganisationen und Regierungen entscheiden müssen, wer von einem Programm profitieren kann, weil nicht genügend Ressourcen für alle vorhanden sind oder weil es sich um ein Pilotprojekt handelt. In vielen Fällen wird dann einfach denen geholfen, die in der Nähe der Organisation wohnen oder Beziehungen zur Organisation haben. Im Vergleich dazu ist das Zufallsprinzip oft fairer.
Zudem kann man eine Studie so gestalten, dass am Schluss alle Teilnehmenden gleichermassen von dem Programm profitieren und einfach die Reihenfolge nach dem Zufallsprinzip bestimmen. Oft ist auch so, dass neue Programme oder Reformen nicht überall gleichzeitig umgesetzt werden können, weil das administrativ zu aufwändig wäre. In solchen Fällen bietet sich oft eine gute Gelegenheit, die graduelle Umsetzung mit einer Wirkungsstudie zu verbinden. Eine solche Studie kann dann wichtige Erkenntnisse liefern, um die Wirkung des Programms zu verstehen und weiter zu verbessern. Zudem ist es auch wichtig, sich zu überlegen, was der mögliche Einfluss solcher Studien auf die Gesamtbevölkerung ist. Im Falle der Moskitonetze konnten damit Millionen von Leben gerettet werden.
Wo siehst du Potential in der Schweiz und welche Art von Projekt interessiert dich am meisten?
Die Qualität der Leistungen, die der öffentliche Sektor in der Schweiz erbringt, ist im internationalen Vergleich sehr hoch. Viele öffentliche Führungskräfte sind sehr gut ausgebildet und kompetent. Wirkungsstudien sind in einem solchen Umfeld besonders nützlich, weil man davon ausgehen kann, dass Interventionen wie geplant durchgeführt werden, und dass Einsichten aus den Studien in der Praxis umgesetzt werden können. Somit kann man das Lernen über die Wirkung und Optimierung der Interventionen maximieren. Übrigens geschieht in der internationale Zusammenarbeit bereits sehr viel in diesem Bereich: Die Direktion für Entwicklung und Zusammenarbeit (DEZA) vergibt zum Beispiel alle zwei Jahre einen „Impact Award“ an zwei NGOs und finanziert ihnen eine Wirkungsstudie, welche von einem spezialisierten Team des Centers for Development and Cooperation der ETH begleitet wird. Dieser Preis hat viele NGOs in der Schweiz inspiriert, sich noch mehr mit Wirkungsstudien zu befassen. Wirkungsstudien haben aber auch ein grosses Potential für Programme innerhalb der Schweiz.
Persönlich habe ich während mehreren Jahren Wirkungsstudien in Kenia durchgeführt, und anschliessend in Berkeley und Harvard ähnliche Programme analysiert, was ich extrem spannend fand. Ich freue mich daher sehr über das grosse aktuelle Interesse an diesen Themen in der Schweiz. Die Schweiz hat ja eine grosse Tradition von Pilotversuchen und hohen Qualitätsstandards, und die neuen Methoden der randomisierten Pilotversuche passen da ausgezeichnet hinein. Insgesamt ist mir vor allem wichtig, dass das Wissen, welches wir gemeinsam mit unseren Partnern erarbeiten, einen gesellschaftlichen Mehrwert schaffen kann.
Adina Rom ist Gründerin und CEO von Policy Analytics und Doktorandin in Entwicklungsökonomie am Center for Development and Cooperation (NADEL) der ETH Zürich. Davor hat sie an der Harvard Kennedy School Public Policy studiert und war für die Umsetzung von zahlreichen Evaluationen mit Innovation for Poverty Action (IPA) in Kenya und dem Center for Effective Global Action (CEGA) an der University of California Berkeley verantwortlich. Daneben leitete sie Ausbildungen zu Wirkungsanalysen für die Weltbank und für das Poverty Action Lab am Massachusetts Institute for Technology (MIT) und ist im Vorstand von TamTam Africa und dem Think-Tank foraus. In ihrer Beratungstätigkeit hat sie mit verschiedenen Nichtregierungsorganisationen und Sozialunternehmen gearbeitet, wie auch mit der Direktion für Entwicklung und Zusammenarbeit (DEZA).
Policy Analytics hilft Organisationen, Wirkungsstudien als Entscheidungsgrundlagen einzusetzen. Dies reicht von massgeschneiderten Policybriefs, welche bestehendes Wissen zusammenfassen, über die Durchführung von Wirkungsstudien bis zur Unterstützung beim Umsetzen von gewonnenen Einsichten in der Praxis. Ziel ist es, dass die gewonnene Evidenz hilfreiche Grundlagen bietet für Arbeit von sozialen Projekten oder öffentlichen Institutionen.