Kein Folientitel

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Methodische Grundlagen derEvaluation

Vivien Lo

v.lo@isi.fraunhofer.de

Vivien Lo

v.lo@isi.fraunhofer.de

Seminar Angewandte Wirtschaftsgeographie SS 2005:Fragestellungen und methodische Ansätze der regionalen Innovationsforschung

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Evaluation förderpolitischer Maßnahmen und Instrumente

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Gliederung

Notwendigkeitund Definition

Die vierW-Fragen

Entwicklung undAusblick

Praxisbeispiele

Fallstricke

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Innovationspolitik muss

(1)geeignete Zielsetzungen und Instrumente für die Anpassung undModernisierung des Innovationssystems bereitstellen,

(2)ihre Interventionen im Geflecht der vielfältigen Akteure abstimmen und

(3)dies auf absehbare Zeit unter der Bedingung knapper werdenderstaatlicher Mittel tun (Kuhlmann/Holland 2005).

Weitergehende Priorisierung und kontinuierliche Bewertungder bisherigen Innovationspolitik

1. Notwendigkeit und Definition

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Evaluationsforschung = Teilbereich der empirischen Forschung mitdem Ziel der Bewertung von Maßnahmen oder Interventionen(Bortz/Döring 1995)

Evaluation: Bewertung von Programmen, Interventionen, Maßnahmensowie Entwicklung formaler Regeln und Kriterien für die Erfolgs- undWirkungskontrolle dieser Maßnahmen (fteval 2003)

Definition

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

•Forschung:z.B. Bewertung des Standes der Forschung in einem bestimmtenTechnologiegebiet

•Projekte/Programme:z.B. Assessment der Kompetenzzentrenprogramme

•Systeme:z.B. Evaluation der Netzwerkförderung in Sachsen

•Strukturen/Institutionen:z.B. Evaluation der Betreuungsstrukturen zum 6. Rahmenprogramm

Anwendungsbereiche in der Innovationspolitik

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

•Zu welchem Zeitpunkt im Programm soll evaluiertwerden?

2. Die vier W-Fragen

Wann?

Was?

Wie?

Warum?

•Was steht auf der Agenda der Evaluation?

•Welche Methoden werden eingesetzt?

•Wozu dient die Evaluation? Was folgt aus derEvaluation?

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Ex-ante Evaluationen

Eigene Darstellung nach ftevalStandards, Wien 2003

Interim/ begleitendeEvaluationen

Ex-post Evaluationen

Transfer derEvaluationsergebnisse

Implementation,Management

Entwicklung, Design,Weiterentwicklung

a) Wann: Zu welchem Zeitpunkt soll evaluiert werden?

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

(1)Zielausrichtung und Zielerreichung

(2)Zielgruppendefinition und-erreichung

(3)Instrumentenwahl und -ausgestaltung

(4)Wirksamkeit/Effektivität

(5)Effizienz

(6)Weiterentwicklung/Handlungsempfehlungen

b) Was: Was steht auf der Agenda der Evaluation?

Wurden die Ziele erreicht? Waren dieAnnahmen richtig?

Ist die Zielgruppe die richtige?Wurde die Zielgruppe erreicht?

Sind die Instrumente geeignet?

Welche direkten/indirekten, intendierten/nichtintendierten Wirkungen gibt es?

Waren Implementierung undVerwaltung effizient?

Welche hemmenden und förderndenFaktoren gibt es? Passfähigkeit undKomplementarität mit anderenInstrumenten?

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Übliche Methoden:

Studium von Hintergrundmaterial (zur Entwicklung der Maßnahme, zurZielgruppe)

Interviews (Experten, Fördernehmer)

Schriftliche Befragung

Auswertung vorhandener Daten und Informationen des Monitorings beimProjektträger (Antragseingang, Gutachten, Endberichte)

Fallstudien

Workshops

Internationaler Vergleich, Benchmarking

Bibliometrie, Patentstudien

Peer/Panel Review

Mikro/makroökonomische Modelle, ökonometrische Modellierung

c) Wie: Welche Methoden werden eingesetzt?

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Primärerhebung, Sekundärdaten, Daten beim Projektträger

Evaluierung durch Peers oder Evaluationsexperten

Qualitativ und/oder Quantitativ

Validität, Reliabilität

Kontrollgruppe

Der richtige Methodenmix

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

•Einstieg in neueTechnologiefelder

•Angemeldete undgenehmigte Patente undMarken

•Verstetigung von FuE-Aktivitäten

Typische Erfolgskriterien

Technischer Erfolg

Ökonomischer Erfolg

•Umsätze durch Lizenzenund Patente

•Gesicherter und zusätzlicherUmsatz

•Gesicherte und zusätzlicheArbeitsplätze

•Umsätze durchProdukte/Dienstleistungen

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

•Additionalität I:

Zusätzlich ausgelöste Aufwendungen/Beschäftigung in FuE undUmsätze durch FuE

•Additionalität II:

Schnelleres Durchführen von FuE-ProjektenHöheres Risiko von FuE-Projekten

•Additionalität III:

Verhaltensveränderung im Sinne von Verstetigung von FuE oderLernen von Innovationskooperationen

Zentrales Erfolgskriterium: Additionalität

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Verwendung öffentlicher Mittel

Wie und mit welcher Wirksamkeit werden Mitteleingesetzt

Wie kann die Effektivität und Effizienz erhöht werden

Qualitätsmanagement und Qualitätsentwicklung

zwischen den konkurrierenden Interessenverschiedener Akteure in der Innovationspolitik

Warum: Wozu dient die Evaluation?

Legitimierung

Information

Steuerung

Kontrolle

Vermittlung

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

•Summative Evaluation:

Maßnahme bereits abgeschlossen, Zusammenfassung der Wirksamkeit

•Formative Evaluation:

Abwicklung der Maßnahme und deren Wirkungen werden fortlaufendkontrolliert, Einsatz bei Entwicklung und Implementierung neuerMaßnahmen, erkundend angelegt

Warum: Was folgt aus der Evaluation?

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

•FuE und Innovation sind keine unidirektionalen, linearen Prozesse,sondern rückgekoppelte, soziale Prozesse

•Geförderte Projekte häufig eingebettet in "Projektfamilie", keineeinzelne Zurechenbarkeit

•Zielerreichung zum Teil nur indirekt messbar (z.B. FuE-Kooperationen), Indikatoren mit üblichen Problemen behaftet

•Ziele auf politischer, Unternehmens- und Projektebene können sichunterscheiden

3. Fallstricke

Problem der Zurechenbarkeit

öffentliche Förderung

Privater technischer Erfolg

Privater ökonomischer Erfolg

öffentlicherNutzen(Wissens-diffusion)

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Was sich politischeEntscheider wünschen

Was Evaluatoren sagen

Zeitige Information fürEntscheidungsgrundlagen

Es kann Jahre dauern, bisForschung Früchte trägt

Klare Zuordnung von Wirkungenzu Investitionen

Lineare Zusammenhänge sindselten, Additionalität ist nurschwer zu messen

Objektiver Beweis von Exzellenzin der Forschung

Peers verteidigen ihr Feld undinternationale Kollegen

Zentrale Indikatoren fürMonitoring und Benchmarking

Indikatorenwahl nicht eindeutig,manipulierbar

Die "Bring-Lücke" (Delivery Gap)

Quelle: nach Sturn/Zinnöcker 2003

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Was sich Evaluatorenwünschen

Was politische Entscheidersagen

Klar definierte Zielhierarchie

Programme entstehen auspolitischen Kompromissen mitverschiedenen, z.T. konfligierendenZielen

Garantierte Unabhängigkeit

Empfehlungen müssen innerhalbrealistischer Grenzen liegen

Angemessene Zeit undRessourcen für die Evaluation

Resultate werden in kürzester Zeitbenötigt

Voller Zugang zu Informationenund Stakeholdern

Daten sind nicht zugänglich,Betroffene haben keine Zeit

Die "Kunden-Lücke" (Customer Gap)

Quelle: nach Sturn/Zinnöcker 2003

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

Forschungs- und Innovationspolitik muss zunehmend nachweisen, dasssich Investitionen lohnen

Nachweis und Hinwirken, dass Marktversagen nicht durchStaatsversagen ersetzt wird

European Research Area ERA/ Lissabon Ziel: 2010 denwettbewerbsfähigsten und dynamischsten wissensbasiertenWirtschaftsraum zu erreichen

Zunehmende Verankerung: Standard bei EU-Projekten, AbteilungEvaluation im BMWA

Professionalisierung durch Festlegung von Standards in nationalenFachverbänden (z.B. DeGEval, fteval)

4. Zukünftige Bedeutung von Evaluationen

Vivien Lo – Evaluation förderpolitischer Maßnahmen

Fraunhofer

ISI

Institut

System- und

Innovationsforschung

System

Programm

System

Institutionen

Evaluierung und Weiterentwicklung derNetzwerkstrategie des Freistaates Sachsen

Evaluierung der österreichischen Betreuungsstrukturenfür das 6. EU-Rahmenprogramm für Forschung,technologische Entwicklung und Demonstration

Assessment "Zukunft der Kompetenzzentrenprogramme(K plus und K ind/net) und Zukunft derKompetenzzentren"

5. Praktische Beispiele

Programm

Institutionen

System