Thematische Arbeitsgruppe 8 – Ex-post-Bewertung von LE-Programmen 2014–2020: Lernen aus der Praxis

  1. Italiano non disponibile
  2. Deutsch
  3. en
  4. fr

Hintergrund

 

Mitgliedstaaten mussten 2019 zum ersten Mal während des Programmplanungszeitraums 2014–2020 über den Beitrag Bericht erstatten, den ihre LE-Programme zu den politischen Zielen der EU leisten, und hierfür die Wirkungen der Politik bewerten. Die Ergebnisse dieser Bewertungen wurden der Europäischen Kommission in den erweiterten jährlichen Durchführungsberichten (DB) 2019 mitgeteilt.

Der Evaluierungs-Helpdesk hat die jährlichen DB 2019 analysiert, um wichtige Herausforderungen zu identifizieren, Erfahrungen zu gewinnen und so künftiges Lernen zu ermöglichen. Die wichtigsten Herausforderungen, die im Rahmen dieser Beurteilung identifiziert wurden, bezogen sich auf die folgenden Punkte:

  • das konzeptuelle Verständnis der Definitionen von Indikatoren und Methodologien für die Berechnung von Ergebnis- und Wirkungsindikatoren;
  • die Verwendung belastbarer Bewertungsansätze und -methoden;span>
  • die Erfassung und Verwaltung von Daten für die Bewertung; 
  • auseinandersetzun die Beurteilung der Nettobeiträge;
  • die Quantifizierung sekundärer Beiträge, Synergien und LEADER-Beiträge.

Um sich diesen Herausforderungen zu stellen und sich besser auf die Ex-post-Bewertung 2024 vorbereiten zu können, gründete der Evaluierungs-Helpdesk in Zusammenarbeit mit thematischen Sachverständigen und der GD Landwirtschaft Ende Februar 2020 die Thematische Arbeitsgruppe „Ex-post-Bewertung der LE-Programme 2014–2020: Lernen aus der Praxis“.Die Ziele der Thematischen Arbeitsgruppe lauten wie folgt:

  • Schwächen in der Abschätzung der Erfolge und Wirkungen von LE-Programmen;
  • Bessere Berechnung von Ergebnis- und Wirkungsindikatoren;
  • Auseinandersetzung mit Themen, die sich bei der Beurteilung von prioritären Bereichen abzeichnen (z. B. Umwelt, Klima, soziale Indikatoren).

Diese Thematische Arbeitsgruppe wird auch wichtige Inputs zur künftigen Weiterentwicklung des Begleitungs- und Bewertungssystems nach 2020 liefern.

Die Thematische Arbeitsgruppe beinhaltet drei Arbeitspakete, die jeweils an eines der drei allgemeinen Ziele der GAP geknüpft sind:

Jedes Arbeitspaket umfasst eine Übersicht über erkannte neu aufkommende Themen und Empfehlungen zur Auseinandersetzung mit diesen Themen. Die Arbeitspakete werden außerdem mit praktischen Beispielen versehen, die veranschaulichen, wie die verschiedenen Mitgliedstaaten die erkannten Themen handhaben.

Mit den Interessenträgern der Bewertung werden laufende Konsultationen in Form von regelmäßigen Sondierungsbesprechungen und schriftlichem Feedback stattfinden, um sicherzustellen, dass die Thematische Arbeitsgruppe die praktischen Bedürfnisse der Bewertungsgemeinschaft erfüllt.
 

 

Arbeitspaket 1: Ausgewogene territoriale Entwicklung

 

  • Thema 1 – Prozentsatz/Anteil der Bevölkerung im ländlichen Raum, die von neuen oder besseren Dienstleistungen/Infrastrukturen profitiert (2014–2020): Dieses Dokument stellt speziell Fragen heraus, die mit der Verwendung des gemeinsamen Ergebnis-/Zielindikators „Prozentsatz der Bevölkerung im ländlichen Raum, die von neuen oder besseren Dienstleistungen/Infrastrukturen (IKT) profitiert“ zur Messung der Erfolge in den Schwerpunktbereichen 6B (Ergebnis-/Zielindikatoren R23/T22) und 6C (Ergebnis-/Zielindikatoren R25/T24) im Programmplanungszeitraum 2014–2020 in Zusammenhang stehen. 

          twg8_working_package_1_topic_1.pdf EN PDF icon (717.65 KB)

  • Thema 2 – Schaffung von Arbeitsplätzen in ländlichen Gebieten (2014–2020): Dieses Dokument stellt Fragen heraus, die mit der Verwendung des gemeinsamen Ergebnis-/Zielindikators „In unterstützten Projekten geschaffene Arbeitsplätze“ zur Messung der Erfolge in den Schwerpunktbereichen 6A (Ergebnisindikator R21 und Zielindikator T20) und 6B (Ergebnisindikator R24 und Zielindikator T23) im Programmplanungszeitraum 2014-2020 in Zusammenhang stehen.  

          twg8_working_package_1_topic_2.pdf EN PDF icon (853.84 KB)

  • Thema 3 – Berichterstattung über die Nettobeiträge sozioökonomischer Wirkungsindikatoren: Dieses Dokument untersucht Fragen im Zusammenhang mit der Berichterstattung über die Nettobeiträge sozioökonomischer Wirkungsindikatoren in den jährlichen DB 2019.

          twg8_working_package_1_topic_3.pdf EN PDF icon (732.76 KB)

  • Thema 4 – Quantifizierung der Beiträge von LEADER/CLLD und Messung der sekundären Wirkungen dieser Ansätze: Dieses Dokument stellt spezifisch Fragen heraus, die mit der Quantifizierung der Beiträge von LEADER/CLLD und der Messung der sekundären Wirkungen dieser Ansätze im Programmplanungszeitraum 2014–2020 in Zusammenhang stehen.

          twg8_working_package_1_topic_4.pdf EN PDF icon (837.49 KB)

Arbeitspaket 2: Sicherstellung des nachhaltigen Managements natürlicher Ressourcen und des Klimaschutzes

 

  • Arbeitsunterlage „Aktualisierte Datenblätter für die ergänzenden Ergebnisindikatoren Nr. 13, 14, 15, 18 und 19“: Dieses Dokument beinhaltet die aktualisierten Datenblätter für die umweltbezogenen ergänzenden Ergebnisindikatoren für den Zeitraum 2014–2020. Diese Datenblätter wurden auf den neuesten Stand gebracht und enthalten nun klarere Definitionen von Indikatoren und ihren Maßeinheiten, aktualisierte Datenquellen, zusätzliche Informationen (soweit sinnvoll) und Vorschläge für einfachere Methodologien.

Working Package 2: CRIs Fiches EN PDF icon (1005.71 KB)

  • Arbeitsunterlage „Aktualisierte Datenblätter zur Beantwortung der gemeinsamen Bewertungsfragen Nr. 11–14 für die LEP 2014-2020“: Dieses Dokument beinhaltet die aktualisierten Datenblätter zur Beantwortung der gemeinsamen Bewertungsfragen Nr. 11–14 für die Ex-post-Bewertung von LEP 2014-2020. Diese Datenblätter wurden auf den neuesten Stand gebracht und enthalten nun klarere und aktuellere Datenquellen, klarere Methodologien zur Berechnung von Brutto- und Nettowerten, Empfehlungen zur Verwendung von Indikatoren, wo es an Daten mangelt, sowie zusätzliche Beispiele und Informationsquellen.

Working Package 2: Updated CEQs 11-14 EN PDF icon (1.53 MB)

Arbeitspaket 3: Förderung der Wettbewerbsfähigkeit der Landwirtschaft

 

  • Arbeitsunterlage „Beste Nutzung des INLB für die Beurteilung von LEP-Wirkungen auf die Stärkung der Wettbewerbsfähigkeit in der Landwirtschaft“: Dieses Dokument analysiert ausgewählte Fragen, die sich stellen können, wenn zur Bewertung der Wettbewerbsfähigkeit in der Landwirtschaft Daten aus dem Informationsnetz landwirtschaftlicher Buchführungen (INLB) herangezogen werden. 

          Working Package 3: FADN EN PDF icon (1.14 MB)

  • Arbeitsunterlage „Bewertung der Wirkungen von LEP auf die Wettbewerbsfähigkeit der Landwirtschaft in einem Kontext des Wandels“: Dieses Dokument setzt sich mit Herausforderungen bei der Vorbereitung und Durchführung der Bewertung von LEP-Wirkungen während der Ex-post-Bewertung auseinander. Es berücksichtigt mehrfache intervenierende, störende oder externe Faktoren im Zusammenhang mit einem sozioökonomischen, umweltbezogenen oder gesundheitlichen Kontext im Wandel (wie letzterer aktuell erlebt wird), der die beabsichtigten Wirkungen eines Programms beeinflussen kann.

​​​​​​​          Working Package 3: Context EN PDF icon (1.19 MB)

  • Arbeitsunterlage „Aktualisierte Datenblätter zur Beantwortung der gemeinsamen Bewertungsfragen (CEQ) Nr. 4 und 6 für die LEP 2014-2020“: Dieses Dokument beinhaltet die aktualisierten Datenblätter zur Beantwortung der gemeinsamen Bewertungsfragen (CEQ) Nr. 4 und 6 für die Ex-post-Bewertung von LEP 2014-2020. Diese Datenblätter wurden durch eine nicht erschöpfende Liste möglicher zusätzlicher Bewertungselemente ergänzt, die Verwaltungsbehörden und Evaluatoren berücksichtigen können, wenn sie die Bewertung der Wettbewerbsfähigkeit in der Landwirtschaft vorbereiten und durchführen. 

​​​​​​​           Working Package 3: Annex 11 CEQs 4-6 EN PDF icon (1008.52 KB)

  • Arbeitsunterlage „Beispielhafte Bewertungselemente für die Bewertung von LEP-Wirkungen auf die Wettbewerbsfähigkeit in der Landwirtschaft“: Dieses Dokument stellt eine nicht erschöpfende Liste möglicher zusätzlicher Bewertungselemente (Beurteilungskriterien, Ergebnisindikatoren, mögliche Datenquellen) und eine Liste von Maßnahmen bereit, die Verwaltungsbehörden und Evaluatoren berücksichtigen können, wenn sie während der Ex-post-Bewertung die Bewertung der Wettbewerbsfähigkeit vorbereiten und durchführen und hierfür die gemeinsamen Bewertungsfragen Nr. 4 und 6 beantworten. 

          ​​​​​​​Working Package 3: Evaluation Elements EN PDF icon (942.54 KB)

Weiterführende Informationen

Centre for Strategy and Evaluation Services (2006): Study on Measuring Employment Effects. Brussels.

Ecorys (2019): The Evaluation of the results and impact of the RDP 2014-2020 in the years 2014-2018: Part 3 devoted to the issue of employment and local development. Warszawa.

ENRD Contact Point (2016): Rural Development Programmes 2014-2020: Key facts & figures. FOCUS AREA 6C: Access to and quality of ICT. Brussels.

ENRD Contact Point (2019): RDPs 2014-2020: Monitoring data Rural Development Priority 6 (P6): Promote social inclusion, poverty reduction and economic development in rural areas .Situation at the end of 2018. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2019): Assessment of the progress in implementing the Evaluation Plans of RDPs 2014-2020. Chapter 2 of the AIRs submitted in 2019. Summary Report. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4   (2014): Capturing the success of your RDP: Guidelines for the ex post evaluation of 2007-2013 RDPs. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2019): Evaluation-related queries. Working Document. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2018): Guidelines. Assessing RDP achievements and impacts in 2019. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit E.4 (2016): Guidelines. Assessment of RDP results: How to prepare for reporting on evaluation in 2017. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2017): Guidelines. Evaluation of LEADER/CLLD. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2019): Good Practice Workshop no 12. How to demonstrate RDP achievements and impacts: lessons learned from the evaluations reported in the AIR 2019. Seville.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2018): Good Practice Workshop no 7.  Showing the added value of LEADER/CLLD through evaluation. Helsinki.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2019): Interactive decision tools. Data for the assessment of RDP achievements and impacts. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2019): Synthesis of the evaluation components of the enhanced AIRs 2019: Chapter 7. Summary Report. Brussels.

European Commission (2019): Commission Staff Working Document, Synthesis of the findings of the evaluations of European Structural and Investment Funds Programmes, SWD (2019) 445 final. Brussels.

European Commission / DG Regio (2013): Expert evaluation network (August 2013), Job creation as an indicator of outcomes in ERDF programmes. Brussels.

European Commission (2014/ rev. 2018): Guidance Document on Monitoring and Evaluation – ERDF and Cohesion Funds, Concepts and recommendations. Brussels.

European Commission (2018): Impact Indicator fiches. Brussels.

European Commission (2017): Technical Handbook On The Monitoring And Evaluation Framework Of The Common Agricultural Policy 2014 – 2020, Directorate-General For Agriculture And Rural Development. Brussels.

European Commission (2018): Working Document for the Rural Development Committee (August 2018), Rural Development Monitoring (2014-2020) – Implementation Report Tables. Brussels.

European Commission (2015): Working Document. Target indicator fiches for Pillar II (Priorities 1 to 6). Brussels.

European Court of Auditors (2018): Special report. EU support for productive investments in businesses - greater focus on durability needed. Brussels.

Fisheries and Aquaculture Monitoring and Evaluation Support Unit & FARNET Support Unit (2018): Evaluating CLLD: Handbook for LAGs and FLAGs. Brussels.

Forschungsgruppe Agrar- und Regionalentwicklung Triesdorf / ART (2019): Bewertung des Entwicklungsprogramms für den ländlichen Raum in Bayern 2014 – 2020 (EPLR Bayern 2020), Maßnahmenspezifische Bewertung. Triesdorf.

Other information sources

Complementary semi-structured interviews with evaluation stakeholders in Member States in March – April 2020

Evaluations in Member States (e.g. Austria)

Outcomes of the focus group discussion with selected participants representing Managing Authorities, evaluators, Paying Agencies, JRC and DG Agri organised on 28 April 2020.

Outcomes of the focus group discussion with selected participants representing Managing Authorities, evaluators, Paying Agencies, JRC and DG Agri organised on 23 April 2020.

Selected Rural Development Programmes (2014-2020) and Annual Implementation Reports submitted in 2019

Suggestions and comments of evaluation stakeholders from the Member States have been collected through a written Sounding Board consultation in May 2020

Survey on data sources conducted during the preparation of the Good Practice Workshop 13

Yearly Capacity Building Events in the Member States