Groupe de travail thématique numéro 8 - Evaluation ex post des PDR 2014-2020 : Apprendre de la pratique

Contexte

 

En 2019, pour la première fois au cours de la période de programmation 2014’2020, les État membres ont dû rendre compte de la contribution des PDR à la réalisation des objectifs politiques de l’UE à travers l’évaluation des impacts de la politique. Les résultats de ces évaluations ont été rapportés à la Commission européenne dans les rapports annuels de mise en œuvre (RAMO) renforcés, soumis en 2019.

Le Helpdesk Evaluation a analysé les RAMO soumis en 2019 afin d’identifier les principaux défis et de tirer des leçons pour le futur. Les principaux défis identifiés à travers cette analyse sont liés à :

  • La compréhension conceptuelle des définitions des indicateurs et des méthodologies pour le calcul des indicateurs de résultat et d’impact ;
  • L’utilisation de méthodes et d’approches d’évaluation solides ;
  • La collecte et la gestion des données pour l’évaluation ;
  • L’évaluation des contributions nettes ;
  • La quantification des contributions secondaires, des synergies et des contributions LEADER.

Pour relever ces défis et mieux préparer les évaluations ex post en 2024, le Helpdesk Evaluation, en collaboration avec des experts thématiques et la DG AGRI, a lancé le groupe de travail thématique « Evaluation ex post des PDR 2014-2020 : Apprendre de la pratique » à la fin de février 2020.Les objectifs du groupe de travail thématique sont :

  • Répondre aux faiblesses de l’évaluation des réalisations et des impacts des PDR ;
  • Améliorer le calcul des indicateurs de résultat et d’impact ;
  • Aborder des problèmes émergents dans l’évaluation des domaines prioritaires (p.ex. l’environnement, le climat et les indicateurs sociaux).

En outre, ce groupe de travail thématique constitue une contribution importante au développement des futurs systèmes de suivi et d’évaluation pour la période post-2020.

Le groupe de travail thématique se compose de trois dossiers de travail, chacun lié à l’un des objectifs généraux de la PAC.

Chaque dossier de travail comprend un aperçu des problèmes émergents identifiés et des recommandations proposées pour résoudre ces problèmes. Ces dossiers de travail seront également enrichis d’exemples pratiques pour illustrer la manière dont les différents États membres ont traité ces problèmes.Pour s’assurer que le groupe de travail thématique répond aux besoins de la communauté d’évaluation, des consultations continues ont eu lieu avec les parties prenantes de l’évaluation par le biais des comités de sondage périodiques et d’autres moyes de rétroaction écrite.
 

 

Premier dossier de travail : Développement territorial équilibrée

 

  • Thème numéro 1 - Part de la population rurale bénéficiant de services/infrastructures nouveaux/améliorés (2014-2020) : Ce document met spécifiquement en évidence les problèmes liés à l'utilisation de l'indicateur de résultat/cible commun « Part de la population rurale bénéficiant de services/infrastructures nouveaux/améliorés (TIC) » qui est utilisé comme indicateur de résultat/cible commun pour mesurer les réalisations dans les domaines prioritaires 6B (indicateurs de résultat/cible R.23/T.22) et 6C (indicateurs de résultat/cible R.25/T.24) pendant la période de programmation 2014-2020.

          Working Package 1: Topic 1 EN PDF icon (717.65 KB)

  • Thème numéro 2 – Emplois crées dans les zones rurales (2014-2020) : Ce document met en évidence les problèmes liés à l’utilisation de l’indicateur de résultat/cible commun « Emplois crées dans les projets soutenus » qui est utilisé comme indicateur de résultat/cible commun pour mesurer les réalisations dans les domaines prioritaires 6A (indicateur de résultat R.21 et indicateur cible T.20) et 6B (indicateur de résultat R.24 et indicateur cible T.23) pendant la période de programmation 2014-2020.

          Working Package 1: Topic 2 EN PDF icon (853.84 KB)

  • Thème numéro 3 – Notification des contributions nettes des indicateurs d’impact socio-économiques : Ce document examine la question relative à la notification des contributions nettes des indicateurs d'impact socio-économiques dans les RAMO soumis en 2019.

          Working Package 1: Topic 3 EN PDF icon (732.76 KB)

  • Thème numéro 4 – La quantification des contributions LEADER/CLLD et le calcul de ses effets secondaires : Ce document met spécifiquement en évidence des problèmes liés à la quantification des contributions LEADER/CLLD et au calcul de ses effets secondaires pendant la période de programmation 2014-2020.

          Working Package 1: Topic 4 EN PDF icon (837.49 KB)

Deuxième dossier de travail : La garantie d’une gestion durable des ressources naturelles ainsi que de l’action pour le climat

 

  • Dossier de travail « Mise à jour des fiches des indicateurs de résultat complémentaires n° 13, 14, 15, 18 et 19 » : Ce document comprend des fiches à jour pour les indicateurs de résultat complémentaires liés à l’environnement pour la période de programmation 2014-2020. Ces fiches ont été mises à jour dans les domaines suivants : précisions sur les définitions des indicateurs et leurs unités de mesure, clarification et actualisation des sources des données, ajout d’informations supplémentaires si nécessaire, et propositions des simplifications dans les méthodologies.

Working Package 2: CRIs Fiches EN PDF icon (1005.71 KB)

  • Dossier de travail « Mise à jour des fiches de réponse aux questions évaluatives communes 11-14 pour les PDR 2014-2020 » : Ce document comprend des mises à jour pour les fiches de réponse aux questions évaluatives 11-14 pour l’évaluation ex post des PDR 2014-2020. Ces fiches ont été mises à jour dans les domaines suivants : clarification et actualisation des sources des données, clarification des méthodologies pour calcules les effets bruts et nets, propositions des recommandations sur la manière d’utiliser les indicateurs dans les situations où il manque des données, et ajout d’exemples et de sources d’information supplémentaires.

Working Package 2: Updated CEQs 11-14 EN PDF icon (1.53 MB)

Troisième dossier de travail : Promouvoir la compétitivité de l’agriculture

 

  • Document de travail sur le meilleur usage du RICA pour l'évaluation des effets des PDR sur la promotion de la compétitivité agricole : Ce document analyse certaines questions liées à l'évaluation lors de l'utilisation des données du Réseau d'information comptable agricole (RICA) pour l'évaluation de la compétitivité des exploitations agricoles. 

           Working Package 3: FADN EN PDF icon (1.14 MB)

  • Document de travail sur l'évaluation des effets des PDR sur la compétitivité agricole dans un contexte en évolution : Ce document aborde les défis liés à la préparation et à la réalisation de l'évaluation des impacts du PDR dans le cadre de l'évaluation ex post, en tenant compte des multiples facteurs d'intervention, de confusion ou externes liés à l'évolution du contexte socio-économique, environnemental ou sanitaire (tel qu'il a été vécu récemment) qui peuvent influencer les effets escomptés du programme.

           Working Package 3: Context EN PDF icon (1.19 MB)

  • Document de travail sur les fiches actualisées pour répondre aux questions d'évaluation communes 4 et 6 pour les PDR 2014-2020 : Ce document comprend les fiches mises à jour pour répondre aux questions d'évaluation communes 4 et 6 pour l'évaluation ex post des PDR 2014-2020. Ces fiches ont été mises à jour en fournissant une liste non exhaustive de possibles éléments d'évaluation supplémentaires que les autorités de gestion et les évaluateurs peuvent prendre en compte lors de la préparation et de la réalisation de l'évaluation de la compétitivité en agriculture. 

           Working Package 3: Annex 11 CEQs 4-6 EN PDF icon (1008.52 KB)

  • Document de travail sur des exemples d'éléments d'évaluation pour l'évaluation des effets des PDR sur la compétitivité de l’agriculture : Ce document fournit une liste non exhaustive de possibles éléments d'évaluation supplémentaires (critères d’appréciation, indicateurs de résultat, sources de données possibles) et une liste d'actions que les autorités de gestion et les évaluateurs peuvent prendre en compte lors de la préparation et de la réalisation de l'évaluation de la compétitivité dans l'évaluation ex post lorsqu'ils répondent aux questions d'évaluation communes 4 et 6. 

          Working Package 3: Evaluation Elements EN PDF icon (942.54 KB)

Plus d’information

Centre for Strategy and Evaluation Services (2006): Study on Measuring Employment Effects. Brussels.

Ecorys (2019): The Evaluation of the results and impact of the RDP 2014-2020 in the years 2014-2018: Part 3 devoted to the issue of employment and local development. Warszawa.

ENRD Contact Point (2016): Rural Development Programmes 2014-2020: Key facts & figures. FOCUS AREA 6C: Access to and quality of ICT. Brussels.

ENRD Contact Point (2019): RDPs 2014-2020: Monitoring data Rural Development Priority 6 (P6): Promote social inclusion, poverty reduction and economic development in rural areas .Situation at the end of 2018. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2019): Assessment of the progress in implementing the Evaluation Plans of RDPs 2014-2020. Chapter 2 of the AIRs submitted in 2019. Summary Report. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4   (2014): Capturing the success of your RDP: Guidelines for the ex post evaluation of 2007-2013 RDPs. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2019): Evaluation-related queries. Working Document. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2018): Guidelines. Assessing RDP achievements and impacts in 2019. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit E.4 (2016): Guidelines. Assessment of RDP results: How to prepare for reporting on evaluation in 2017. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2017): Guidelines. Evaluation of LEADER/CLLD. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2019): Good Practice Workshop no 12. How to demonstrate RDP achievements and impacts: lessons learned from the evaluations reported in the AIR 2019. Seville.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2018): Good Practice Workshop no 7.  Showing the added value of LEADER/CLLD through evaluation. Helsinki.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2019): Interactive decision tools. Data for the assessment of RDP achievements and impacts. Brussels.

European Commission – Directorate-General for Agriculture and Rural Development – Unit C.4 (2019): Synthesis of the evaluation components of the enhanced AIRs 2019: Chapter 7. Summary Report. Brussels.

European Commission (2019): Commission Staff Working Document, Synthesis of the findings of the evaluations of European Structural and Investment Funds Programmes, SWD (2019) 445 final. Brussels.

European Commission / DG Regio (2013): Expert evaluation network (August 2013), Job creation as an indicator of outcomes in ERDF programmes. Brussels.

European Commission (2014/ rev. 2018): Guidance Document on Monitoring and Evaluation – ERDF and Cohesion Funds, Concepts and recommendations. Brussels.

European Commission (2018): Impact Indicator fiches. Brussels.

European Commission (2017): Technical Handbook On The Monitoring And Evaluation Framework Of The Common Agricultural Policy 2014 – 2020, Directorate-General For Agriculture And Rural Development. Brussels.

European Commission (2018): Working Document for the Rural Development Committee (August 2018), Rural Development Monitoring (2014-2020) – Implementation Report Tables. Brussels.

European Commission (2015): Working Document. Target indicator fiches for Pillar II (Priorities 1 to 6). Brussels.

European Court of Auditors (2018): Special report. EU support for productive investments in businesses - greater focus on durability needed. Brussels.

Fisheries and Aquaculture Monitoring and Evaluation Support Unit & FARNET Support Unit (2018): Evaluating CLLD: Handbook for LAGs and FLAGs. Brussels.

Forschungsgruppe Agrar- und Regionalentwicklung Triesdorf / ART (2019): Bewertung des Entwicklungsprogramms für den ländlichen Raum in Bayern 2014 – 2020 (EPLR Bayern 2020), Maßnahmenspezifische Bewertung. Triesdorf.

Other information sources

Complementary semi-structured interviews with evaluation stakeholders in Member States in March – April 2020

Evaluations in Member States (e.g. Austria)

Outcomes of the focus group discussion with selected participants representing Managing Authorities, evaluators, Paying Agencies, JRC and DG Agri organised on 28 April 2020.

Outcomes of the focus group discussion with selected participants representing Managing Authorities, evaluators, Paying Agencies, JRC and DG Agri organised on 23 April 2020.

Selected Rural Development Programmes (2014-2020) and Annual Implementation Reports submitted in 2019

Suggestions and comments of evaluation stakeholders from the Member States have been collected through a written Sounding Board consultation in May 2020

Survey on data sources conducted during the preparation of the Good Practice Workshop 13

Yearly Capacity Building Events in the Member States