Y a-t-il un impact ?
Lorsqu'une politique est conceptualisée ou qu'un programme est établi, son objectif principal est souvent d’engendrer une certaine incidence sur le domaine socio-économique ou environnemental dans lequel la politique ou le projet est mis en œuvre. Si les politiques et les programmes ont souvent de nombreux impacts perçus dans toute une série de domaines, en connaître l'impact réel peut être beaucoup plus compliqué. L'évaluation de ces impacts nécessite une réflexion préalable ainsi qu'une planification approfondie.
Quels sont les impacts des PDR ?
Les impacts du programme sont les effets de causalité à moyen et/ou long terme d'une intervention sur la zone du programme. L'évaluation de ces impacts par les évaluateurs joue un rôle essentiel dans les évaluations soumises dans les rapports annuels sur la mise en œuvre (RAMO) en 2019 et l'évaluation ex post en 2024. Les impacts du programme sont liés aux objectifs plus larges du programme/politique. S’agissant des PDR, les impacts concernent spécifiquement les trois objectifs communs de la PAC : une production alimentaire viable, une gestion durable des ressources naturelles et un développement territorial équilibré. Les évaluateurs évaluent les impacts des programmes (intentionnels et non intentionnels) exprimés en termes « nets », ce qui est obtenu en excluant tous les effets qui ne peuvent être attribués à l'intervention des programmes. Les impacts nets comprennent :
- les effets directs sur les bénéficiaires concernés par une intervention (à titre d’exemple, le revenu, la productivité du travail) ;
- les effets indirects sur les bénéficiaires du programme (à titre d’exemple, l’effet de levier et l’effet d’aubaine);
- d’autres effets indirects, qui vont au-delà d’une incidence pour les bénéficiaires directs de l'intervention publique (c'est-à-dire qui se propagent dans l'ensemble de l'économie, de la société ou de l'environnement sur les non-bénéficiaires et les autres parties prenantes, qui n'ont pas été définis comme les premiers bénéficiaires, tels que les ménages, les détaillants et les consommateurs).
Le schéma ci-dessous illustre les différents types d'effets des programmes de développement rural et la manière dont ils produisent des effets nets.
Les impacts nets totaux sont généralement plus répandus que les effets nets directs, qui ne comprennent que les effets directs sur les bénéficiaires. Les indicateurs communs d'impact de la PAC (voir le tableau ci-dessous) fournissent la base sur laquelle évaluer les impacts des PDR . Dans le cas d'objectifs globaux spécifiques au programme, des indicateurs d'impact spécifiques au programme peuvent également être utilisés.
Par où commencer une évaluation des impacts des PDR ?
Les réalisations et l'impact des politiques sur les zones rurales sont d'abord évalués au niveau des programmes de développement rural. À cette fin, les évaluateurs vérifient dans quelle mesure les objectifs politiques ont été atteints et si les effets attendus (et non attendus) se sont matérialisés grâce aux programmes financés.
Les impacts d'une seule intervention politique ne peuvent toutefois pas être directement observés. Des facteurs intermédiaires provenant d'autres interventions peuvent rendre difficile le décryptage de l'attribution d'impacts spécifiques. Les impacts réels du PDR sont estimés en comparant les résultats du PDR observés avec les résultats qui se produiraient dans une situation sans le PDR. C'est ce qu'on appelle l'analyse contrefactuelle, qui permet d'attribuer au programme les changements observés dans les résultats (causalité).
Les approches d'évaluation comprenant l'évaluation de la situation contrefactuelle nécessitent généralement des données solides et une évaluation quantitative et/ou qualitative avancée. Les données doivent être accessibles dans un format approprié, être de qualité suffisante, être chronologiques et permettre à l'évaluateur d'établir les données de référence pour les groupes participants et non participants. De manière générale, il existe un large éventail d'approches et de méthodes d'évaluation afin de déterminer quels sont les impacts d'un PDR. Un examen attentif des données disponibles et de leur qualité devrait être le point de départ avant de prendre une décision en ce qui concerne l'approche et les méthodes d'évaluation à adopter.
Si l'on dispose de données pour les bénéficiaires et les non-bénéficiaires, les approches d'évaluation quantitative sont considérées comme le choix idéal et devraient être priorisées. Toutefois, ces approches exigent également des compétences et des capacités spécifiques dont les évaluateurs ont besoin et des ressources suffisantes doivent être consacrées à l'évaluation si l'on veut qu'elles soient menées à bien.
Si aucun groupe de comparaison ne peut être établi, des méthodes qualitatives devraient être envisagées pour évaluer les impacts des PDR. La méthode d'évaluation de l'impact des programmes et des projets (MAPP) constitue un exemple de méthode qui facilite la collecte d'informations auprès des bénéficiaires et des non-bénéficiaires nécessaires pour mener une analyse contrefactuelle qualitative.
Si possible, les méthodes qualitatives ne devraient pas remplacer une évaluation quantitative, mais doivent être utilisées en complément de l'analyse quantitative pour trianguler et valider davantage les résultats. Avec des méthodes qualitatives, il peut être plus facile de recueillir des informations à jour et de fournir une optique différente, qui expliquent aussi les raisons pour lesquelles certains impacts se produisent.
Choisir les approches d'évaluation qui peuvent produire les preuves les plus solides pour juger de façon réaliste les impacts et les réalisations du PDR afin de répondre aux questions évaluatives communes dans le contexte des RAMO ou de l'évaluation ex post.
La dernière réforme de la PAC a engendré un basculement du soutien politique du produit vers le soutien aux producteurs et a mis davantage l'accent sur une approche par zone. En outre, pour répondre aux défis économiques (une baisse des taux de croissance de la productivité, une pression sur les coûts de production en raison des prix élevés des intrants et une détérioration de la position des agriculteurs dans la chaîne d'approvisionnement alimentaire), la PAC actuelle vise à améliorer la production alimentaire viable par un ensemble d'instruments adaptés des piliers I et II. Les instruments du deuxième pilier de la PAC contribuent notamment à la compétitivité du secteur agricole dans le cadre d'une chaîne d'approvisionnement qui fonctionne correctement à long terme. Le chapitre 7 du rapport annuel de mise en œuvre, qui doit être présenté en 2019, exige des États membres qu'ils montrent, sous forme de valeurs nettes, les réalisations et les impacts des interventions du deuxième pilier de la PAC sur la compétitivité du secteur agricole.
Que faut-il évaluer ?
Trois indicateurs communs d'impact et les réponses aux questions évaluatives sont liés à l'objectif de l’Union européenne s’agissant d'une production alimentaire viable (QEC 27).
Comment les impacts sont-ils évalués ?
Des approches quantitatives sont recommandées dans les lignes directrices : Évaluer les réalisations et les impacts du PRD en 2019 et peuvent servir à calculer et compenser les valeurs de ces trois indicateurs communs d'impact.
Le Helpdesk Évaluation fournit d'autres orientations dans les lignes directrices : Évaluer les réalisations et les impacts du PRD en 2019 sur le choix les différentes approches afin d'évaluer les impacts du deuxième pilier de la PAC sur la compétitivité de l'agriculture.
L'Union européenne est depuis longtemps un ardent défenseur de la prévention des changements climatiques dangereux et s'est engagée, tant au niveau international qu'au sein de l'Union, à lutter contre ces effets néfastes et à montrer l'exemple sur la scène mondiale. C'est la raison pour laquelle une politique vigoureuse a été mise en place afin de répondre spécifiquement aux défis environnementaux posés par la production accrue d'émissions de GES et d'ammoniac provenant de l'agriculture intensive et par le déclin de la biodiversité et la dégradation des paysages. La PAC vise à assurer la gestion durable des ressources naturelles et à contribuer aux actions en faveur du climat par le biais d'un certain nombre d'instruments relevant des piliers I et II de la PAC, et les États membres sont tenus de démontrer leurs réalisations et leur impact sur la gestion durable des ressources naturelles et les actions en faveur du climat pendant toute la période de programmation.
Que faut-il évaluer ?
Sept indicateurs communs d'impact permettent d'évaluer l'impact des politiques de l'UE sur l'utilisation des ressources naturelles et les actions climatiques :
Comment les impacts sont-ils évalués ?
En fonction de la situation des données, des approches d'évaluation très différentes pour le calcul et la compensation des valeurs des indicateurs communs d'impact liés à l'environnement peuvent être applicables.
Deux approches quantitatives différentes sont recommandées dans les lignes directrices : Évaluer les réalisations et les impacts du PRD en 2019 et peuvent être utilisées pour calculer et compenser les valeurs de ces sept indicateurs communs d'impact.
Pourquoi évalue-t-on les impacts de la PAC sur le développement territorial équilibré des économies et des communautés rurales ?
Les zones rurales de l'UE sont actuellement confrontées à plusieurs défis sociaux, tels que le vieillissement, le dépeuplement et le déclin de l'accès aux services de santé, d'éducation et sociaux. Un secteur agricole compétitif et dynamique reste une force motrice essentielle de l'économie rurale dans une grande partie de l'UE. C'est surtout le cas dans les zones rurales où le secteur primaire représente environ 5% de la valeur ajoutée et 16% de l'emploi. En outre, la diversification économique du secteur agricole et des communautés rurales devient un facteur important de création d'emplois et de revenus dans les zones rurales. Cette diversification est particulièrement pertinente lorsqu'elle est associée à la transformation des aliments, au tourisme, au commerce et à l'encouragement des personnes (y compris les jeunes) à y vivre et à y travailler. Une économie fondée sur la connaissance soutenue par des groupes d'action locale (GAL), qui conduit à des innovations, peut soutenir davantage ce processus. La PAC vise à assurer un développement territorial équilibré des zones rurales par la mise en œuvre de programmes de développement rural (PDR). Les États membres sont tenus de démontrer les réalisations du PDR et son impact socio-économique sur les économies et les communautés rurales ainsi que le maintien et l'amélioration de l'emploi rural tout au long de la période de programmation.
Que faut-il évaluer ?
Trois indicateurs communs d'impact doivent être utilisés afin d’évaluer l'impact des politiques de l'UE sur le développement territorial équilibré des économies et des communautés rurales, y compris la création et le maintien d'emplois.
Afin de déterminer quelle est l'approche d'évaluation la plus appropriée pour l’évaluation des réalisations et des impacts du PRD dans votre contexte, veuillez consulter « l’outil interactif pour la prise de décision : données pour l’évaluation des réalisations et des impacts des PDR » du Helpdesk.
Pour en savoir plus sur l'évaluation des impacts du PRD, consultez la bibliothèque électronique du Helpdesk. Pour plus d'informations sur les fiches d'indicateurs d'impact, cliquez ici ou cliquez ici.
Pour plus d’informations sur les indicateurs, veuillez consulter le tableau de bord interactif de la DG AGRI sur la PAC, récemment mis à jour avec les données 2017.
