Gestion des données dans le cadre de l’évaluation

« Big Data, Small Data, Short Data, Long Data » ?

Lorsqu'il s'agit d'évaluation, les données constituent l'un des principaux éléments permettant souvent de déterminer si une évaluation est même possible ou non, mais les données semblent souvent être un sujet ennuyeux ou compliqué, de sorte que nous concentrons souvent notre attention uniquement sur la manière dont nous allons mettre en œuvre de grands programmes qui créent des emplois ou mieux préserver notre paysage et notre biodiversité. Mais comment évaluer les résultats et les impacts de ces grandes idées ? Nous avons besoin de données, voire de beaucoup de données. Même si cette tâche peut sembler décourageante, en se préparant correctement à l’avance, les États membres peuvent s'assurer qu'ils disposent des données nécessaires afin de déterminer s’ils atteignent véritablement les objectifs escomptés.


Les exigences légales de la période de programmation 2014-2020 soulignent la nécessité pour les États membres et les programmes de mettre en place des approches plus systématiques pour la collecte de données relatives à l'évaluation et la fourniture de données aux évaluateurs. Ces problèmes laissent à penser qu'une stratégie globale de gestion des données élaborée par les États membres et les programmes est nécessaire.  

Lorsque l'on conçoit des évaluations de programmes de développement rural (PDR) fondées sur des données probantes, il ne faut pas commencer par les détails techniques, mais d'abord évaluer l'objectif global de la gestion des données pour l'évaluation. La gestion des données pour les évaluations fondées sur des données probantes a pour objectif de démontrer les progrès, les réalisations, les résultats, les impacts, la pertinence, l'efficacité et le bon fonctionnement de la politique de développement rural de l'UE. Cela étant dit, on se rend rapidement compte que les évaluations sont à la fois des initiatives vitales et ambitieuses pour le processus d'élaboration des politiques. 

Les évaluations des PDR commencent par des questions évaluatives communes (30) portant sur des domaines prioritaires et horizontaux, auxquelles il convient de répondre à intervalles réguliers au cours de la période de programmation et qui doivent être communiquées aux institutions de l'UE pour répondre aux besoins en informations au niveau européen. Les réponses aux questions évaluatives sont fournies au moyen d'un ensemble d'indicateurs communs convenus entre la CE et les États membres. La liste d'indicateurs communs englobe différents types d'ensembles de données, qui sont liés à diverses sources de données.

  • Indicateurs de réalisation (26) tirés de la base de données des opérations sur les bénéficiaires.
  • Indicateurs de résultat (25), y compris les indicateurs complémentaires : collectés grâce à différentes sources de données telles que la base de données des opérations, les sources de données secondaires et les recherches sur le terrain effectuées par les évaluateurs.
  • Indicateurs cibles et indicateurs du cadre de performance : un sous-ensemble d'indicateurs de réalisation et de résultat, qui doivent être parfaitement adaptés et synchronisés avec les données opérationnelles.
  • Indicateurs de contexte (45) collectés à partir de statistiques régionales/nationales/européennes.
  • Indicateurs d'impact (16)  font partie des indicateurs de contexte et collectent des macro données (sur le territoire et le secteur). Les indicateurs d'impact sont mis à jour en même temps que les indicateurs de contexte. Toutefois, des indicateurs d'impact sont également utilisés dans l'évaluation du PDR.

/file/19848_frindicators_fr.jpg

Les séries complètes de questions évaluatives communes et les groupes d'indicateurs correspondants ont été conçues pour rendre compte de la vaste portée thématique des programmes de développement rural représentés par 18 domaines prioritaires et de nombreuses mesures clés. Ces indicateurs reflètent également l'importance accrue accordée à une approche axée sur les résultats pour les programmes utilisant des fonds de l'UE représentés par des indicateurs cibles, le cadre de performance et la nécessité d'isoler les effets spécifiques des programmes mesurés par les résultats et les indicateurs d'impact résultant d'autres facteurs déterminants.  

L'ensemble d'indicateurs communs est conçu pour répondre aux besoins en matière de rapports au niveau de l'UE (pour la CE, le Conseil et le Parlement européen), mais cet ensemble ne se prête pas à une évaluation complète au niveau national ou local. Par conséquent, les programmes doivent développer des éléments spécifiques au programme pour évaluer les aspects qui présentent un intérêt particulier pour les parties prenantes. La Commission européenne encourage les organismes du programme à mettre au point des indicateurs « supplémentaires » aux indicateurs communs chaque fois que ceux-ci ne permettent pas de répondre de manière satisfaisante et complète aux questions évaluatives. Une liste d'environ 20 à 30 sources de données agricoles, environnementales et sociales est nécessaire afin de répondre aux questions évaluatives communes en tenant compte des éléments spécifiques du programme. Il en résulte des besoins spécifiques en matière de données et une augmentation de la complexité des sources de données nécessaires à l'évaluation.

Le schéma montre comment les divers indicateurs correspondent aux objectifs à différents niveaux et d'où l'on peut tirer des données pour ces indicateurs.

/file/19849_frdata_logic_fr.jpg

Lors de l'élaboration d'une stratégie de gestion des données, il convient de tenir compte de certains aspects clés. Ce tableau ventile ces thèmes en thèmes transversaux qui ont trait à la gestion de toutes les données et examine ensuite certaines spécificités par thème.  

/file/19851_frdata_key_topics_fr.jpg

Cet exemple pratique peut nous éclairer sur la façon dont on pourrait envisager d'évaluer une question évaluative particulière liée à un domaine prioritaire particulier dans le cas présent (AF 2A).

/file/19852_frexample_2a_fr.jpg

Pour plus d'informations sur la gestion des données, veuillez consulter la bibliothèque électronique du Helpdesk.

Pour plus d’informations sur les indicateurs, veuillez consulter le tableau de bord interactif de la DG AGRI sur la PAC, récemment mis à jour avec les données 2017.