Définir les éléments d'un système d'évaluation
Un système d'évaluation est composé de trois éléments fondamentaux : une logique d'intervention, des questions d'évaluation et des indicateurs.
/file/30496_frelements_fr.png
Logique d'intervention
Le plan de programme ou la logique d'intervention est le lien logique entre le problème à résoudre (ou l'objectif à atteindre), les facteurs sous-jacents de ce problème et les options politiques disponibles pour résoudre le problème ou atteindre l'objectif. La logique d'intervention sert de base aux évaluations.
Questions d'évaluation
Les questions d'évaluation définissent l'orientation des évaluations par rapport aux objectifs de la politique et aident à démontrer les progrès, l'impact, les réalisations, l'efficacité, l'efficience et la pertinence de la politique (par ex. « Dans quelle mesure les interventions du PDR ont-elles contribué à accroître l'efficacité de l'utilisation de l'eau par l’agriculture ? »). Les questions d'évaluation sont au cœur des évaluations.
Indicateurs
Un indicateur est un outil permettant de mesurer la réalisation d'un objectif (par ex. une ressource mobilisée, une réalisation accomplie ou un effet obtenu). Les indicateurs servent également à décrire le contexte (économique, social ou environnemental). Les informations fournies par un indicateur sont utilisées comme instrument de mesure. Les indicateurs sont des agrégats de données qui permettent la quantification (et la simplification) d'un phénomène. Les indicateurs sont les instruments de mesure permettant de recueillir des preuves pour toutes les évaluations.
Rassembler tous les éléments d'évaluation
Pour réaliser des évaluations, ces trois éléments doivent être alimentés par différentes approches, méthodes, données et informations d'évaluation.
Une approche d'évaluation est une manière de mener une évaluation. Cela recouvre la conceptualisation et la mise en œuvre pratique d'une évaluation afin de produire des preuves des effets des interventions et de leurs résultats. Les méthodes d'évaluation sont des familles de techniques et d'outils d'évaluation qui répondent à différents objectifs. Elles sont généralement constituées de procédures et de protocoles qui garantissent la systématisation et la cohérence de la manière dont chaque évaluation est effectuée. Les approches et les méthodes d'évaluation permettent d'attribuer les effets et les impacts à une intervention spécifique, ce qui aide les décideurs à comprendre la valeur réelle de chaque intervention.
Données, données, données
Les données sont des informations quantitatives sur des indicateurs ou des variables sélectionnés qui peuvent être collectées à partir de la source elle-même (par ex. par le biais d'une enquête, d'un suivi, de statistiques d'entités) ou secondairement à partir de sources préexistantes (études, statistiques agrégées, etc.). Les informations qualitatives peuvent également être recueillies pour fournir un contexte à l'évaluation et peuvent être collectées principalement auprès de diverses parties prenantes (gestionnaires de l'intervention, bénéficiaires, etc.) tout en utilisant diverses méthodes qualitatives ou mixtes (enquêtes, études de cas, groupes de discussion, entretiens, etc.). Les données et les informations constituent les preuves de l'évaluation.
Liens de cohérence dans un système d'évaluation
La figure suivante décrit les liens de cohérence entre la logique d'intervention et les autres éléments d'évaluation, les questions d'évaluation et les indicateurs. Ceux-ci doivent être décidés avant le début d'une évaluation.
/file/30497_frlinkages_fr.png
Les cases bleues indiquent la relation entre les besoins définis dans l'analyse SWOT et l'évaluation des besoins (formulés en tant qu'objectifs), les actions (mesures, activités, projets) soutenues par le budget qui seront entreprises pour atteindre ces objectifs et les effets escomptés. Ces cases bleues constituent la logique d'intervention. Les effets escomptés sont définis comme des réalisations, des résultats et des impacts :
- Les réalisations sont des actions financées et accomplies avec les fonds alloués à une intervention. Les réalisations peuvent se présenter sous la forme d'installations ou de travaux (par ex. construction d'une route, investissement agricole, hébergement touristique). Elles peuvent également se présenter sous la forme de services immatériels (par ex. formations, conseils, informations).
- Les résultats sont les avantages/désavantages directs que les bénéficiaires obtiennent à la fin de leur participation à une intervention publique ou dès qu'une installation financée par une intervention est terminée. Les résultats peuvent être observés lorsqu'un bénéficiaire ou un opérateur achève une action et rend compte de la manière dont les fonds alloués ont été dépensés et gérés. Cela peut prendre de nombreuses formes, par exemple, on peut signaler que l'accessibilité a été améliorée grâce à la construction d'une route, ou que les entreprises qui ont reçu des conseils se disent satisfaites. Il convient de contrôler régulièrement ces résultats. Les décideurs politiques peuvent adapter la mise en œuvre de l'intervention en fonction des résultats obtenus.
- Les impacts font généralement référence aux changements associés à une intervention particulière sur le long terme. Ces impacts peuvent se produire à différentes échelles de temps, toucher différents acteurs et être pertinents à différentes échelles (locale, régionale, nationale et européenne).
Les cases rouges sont des questions d'évaluation, qui sont généralement des questions de cause à effet demandant des effets nets et liées aux objectifs. Les questions d'évaluation peuvent être précisées par des critères de jugement qui définissent comment le succès doit être atteint pour chaque objectif (global et spécifique). Ils relient les objectifs aux indicateurs.
Les cases vertes sont des indicateurs, qui doivent être cohérents avec les critères de jugement ou les questions d'évaluation, ainsi qu'avec les effets escomptés (réalisations, résultats et impacts).
Plusieurs types d'indicateurs peuvent être utilisés :
- Les indicateurs de réalisation mesurent les activités directement réalisées dans le cadre du programme. Ces activités constituent la première étape vers la réalisation des objectifs opérationnels de l'intervention et sont mesurées en unités physiques ou monétaires (par ex. le nombre de sessions de formation organisées, le nombre d'exploitations agricoles bénéficiant d'un soutien à l'investissement, le volume total d'investissement).
- Les indicateurs de résultat mesurent les effets directs et immédiats de l'intervention. Ils peuvent informer sur les changements, par exemple dans le comportement, la capacité ou la performance des bénéficiaires directs, et sont mesurés en termes physiques ou monétaires (par ex. le nombre brut d'emplois créés, les résultats de formations réussies). Les indicateurs de résultats sont utilisés pour répondre aux objectifs spécifiques liés aux questions d'évaluation.
- Les indicateurs d’impact font référence aux résultats des interventions au-delà des effets immédiats. Les indicateurs d'impact sont normalement exprimés en termes « nets », ce qui est réalisé en soustrayant du total les effets qui ne peuvent être attribués à l'intervention elle-même et en tenant compte des effets indirects (par ex. la productivité totale des facteurs dans l'agriculture, les émissions provenant de l'agriculture, la qualité de l'eau, le degré de pauvreté rurale). Les indicateurs d'impact mesurent les effets du programme sur la zone dans laquelle ils sont mis en œuvre. Les indicateurs d'impact sont utilisés pour répondre aux questions d'évaluation liées aux objectifs généraux.
Des valeurs cibles sont souvent attribuées aux indicateurs. Ces cibles sont des valeurs établies sur la base des informations existantes, que les programmes tentent de réaliser afin d'atteindre les effets escomptés, les objectifs et les besoins.
La figure suivante montre un exemple des interconnexions de cohérence entre les différents éléments d'évaluation pour le cas hypothétique d'un programme politique conçu pour traiter le problème du changement climatique.
/file/30498_frdiagnostic_fr.png
