Une fois que l'on a compris ce qu'est l'évaluation, son rôle dans le cycle politique, et qui est concerné, vient la grande tâche de la réaliser !
Les évaluateurs sont face au défi redoutable de rassembler toutes les preuves et données disponibles, de les analyser, de les interpréter et enfin de communiquer leurs résultats. Mais par où commencer ?
Qu'est-ce qu'une méthodologie, d'ailleurs ?
Avant toute chose, nous devons définir ce qu'est une méthodologie d'évaluation. En bref, la méthodologie d'évaluation est un outil qui permet de mieux comprendre les étapes nécessaires à la réalisation d'une évaluation solide. Une méthodologie d'évaluation couvre la conceptualisation de l'évaluation et l'approche qui sera utilisée pour essayer de comprendre l'étendue du changement et les raisons pour lesquelles il s'est produit.
Démystifier l'animal mystérieux qu'est le « contrefactuel »
Comprendre ce que la politique a réalisé et pourquoi sont deux des principaux objectifs de cette tâche. La question suivante devrait toujours servir de point de départ à toute évaluation :
« Que se serait-il passé si l'intervention politique n'avait pas été introduite? »
Il n'est possible de répondre à cette question que par le biais d'une évaluation basée sur le contrefactuel. Alors, qu'est-ce donc que ce mystérieux « contrefactuel » ? Cela semble complexe, non ?
Pas d'inquiétude, comprendre le concept n'est pas si difficile. Une évaluation contrefactuelle est simplement l'évaluation de ce qu'aurait été la situation si l'intervention n'avait pas été introduite par rapport à celle de la situation actuelle avec l'intervention. L'absence d'intervention politique peut également être qualifiée de situation « policy-off ». En comparant ce scénario aux situations réelles, il est possible de déterminer les effets nets de l'intervention publique.[1]
Une évaluation contrefactuelle peut être appliquée pour déterminer et identifier les effets directs et indirects du programme ou de la politique :
- Les effets directs sont ceux qui affectent les bénéficiaires du programme de manière immédiate, en conséquence directe du soutien du programme.
- Les effets indirects sont des effets du programme diffusés dans l'économie, la société ou l'environnement, au-delà des effets directs sur les bénéficiaires de l'intervention publique.[2]
Divers outils peuvent servir à la construction d'une situation contrefactuelle : analyse de la variation des parts relatives, groupes de comparaison, simulations à l'aide de modèles économétriques, etc.
Au début (base de référence), la situation avec l'intervention politique et la situation contrefactuelle sont identiques. Si l'intervention a un effet, les deux divergent de plus en plus.[3]
Outils permettant de se téléporter dans une réalité parallèle
Alors, quels sont ces outils qui peuvent aider les évaluateurs à évaluer et à comprendre la politique et comment diffèrent-ils ?
Les évaluateurs doivent choisir le bon outil ou la bonne technique en fonction des informations et des données disponibles ainsi que des objectifs et des besoins de l'évaluation. Ces outils sont appelés méthodes d'évaluation et peuvent être répartis en différentes familles.
Les méthodes d'évaluation consistent généralement en des procédures et des protocoles qui assurent la systématisation et la cohérence de la manière dont les évaluations sont entreprises. Les méthodes peuvent se concentrer sur la collecte ou l'analyse d'informations et de données ; elles peuvent être quantitatives ou qualitatives ; et peuvent tenter de décrire, d'expliquer, de prédire ou d'informer des actions. Le choix des méthodes découle des questions d'évaluation posées et du mode d'enquête - causal, exploratoire, normatif, etc. Comprendre un large éventail de méthodes permet aux évaluateurs de choisir celle qui correspond à leurs besoins et à leur objectif.[4]
Diverses méthodes d'évaluation peuvent être utilisées dans une évaluation basée sur un contrefactuel, mais la fiabilité des résultats peut varier en fonction de celle qui est choisie.
Connaître les différentes familles de méthodes d'évaluation
Les deux grandes familles de méthodes d'évaluation sont les méthodes quantitatives et qualitatives.
La famille des chiffres
Il existe plusieurs façons de concevoir une évaluation à l'aide de méthodes quantitatives, chacune d'entre elles se distinguant principalement par la manière dont la situation « policy-off » est construite.
- La conception de l'évaluation expérimentale est considérée comme l'étalon-or des évaluations. Les expériences contrôlées randomisées, ou « conception expérimentale », consistent à sélectionner au hasard des groupes qui reçoivent un soutien (bénéficiaires) et un groupe de contrôle sélectionné au hasard qui n'en reçoit pas (non-bénéficiaires). Les plans expérimentaux ou randomisés sont généralement considérés comme les plus robustes des méthodologies d'évaluation. Cependant, la réalisation d'expériences sur le terrain pose plusieurs défis méthodologiques.
- La conception d'évaluation quasi-expérimentale est très similaire à une conception expérimentale ; mais il lui manque un élément clé : l'affectation aléatoire des groupes. Une question cruciale dans une évaluation basée sur une conception quasi-expérimentale est l'identification d'un groupe de bénéficiaires du programme et d'un groupe de non-bénéficiaires, statistiquement identiques sans le soutien du programme. Si les deux groupes sont identiques (ils ont les mêmes caractéristiques : taille, situation géographique, etc.), l'un d'eux participe au programme et l'autre non. Toute différence dans les produits doit alors être le résultat du programme.
- La conception d'évaluation non expérimentale peut servir lorsqu'il n'est pas possible d'identifier un groupe de contrôle approprié par l'application d'une méthode quasi-expérimentale. Dans cette conception, les bénéficiaires du programme sont comparés aux non-bénéficiaires en utilisant des méthodes statistiques ou qualitatives pour tenir compte des différences entre les deux groupes.
Les méthodes statistiques pouvant servir aux évaluations quantitatives sont diverses et peuvent inclure les suivantes : appariement par score de propension (PSM), appariement par score de propension généralisé (GPSM), différence en différence (DiD), conception de discontinuité de la régression (RDD), équilibre général calculable (CGE).[5]
- Estimations naïves : Dans cette approche, les groupes de comparaison sont généralement sélectionnés de manière arbitraire, ce qui conduit à des résultats quantitatifs statistiquement biaisés. Les évaluations utilisent parfois cette approche moins robuste, qui ne permet pas d'obtenir des connaissances aussi rigoureuses sur un programme spécifique, sur les effets directs et indirects, si elles ne disposent pas de suffisamment de données et de groupes de contrôle. Une estimation naïve implique l'application de méthodes fondées sur des preuves insuffisantes ou des enquêtes ad hoc auprès d'un groupe de bénéficiaires, avis d'agents administratifs, etc. Ces techniques sont le plus souvent inadaptées pour traiter de manière appropriée les questions généralement considérées comme cruciales dans tout cadre d'évaluation quantitative.
La famille basée sur la personne
Les méthodes d'évaluation qualitatives tendent à se concentrer moins sur les chiffres et plus sur les opinions et les points de vue des individus. À l'instar des méthodes quantitatives, les méthodes qualitatives sont de nature très diverse.
- Le groupe de discussion est une technique d'évaluation qualitative et participative qui permet à un groupe de parties prenantes soigneusement sélectionnées de discuter des résultats et des impacts des interventions politiques. Les groupes de discussion doivent être animés par un modérateur externe et inclure un éventail de personnes provenant de différents sous-groupes de parties prenantes (par ex. autorité de gestion, organisme de mise en œuvre, bénéficiaires, experts indépendants). Un groupe de discussion peut être répété séparément pour les bénéficiaires et les non-bénéficiaires et les résultats peuvent être comparés. Cette méthode d'évaluation peut prendre du temps et nécessite un modérateur ayant d'excellentes compétences de facilitation. Par rapport aux autres méthodes qualitatives, elle présente l'avantage de permettre une discussion approfondie, tandis que son principal inconvénient est souvent l'impossibilité d'attirer un éventail diversifié de parties prenantes.
- Les entretiens sont des conversations structurées, basées sur des questions et des réponses, entre l'évaluateur et une partie prenante sélectionnée de l'évaluation. Les entretiens peuvent également être menés de manière à respecter le principe contrefactuel (c'est-à-dire en ayant des entretiens avec des bénéficiaires et des non-bénéficiaires et en incluant des questions sur une situation hypothétique sans intervention politique). De même, un avantage de cette approche est la possibilité de recueillir des informations approfondies, mais ces informations peuvent souvent être biaisées par un haut degré de subjectivité. Pour que les entretiens soient fiables, l'échantillon de personnes interrogées doit être représentatif et les questions posées basées sur une recherche documentaire minutieuse.
- Approches fondées sur la théorie : La « théorie du changement », fréquemment appliquée dans les évaluations fondées sur la théorie, peut être définie comme une description détaillée d'un ensemble d'hypothèses qui explique à la fois les étapes menant à l'objectif à long terme et les liens entre les activités de la politique ou du programme et les produits obtenus à chaque étape. Cette approche d'évaluation part du principe que les programmes se basent sur une théorie explicite ou implicite sur le comment et le pourquoi du programme. Afin d'utiliser la « théorie du changement », les liens de causalité théoriques entre les interventions et leurs effets spécifiques, décrits par étapes, doivent être logiques et vérifiables empiriquement. Alors comment y parvenir ? Les évaluateurs doivent d'abord élaborer des hypothèses pouvant être testées par des comparaisons critiques. Cela repose sur l'expérience des parties prenantes quant à la manière dont ces types de programmes semblent fonctionner, tout en tenant compte des conclusions des recherches d'évaluation antérieures. En pratique, les évaluations basées sur la théorie cherchent à tester la théorie du programme en examinant si, comment ou pourquoi les politiques ou les programmes provoquent les résultats prévus ou observés. La vérification des théories peut se faire sur la base de données existantes ou nouvelles, tant quantitatives que qualitatives. Plusieurs techniques de collecte de données fréquemment utilisées peuvent être appliquées (par exemple les entretiens avec des informateurs clés, les groupes de discussion et les ateliers, ou les études de cas).
/file/30949_frmethods.png
Quand les familles convergent et se croisent
Les techniques quantitatives et qualitatives convergent parfois dans ce que l'on appelle des approches d'évaluation mixtes.
- Les enquêtes sont des méthodes qualitatives ou mixtes (qualitatives et quantitatives) appliquant une approche analytique déductive. Qu'est-ce que cela signifie ? Cela signifie que l'on considère que les informations recueillies auprès d'un échantillon représentatif dépeignent la réalité de la population totale, car la façon dont l'enquête et ses hypothèses sont conçues est construite à partir de la littérature (c'est-à-dire à partir de connaissances antérieures consolidées). Les enquêtes peuvent être menées auprès des bénéficiaires et des non-bénéficiaires et peuvent donc illustrer une situation contrefactuelle. Les enquêtes peuvent aussi couvrir un éventail potentiellement large de parties prenantes. Cela dit, elles sont souvent très gourmandes en ressources.
- Les études de cas peuvent fournir une image détaillée d'un exemple spécifique grâce à une analyse intensive de documents, de données statistiques, d'observations sur le terrain et d'entretiens. Elles permettent un examen détaillé des éléments réels en fonction des objectifs de l'évaluation. L'image fournie par une étude de cas est souvent plus fiable que les résultats d'autres outils dans le contexte de la rareté des données de base. Les études de cas fournissent un point de vue approfondi sur une situation ou un domaine spécifique. Malheureusement, cela signifie que leur portée limitée ne permet pas d'extrapoler à l'ensemble de la population.
/file/30951_frchallenges.png
