Abstract
Qu’est ce qui marche dans le soutien à la démocratie ? Les lacunes en matière de données probantes et d’exploitabilité et comment l’évaluation permet de les combler
Julia Leininger et Armin Schiller
La quantité de données probantes produites et utilisées a considérablement évolué dans le domaine de la coopération au développement au cours des dernières décennies. Lorsqu’il s’agit spécifiquement du domaine du soutien à la démocratie, les progrès en matière d’évaluation d’impact rigoureuse ont été moins significatifs dans ce domaine. La programmation systématique et fondée sur la connaissance est loin d’y être une réalité. Par rapport à d’autres domaines, les objectifs des interventions et les théories du changement supposées restent imprécis. En conséquence, l’évaluation et l’apprentissage sont difficiles, et les lacunes en matière de données probantes ainsi que l’échec de leur traduction en action sont particulièrement répandus. C’est particulièrement dramatique, car ce domaine appelle une attention accrue face au développement des autocraties dans le monde. Dans cet article, nous analysons les obstacles et les défis que rencontre l’évaluation d’impact, et nous débattons des lacunes existantes en matière de données probantes dans le soutien à la démocratie et des principaux obstacles qui affectent la production et une meilleure utilisation des données probantes. De plus, nous proposons une recherche d’accompagnement axée sur l’impact comme méthode d’évaluation. Du fait de ses caractéristiques spécifiques, marquées par une collaboration étroite avec les responsables de la mise en œuvre à toutes les étapes du projet et par la combinaison de méthodes quantitatives et qualitatives, cette méthode peut contribuer de manière significative à faire progresser le programme d’établissement des preuves dans ce domaine.
Mots clés: Aide à la démocratie, soutien à la démocratie, évaluation d’impact, utilisation des données probantes, pratique de l’évaluation, méthodes mixtes, développement autocraties
Une méthodologie pour l’exploration et l’évaluation de futurs alternatifs
Rick Davies, Tom Hobson, Lara Mani, et SJ Beard
La principale rencontre des évaluateurs avec les représentations du futur prend la forme des théories du changement, qui étudient la manière dont un programme fonctionnera pour atteindre un objectif souhaité, dans un contexte donné. Ces approches sont généralement centrées sur des futurs spécifiques à relativement court terme, qui sont à la fois souhaités et attendus. Mais même à court terme, la réalité comporte souvent des événements imprévisibles auxquels il faut réagir. D’autres façons de penser l’avenir peuvent être utiles et complémentaires, notamment celles développées par les praticiens de la prospective qui travaillent dans le domaine des études sur les futurs. Ils accordent davantage d’attention à une gamme d’avenirs possibles plutôt qu’à une perspective unique. Pour explorer de tels futurs on peut utiliser ParEvo.org, un processus en ligne qui permet l’exploration participative de futurs alternatifs. Cet article explique le fonctionnement de ParEvo, la théorie qui sous-tend sa conception et son utilisation à ce jour. L’accent est mis sur trois défis d’évaluation et sur les méthodes pour les relever : (a) optimiser la conception de l’exercice, (b) analyser les résultats immédiats et (c) identifier les impacts à long terme. Deux exercices entrepris en 2021-2022 par le Centre for the Study of Existential Risk (CSER) basé à Cambridge sont utilisés comme exemples illustratifs.
Mots clés: Evaluation, futurs, en ligne, ParEvo, participatif
Principes et méthodes pour promouvoir l’optimisation des ressources
John Gargani et Julian King
L’optimisation des ressources pose la question : « Qu’est-ce qu’une bonne utilisation des ressources ? » On répond souvent à cette question par une analyse économique étroite qui ne prend pas suffisamment en compte ce que différentes personnes considèrent comme une bonne utilisation. Nous suggérons de nouveaux principes et méthodes pour aider les évaluateurs à mieux répondre à la question. Premièrement, nous définissons l’optimisation des ressources, qui se situe à l’intersection de l’évaluation et de l’économie. Ensuite, nous plaidons en faveur d’une évaluation globale de l’optimisation des ressources que les évaluateurs peuvent réaliser avec les outils dont ils disposent déjà, comme les catégories. Nous introduisons trois principes qui renforcent la relation entre l’optimisation des ressources et l’évaluation: la valeur attachée à la notion d’optimisation dépend de la crédibilité des estimations; les choses n’ont pas de valeur, ce sont les gens qui accordent de la valeur aux choses; et les gens n’attachent pas la même valeur aux mêmes choses. Réunis, ces principes suggèrent que les évaluateurs devraient parvenir à des conclusions multiples, éventuellement contradictoires, qui illustrent différentes appréhensions de la valeur. Nous démontrons comment cela peut être réalisé en utilisant une catégorie relative à l’optimisation des ressources pour améliorer l’impact de l’allocation des ressources.
Le recours à la co-création pour affronter les défis du suivi et de l’évaluation – l’expérience du hackathon de l’évaluation en Afrique du Sud
Eleanor Hazell, Ian Goldman, Babette Rabie, Jennifer Norins, Takunda Chirau et Taruna Gupta
En 2021, l’Association sud-africaine de suivi et d’évaluation (SAMEA) a organisé un hackathon d’évaluation qui a engagé diverses parties prenantes dans des processus de co-création afin de développer des solutions pratiques pour résoudre les problèmes complexes auxquels est confronté le secteur du suivi et de l’évaluation. L’événement a stimulé une large appropriation et a permis à la SAMEA de coordonner l’énergie créative, l’engagement et les ressources de ses membres, du gouvernement et d’autres partenaires, ce qui ne lui aurait pas été possible autrement. L’article analyse la méthode de co-création adoptée pour le hackathon à travers quatre phases, à savoir le déclenchement, la conception/planification du processus, la co-conception et le développement et la mise en oeuvre/suivi. Une analyse inductive identifie huit éléments clés qui ont permis ou entravé l’obtention de résultats via le hackathon. Ces éléments comprennent le leadership, les parties prenantes, la préparation, la facilitation du processus, la valorisation par l’impact, le renforcement volontaire des capacités. Les leçons tirées du processus de co-création offrent des informations utiles pour les activités futures qui visent à apporter des réponses localisées et contextualisées aux problèmes d’évaluation.
Mots clés: Co-création, hackathon d’évaluation, co-développement, résolution de problème, société nationale d’évaluation
Une cartographie des causes à destination des évaluateurs
Steve Powell, James Copestake et Fiona Remnant
Les évaluateurs s’attachent à saisir l’impact des relations de causalité entre les phénomènes. Ils s’attachent également à saisir l’opinion des parties prenantes sur ces relations de causalité. La cartographie causale – la collecte, le codage et la visualisation d’assertions causales interconnectées – est largement utilisée depuis plusieurs décennies dans de nombreuses disciplines à cette fin. Elle rend explicite l’origine ou la source de telles assertions et fournit des outils pour collecter et traiter ce type de données et pour gérer leur double vie à la Janus: d’une part, fournir des informations sur ce que les gens pensent être la cause de quoi, et d’autre part, traiter cette information en vue de possibles jugements évaluatifs sur ce qui cause quoi. Les références spécifiques à la cartographie causale dans la littérature sur l’évaluation sont rares, ce que nous souhaitons corriger ici. En particulier, nous questionnons le dilemme de Janus en suggérant que les cartes causales ne peuvent être comprises ni comme la modélisation des croyances relatives aux chaines de causalité, ni comme la modélisation des chaines causales en soi, mais comme des systèmes de référence attestant ces enchainements.
Mots clés: Cartographie causale, chaines de causalité, codage, évaluation, recherche qualitative
Le cas étonnant de l’essai réaliste: oxymore méthodologique ou licorne ?
Steffen Bohni Nielsen, Sofie Østergaard Jaspers, et Sebastian Lemire
L’évaluation réaliste et les méthodes expérimentales sont toutes deux des approches d’évaluation bien établies. Au cours des dix dernières années, des essais réalistes –évaluations combinant délibérément évaluation réaliste et méthodes expérimentales – ont vu le jour. S’appuyant sur une revue complète des essais réalistes publiés, cet article examine dans quelle mesure et de quelle manière les essais réalistes se conforment aux normes de qualité des évaluations réalistes et des essais contrôlés randomisés et dans quelle mesure et de quelle manière les aspects réalistes et expérimentaux des essais réalistes sont intégrés. Nous n’avons identifié que quelques exemples répondant à des normes de qualité élevées applicables à la fois aux études expérimentales et réalistes et combinant les deux approches.
Mots clés: Essais contrôlés randomisés, évaluation réaliste, essais réalistes, recherche en évaluation, revue
Explorer les frontières entre les évaluateurs et les professionnels de sciences appliquées similaires
Dana Jayne Linnell et Bianca Montrosse-Moorhead
Cet article fait partie d’un projet plus vaste visant à examiner qui se considère comme un évaluateur et pourquoi, et aussi en quoi les évaluateurs diffèrent des non-évaluateurs. Pour cette publication, 40 professionnels effectuant un travail appliqué (par exemple, des évaluateurs, des chercheurs) ont participé à un entretien semi-structuré d’une heure qui comprenait des questions sur leur pratique appliquée et leur identité, ainsi que sur les similitudes et les différences perçues entre les évaluateurs et les professionnels de science appliquée similaires. Les questions de recherche étaient les suivantes : à quoi ressemble le parcours sur le terrain pour les évaluateurs et les professionnels similaires et comment décrivent-ils les similitudes et les différences entre les évaluateurs et d’autres professionnels similaires ? Les résultats ont montré que les évaluateurs et les non-évaluateurs ont des parcours sur le terrain qui leur sont propres. En outre, les évaluateurs et autres professionnels similaires décrivent les similitudes et les différences de la même manière, mais il existe également certaines idées fausses chez les professionnels similaires concernant les évaluateurs et l’évaluation. Cet article contribue à élargir le débat sur la professionnalisation de l’évaluation en aidant à comprendre la délimitation des compétences entre l’évaluation et d’autres domaines connexes.
Mots clés: Evaluateur, identité, recherche en évaluation
Quel rôle devons-nous jouer pour être des évaluateurs efficaces ? Une réflexion de praticiens
Callum Donaldson-Murdoch, Rebecca Adler et Dui Jasinghe
Même si on a beaucoup écrit sur les différents rôles que jouent les évaluateurs ou sur les nombreuses casquettes qu’ils doivent porter, il y a toujours un large débat sur le rôle qu’un évaluateur pourrait, devrait ou même doit obligatoirement jouer. Les évaluations sont souvent complexes et engagent une large gamme de rôles et de domaines d’expertise interdépendants, ce qui rend difficile la production d’une définition unique de l’évaluateur. De plus, on peut attendre de l’évaluateur qu’il modifie ses responsabilités et ses interventions tout au long des étapes d’une évaluation, et que son rôle évolue. En tant que praticiens, nous pensons qu’il est utile de contribuer à ce débat, en fournissant des points de vue fondés sur notre expérience personnelle et sur les informations collectées lors de la conférence 2022 de la Société Européenne d’Evaluation. Dans cet article, nous cherchons à décrire six caractéristiques de l’évaluateur que nous pensons être les plus déterminantes pour les rôles que nous jouons, et six rôles d’évaluateur qui illustrent le mieux l’impact d’une modification de ces caractéristiques.
Mots clés: Rôles de l’évaluateur, compétences des professionnels