Analyse des conditions à l’utilisation de l’ évaluation réaliste par des équipes de promotion de la santé : résultats d’une étude de cas multiples en région bruxelloise (Belgique)

Abstract

Introduction :

L’évaluation réaliste est de plus en plus plébiscitée dans le champ de la promotion de la santé. Pourtant, cette démarche d’évaluation est encore très peu utilisée par, ou même avec, des équipes de terrain, ce qui vient limiter sa portée pour les pratiques de terrain. Notre étude propose d’explorer les conditions favorables à la pratique de l’évaluation réaliste par des équipes de promotion de la santé.

Méthodes :

Cette étude s’inscrit dans le cadre d’une étude de cas multiples impliquant une chercheuse et quatre équipes de promotion de la santé en Région de Bruxelles-Capitale. Des données qualitatives ont été collectées tout au long de l’expérimentation de l’évaluation réaliste de projets de promotion de la santé avec les quatre équipes bruxelloises.

Résultats :

Nos résultats montrent l’intérêt de l’évaluation réaliste pour orienter les pratiques évaluatives des acteurs de terrain vers des pratiques favorables à la réflexivité. Ils montrent aussi les difficultés rencontrées et les ressources sur lesquelles s’appuyer pour les surmonter. Quatre conditions sont ainsi mises en évidence pour mener une évaluation réaliste de manière participative et capacitante.

Conclusion :

Notre étude encourage à envisager de nouveaux repères pour une pratique pragmatique de l’évaluation réaliste dans le champ de la promotion de la santé, axée sur la participation et la capacitation des parties prenantes.

Introduction

L’évaluation réaliste (ER) (1) fait partie des « nouvelles » approches qui séduisent le champ de la promotion de la santé (PS) par leur capacité à produire des preuves d’efficacité contextualisées et présentant un potentiel de transférabilité (2,3). L’ER envisage la causalité comme la rencontre entre les ressources créées par l’intervention et certaines caractéristiques du contexte, qui va amener (ou non) à actionner un ou plusieurs mécanismes chez les individus, collectivités, environnements, qui produiront à leur tour des effets. Un moyen heuristique est à ce titre utilisé pour étudier cette causalité qui consiste à formuler des hypothèses de fonctionnement en termes de configurations Contexte-Mécanisme-Effet (CME) (1). L’ER « ouvre » la question de l’efficacité des interventions complexes en questionnant « Comment fonctionne l’intervention ? Pourquoi ? Dans quelles circonstances ? Pour qui ? » plutôt qu’en constatant seulement des effets. De nature à favoriser la réflexivité, l’ER se démarque de celles privilégiées par les pouvoirs publics, souvent guidés par des besoins de redevabilité (4).

L’ER suit une démarche de cycle guidé par la théorie de programme (1). Dans l’ouvrage de référence de Ray Pawson et Nick Tilley (1), les auteurs identifient quatre étapes au cycle d’une ER. La première est d’expliciter le raisonnement de fonctionnement sur lequel repose l’intervention, soit sa théorie de programme. Cette théorie initiale est, lors d’une deuxième étape, formulée en configurations CME hypothétiques qui seront investiguées empiriquement par une collecte et une analyse de données (troisième étape). Les conclusions de cette investigation amènent lors d’une quatrième étape à réviser et consolider la théorie du programme, qui peut alors faire l’objet d’un nouveau cycle d’évaluation (1).

En Région de Bruxelles-Capitale (Belgique), l’ER a suscité l’intérêt des personnes en charge du développement d’un Plan quinquennal de Promotion de la Santé (ci-après nommé Plan) (5), entré en application en 2018. Ce Plan, qui définissait les orientations stratégiques et les objectifs régionaux de PS, invitait les organisations à se saisir de l’ER pour l’évaluation des projets financés. Ce choix, de la part du décideur, était motivé par le constat que les pratiques évaluatives des acteurs sont le plus souvent axées sur une mesure des livrables, qui fournit des informations peu utiles au développement des programmes. En présentant l’ER comme une approche à privilégier, le décideur souhaitait ainsi encourager l’analyse réflexive dans les pratiques évaluatives.

L’approche connait effectivement un intérêt grandissant mais gagnerait, selon certains, à être utilisée en impliquant davantage les parties prenantes (2,6,7). Bien qu’un nombre croissant d’ER impliquant des parties prenantes est constaté, celles-ci sont impliquées à des degrés relativement limités (8). Les aspects sous-jacents à la pratique de l’ER par des parties prenantes, tels que leur capacité à mener une ER ou les bénéfices qu’elles peuvent en tirer (9,10), font d’ailleurs l’objet de peu de discussions dans la littérature. La participation des parties prenantes et leur capacitation étant des principes centraux dans les programmes de PS, y compris pour l’évaluation de ceux-ci, ces questions nous intéressent particulièrement. D’autant plus que plusieurs difficultés à l’opérationnalisation de l’ER sont soulignées (11,12) et peuvent contraindre l’utilisation de l’approche par des parties prenantes (13).

L’inscription de l’ER dans le Plan, impliquant l’utilisation de l’ER par des équipes de PS, alors même que l’approche est, encore à ce jour, principalement utilisée en contexte scientifique et rarement de manière participative et capacitante, interpelle et constitue le point de départ de notre étude. Notre objectif est dès lors d’explorer ce que l’application de l’ER par des équipes de PS vient interroger et d’en tirer argument pour énoncer des conditions favorables à la pratique de l’ER par des équipes de PS.

Méthodologie

Notre étude vise à produire des connaissances qui émanent de l’exploration d’une intervention créée dans ce but et s’inscrivant dans le cadre d’une étude de cas multiples. Notre démarche se veut rompre avec une position de « sachant » dans le chef du chercheur, pour lui assigner un rôle de facilitateur dans le cadre d’une recherche capacitante, menée avec et pour des personnes qui en sont totalement parties prenantes (14).

Intervention

L’intervention de la chercheuse visait à accompagner des équipes à l’ER d’un de leurs projets de PS, en restant au plus près du contexte de chaque équipe. L’accompagnement reposait sur une démarche capacitante et participative, dans le cadre d’une approche pragmatique de l’ER dont les principes pouvaient être adaptés suivant les possibilités et limites du contexte d’expérimentation, plutôt qu’être appliqués strictement. Ainsi, en pratique, le sens et l’utilité perçue de la démarche pour les équipes primaient sur le respect strict des principes de la démarche théorique. En dehors de l’opportunité pour les équipes de disposer des résultats de l’évaluation (réaliste) de leur projet, un des bénéfices de leur participation à la recherche était, plus largement, d’augmenter leur capacité à évaluer de manière réflexive. L’accompagnement se déroulait au sein des locaux de chaque équipe participante à raison d’une réunion de travail par mois avec la chercheuse, ci-après nommée chercheuse accompagnatrice (CA), entre octobre 2018 et juillet 2020. En guise de formation à l’ER, les équipes ont suivi un module de deux heures construit à partir d’une synthèse écrite (15) des principes théoriques de l’ER, mise à la disposition des équipes.

Étude de cas multiples

Dès lors que l’application de l’ER est étroitement liée au contexte dans lequel elle se déroule, nous avons opté pour une méthode par étude de cas multiples en raison de sa capacité à explorer en profondeur un phénomène dans différents contextes de manière à produire une analyse détaillée et nuancée de données variées, favorisant ainsi la transférabilité des conclusions à d’autres contextes (16). En juillet 2018, un appel a été lancé aux organisations ayant obtenu un financement du Plan auquel huit organisations ont répondu en proposant un de leurs projets pour expérimenter l’ER. L’analyse des candidatures s’est faite en deux temps par un groupe de chercheurs ¹ : d’abord par l’application de critères de diversité des projets proposés, et ensuite par l’application de critères permettant d’apprécier la capacité de l’équipe candidate à s’engager dans la recherche (cf. matériel supplémentaire 1). Ce processus a permis de constituer un groupe de 4 équipes, chacune porteuse d’un projet de PS financé par le Plan, le plus diversifié possible. Issues d’associations sans but lucratif, ces équipes, de deux à cinq professionnels, mènent des programmes de PS aux objectifs variés. Une description de chaque équipe et des programmes est présentée dans le matériel supplémentaire 2. La diversification des cas d’étude a permis de favoriser la validité externe de nos résultats.

Matériau

Le matériau mobilisé pour l’analyse des résultats présentés ci-après provient de sources de données qualitatives multiples et collectées tout au long de l’étude auprès des quatre cas (cf. matériel supplémentaire 3) avec l’accord des équipes et du comité d’éthique :

• - Un total de 77 réunions de travail entre la CA et chaque équipe, dont 55 ont été enregistrées et retranscrites, et 49 ont fait l’objet d’un compte-rendu.

• - Un focus group, organisé en octobre 2019 soit à la moitié de l’étude, ayant rassemblé 9 représentants des 4 équipes participantes ainsi que la CA. Cette dernière y participait avec sa casquette d’accompagnatrice. Le focus group était animé par une autre chercheuse (D.D.).

• - Huitentretiens semi-directifs filmés ² en septembre 2020, soit à la clôture de la démarche, avec des membres des équipes participantes.

• - Le cahier de recherche de la CA.

Analyse

Nous avons commencé par repérer, pour chaque cas, le ou les objectifs de chaque réunion en fonction des quatre grandes étapes d’une ER et des étapes spécifiques à l’accompagnement.

Pour deux cas, la démarche d’expérimentation de l’ER s’est clôturée avant la fin. Le cas 3 a réorienté son objectif d’évaluation, impliquant la mobilisation d’un autre type d’évaluation que l’ER, pour être plus en phase avec les besoins d’évaluation du projet. Quant au cas 4, il a retiré sa participation au moment de la collecte des données en raison d’absences de longue durée au sein de l’équipe.

Ensuite, chaque étape a été documentée, ³ à l’aide du matériau, de manière à mettre en évidence ce que les principes de l’ER venaient interroger et les éléments du processus qui ont été soutenants pour toutes les équipes. Nous avons ensuite analysé les entretiens et le focus group afin de croiser nos analyses aux perceptions des participants.

La démarche d’analyse a été réalisée en premier lieu par la CA, dans le cadre d’une démarche réflexive tout au long du projet, soutenue par une relecture approfondie de l’ensemble du matériau à la clôture de l’intervention. À mesure qu’ils émergeaient de cette analyse réflexive, les questionnements analytiques étaient régulièrement discutés avec les parties prenantes de la recherche et un comité d’accompagnement multidisciplinaire.

Résultats

L’analyse du matériau montre que l’utilisation de l’ER amène les acteurs à avoir une analyse réflexive sur leurs programmes, mais que les modalités dans lesquelles s’est déroulée la pratique de l’ER ont été déterminantes pour y parvenir.

C’est vrai qu’on fonctionne de manière assez intuitive au niveau de nos projets. Et de se poser des questions avec [la CA], ça nous permet, à la rigueur, de mieux savoir pourquoi on fait les choses. [. . .] Et donc de sortir de cet intuitif en explicite, ça je trouve que c'est intéressant. Mais tout seul . . . heu . . . non [rire] (Extrait focus group)

Nos analyses mettent ainsi en lumière quatre conditions favorables à la pratique de l’ER par des équipes de terrain et qui répondent à ce que l’application de l’ER est venue interroger chez toutes les équipes de PS participantes. Nos résultats sont donc présentés de manière à mettre en évidence les récurrences entre les quatre cas plutôt que leurs spécificités.

Soutenir et accompagner par le dialogue

Pour l’ensemble des cas, le soutien et l’accompagnement à l’ER se sont essentiellement matérialisés par le dialogue, entre la CA et les membres des équipes participantes, ainsi qu’entre les membres des équipes participantes. Le dialogue s’est par exemple avéré essentiel pour expliciter la théorie de programme initiale, lors de laquelle l’aide de la CA consistait à faciliter et susciter les échanges, et questionner certaines « évidences » relatives au fonctionnement du projet.

[. . .] d’avoir quelqu’un qui vient de l’extérieur et qui nous pose des questions que je qualifierais de naïves dans le sens positif du terme, des questions que l’on ne se pose plus ou des questions qui nous paraissent évidentes, ça nous force à reformuler, à mettre des mots dessus et à pouvoir s’ajuster en équipe : “toi, tu dirais cela ? Moi, je le dirais plutôt comme ça”. (Extrait entretien)

Soutenir par le dialogue impliquait aussi à la CA de créer un climat propice au dialogue, que les principes de l'ER ont pu parfois mettre en péril. L’étape d’explicitation de la théorie de programme initiale est ici aussi un bon exemple, car elle nécessitait un certain degré d’abstraction dans les discussions, d’autant plus lorsqu’il s’agissait d’adjoindre des théories existantes pour expliquer la causalité de la théorie de programme initiale. Le fait d’ajouter ces théories existantes demandait aux équipes de prendre davantage de hauteur et d’explorer des dimensions abstraites qui ont pu créer un inconfort chez certains participants. Les équipes avaient, en effet, parfois du mal à percevoir comment ces théories pouvaient les aider dans leur démarche évaluative. La CA n’a donc pas imposé l’utilisation de ces théories afin d’éviter un désengagement des équipes et d’impacter négativement la qualité du dialogue.

C’est très différent d’avoir un tiers qui ne connait pas forcément le projet, qui vient avec des questions, avec une méthode. [. . .] j’ai adoré la manière avec laquelle [tu, l’accompagnatrice] as été prudente, dans la manière d'arriver dans l’équipe, de prendre le temps d'écouter, de . . . enfin des grandes qualités d'adaptation à la réalité de [l’équipe]. Ça joue beaucoup aussi. (Extrait focus group)

En revanche, la construction des outils de collecte a permis de remettre du concret dans la démarche et de redynamiser les équipes, après les réflexions théoriques inhérentes à l’explicitation de la théorie de programme et la formulation des configurations CME.

Chacun ne joue pas avec la même aisance dans l’abstrait et [. . .] avec le temps, quand les choses deviennent plus claires c’est aussi parce qu’il y en a qui sont beaucoup plus à l'aise avec des choses beaucoup plus concrètes. (Extrait focus group)

Penser la rencontre entre les repères de l’ER et de la PS

L‘application de l’ER par des équipes œuvrant en référence au cadre de la PS a mis en évidence certaines tensions liées à la rencontre entre les repères de l’ER et ceux de la PS. L’étape de formulation des configurations CME illustre bien ces tensions. Cette étape s’est réalisée avec chaque équipe à l’aide d’un tableau mettant en relation les hypothétiques éléments de l’intervention, de contexte (externe à l’intervention), de mécanisme à l’œuvre pour expliquer un ou plusieurs effets. La notion de « mécanisme » a amené de la méfiance chez certaines personnes, qui associaient cette notion à un niveau individuel uniquement ne témoignant dès lors pas de la systémique des déterminants de la santé.

En promotion de la santé, on parle de déterminants sociaux [. . .] de la santé. Pas en termes d’adhésion, légitimité, sentiment d'appartenance. Ça peut être des déterminants, mais ce n’est vraiment pas sur ces leviers-là qu’on a l'habitude de réfléchir et sur lesquels on cherche à agir. Donc, je trouve qu'on est propulsé avec cette méthode [l’ER] dans des dimensions d’expériences sociales, qu’on mobilise assez peu en fait. (Extrait focus group)

La notion de « contexte » a, quant à elle, nécessité que les équipes se détachent d’une vision dichotomique : les freins d’un côté et les leviers de l’autre. Cette représentation du contexte était la plus naturelle pour les participants, mais était peu favorable à la formulation de CME.

Pour dépasser ces tensions, la CA a fait force de propositions de deux manières : (i) en proposant des configurations CME dont la pertinence était évaluée par chaque équipe au regard de leurs expériences de terrain, (ii) en ajustant leurs propositions d’éléments de contextes, de mécanismes et d’effets pour les traduire en configurations CME.

Adopter une approche de l’ER axée sur les apprentissages

Plusieurs opportunités ont permis aux équipes participantes d’apporter des adaptations à la mise en œuvre des projets pendant la démarche évaluative ; particulièrement lors de l’étape d’explicitation de la théorie de programme et de formulation des configurations CME.

[Recréé un échange eu avec son collègue après une réunion d’accompagnement :] «en fait . . . non, mais attend, on n'a pas du tout compris, faut qu’on fasse ça autrement et on va faire autrement pour les nouveaux.» Donc c’est aussi une évaluation où on n’attend pas [les conclusions de l’évaluation.] C’est un processus continu quoi. Ça c’est super chouette. (Extrait focus group)

Au-delà des révisions apportées au projet, les équipes ont aussi relevé l’importance des apprentissages tirés de l’accompagnement tant au niveau individuel, collectif qu’organisationnel. Ces apprentissages s’observent aussi au niveau de la capacité de l’équipe à mener des évaluations de projet.

Et donc, pour moi, c’est un réel enrichissement professionnel d’avoir participé à tout ce processus. (Extrait entretien)

Le fait d’avoir participé à cette démarche a permis de mieux éclairer notre plus-value, notre rôle en tant qu’acteur en promotion de la santé, de mieux comprendre les enjeux aussi dans lesquels l’asbl se situait. Et donc, cela a vraiment été très éclairant, tant pour l’équipe pilote qui a participé tous les mois aux réunions de ce projet que pour l’équipe en général. (Extrait entretien)

Et donc, cela a vraiment permis de développer nos compétences en évaluation au sein de l’équipe. (Extrait entretien)

Inscrire la démarche dans une politique publique axée sur une culture de la réflexivité

Avant de démarrer le cycle de l’ER, nous avons pris le temps de clarifier les raisons et les objectifs de l’évaluation. Ce travail a mis en évidence, au sein de chaque équipe, une grande variété de raisons à mener une évaluation. Néanmoins, l’enjeu que les résultats de l’évaluation permettent de valoriser le projet auprès de l’administration publique a été présenté comme une attente importante de la démarche d’évaluation par tous les cas.

Évaluer pourquoi ? Eh bien, il y a le rapport, le rendre des comptes, ce qui est une manière de faire. Et puis, il y a évaluer pour affiner, améliorer. [. . .] Et nous, c’est à ces deux niveaux-là. (Extrait réunion)

Nos analyses montrent que le processus itératif entre la définition de l’objectif d’évaluation et l’explicitation de la théorie de programme a permis d’avoir un questionnement évaluatif contextualisé et davantage aligné prioritairement aux besoins de développement de chaque projet. Cela a été rendu possible par la culture réflexive promue par l’administration publique et le Plan.

Discussion

Nos résultats montrent l’intérêt de l’ER pour orienter les pratiques évaluatives des acteurs de terrain vers des pratiques favorables à la réflexivité. Ils montrent aussi les difficultés que peuvent rencontrer des équipes de terrain dans la pratique de l’ER et les ressources sur lesquelles s’appuyer pour surmonter ces difficultés. Les résultats ont mis en évidence quatre conditions favorables pour la conduite d’ER avec des équipes de PS et dans une perspective capacitante.

Ces résultats sont les témoins de l’application de l’ER par quatre équipes de PS, mais sont cohérents avec la littérature existante comme nous le discutons ci-après.

Nos résultats montrent tout d’abord le rôle fondamental de la CA dans la pratique de l’ER par les équipes de terrain. Si son soutien technique à l’utilisation de l’ER était profitable pour pleinement éprouver la contribution épistémologique et méthodologique de l’ER, en réalité, c’est surtout le caractère social de son soutien qui a marqué. Telle une « amie critique » (17), son rôle était surtout de soutenir les équipes à prendre de la hauteur par rapport au projet à l’aide de questions naïves, voire provocatives, et d’une approche narrative (storytelling). Les conditions dans lesquelles se déroule le dialogue entre les différentes parties prenantes jouent un rôle fondamental dans les effets qu’il est capable de générer (10,18). Ainsi, le dialogue devient, s’il se déroule dans des conditions favorables, déterminant pour que la démarche profite à toutes les parties (19) et pour éviter les écueils d’une approche évaluative déconnectée du projet et exempte de réflexivité (20).

Dans le champ de la PS, les interventions tout comme leur évaluation se fondent d’ailleurs sur des principes de participation et de capacitation (21), incitant dès lors à ne pas négliger les conditions d’émergence du dialogue dans la pratique de l’ER pour profiter de ses bienfaits, tant pour les résultats de l’évaluation que pour l’expérience des parties prenantes. À ce titre, nos résultats illustrent des situations où la CA privilégiait le dialogue en faisant des compromis sur la démarche de l’ER, par exemple sur l’utilisation de théories explicatives existantes.

Notre recherche montre également que la rencontre entre les dimensions épistémologiques et méthodologiques de l’ER et celles des repères de PS peuvent créer des tensions.

Dans notre étude, les acteurs comprenaient, par exemple, le contexte comme des caractéristiques qui interagissent avec l’intervention et participent à l’explication des effets. Pourtant, ils tendent à avoir une vision relativement descriptive et statique du contexte quand il s’agit de l’intégrer à une réflexion sur la causalité. Un repère très présent dans les pratiques des participants consistait à présenter le contexte en deux colonnes : d’un côté les leviers et de l’autre les freins au succès de l’intervention. Un des problèmes à cette vision dichotomique est que ces éléments sont peu dynamiques et souvent mis sur un même pied d’égalité (22). Leur poids et leur rôle dans la survenue ou non des effets sont dès lors occultés, et le contexte de l’intervention paraît figé, ce qui ne favoriserait pas le développement de l’intervention (23). Cette ambivalence dans la notion de contexte – une compréhension dynamique, mais une application statique – s’observerait également dans certaines évaluations réalistes et revues réalistes même si l’heuristique CME a bien pour vocation d’analyser les interactions d’un programme avec son contexte (24). Ainsi, l’ER offrirait une porte de sortie à cette vision simplifiée de la réalité et remettrait de la cohérence entre le rôle reconnu du contexte dans les effets des programmes et l’utilisation qui en est faite dans les pratiques évaluatives.

Dans notre expérimentation, la notion de mécanisme est entrée en tension avec le principe des déterminants de la santé en raison de l’accent que la notion met sur des dimensions cognitives et psychologiques au détriment de « forces » se situant à d’autres niveaux du système, tels que les niveaux politique, organisationnel ou structurel. Cette tension a également été rapportée dans une revue de la littérature (6) et dans le chapitre (25) d’un ouvrage consacré à l’ER, qui propose quatre conceptions supplémentaires de la notion de mécanisme dans l’optique de couvrir les niveaux du système (25) : Powers and liabilities, forces, interactions, and feedback or feedforward processes. Ceci suggère d’étendre la notion de mécanisme pour éviter d’induire davantage une orientation sur les facteurs psychosociaux (26).

Dans notre recherche, l’ER a été envisagée comme une approche au service du développement des projets. Le processus évaluatif était donc intégré au projet et à son contexte plutôt que « greffé », ce qui a permis d’apporter des adaptations aux projets en cours d’évaluation, et non uniquement à la fin de l’évaluation. Autrement dit, la pression du résultat d’évaluation est mise en second plan au profit d’adaptations en cours d’évaluation, ce qui a été fort apprécié par les participants de notre étude. On préfèrera le terme « adaptation » au terme « amélioration », qui semble plus conforme à la nature complexe et changeante des systèmes dans lesquels les projets prennent vie (27). Cette stratégie fait écho à l’approche de l’évaluation développementale, proposée par Patton (27), et s’avère éclairante pour utiliser l’ER dans une démarche cohérente avec les principes de participation et de capacitation, au cœur des pratiques de PS.

Au-delà des apprentissages sur le projet, nos résultats suggèrent que l’utilisation de l’ER par des acteurs de terrain peut aussi représenter une opportunité pour améliorer la capacité organisationnelle à évaluer (28) qui, selon Lobo et al. (29), est encore peu considérée dans le champ de la PS. Le développement de la capacité organisationnelle à évaluer les « solutions » mises en œuvre a été mis en relation par plusieurs auteurs avec l’apprentissage organisationnel (30,31,32). En adoptant dans notre démarche une perspective socioculturelle de l’ER où les apprentissages se font en collectif et de manière interactive dans le milieu du travail, la démarche a le potentiel de promouvoir l’apprentissage organisationnel et l’innovation (33,34). Selon plusieurs auteurs (35,36,37), il serait d’ailleurs vital pour les organisations sans but lucratif d’innover et d’apprendre pour répondre de leurs activités auprès des financeurs, mais aussi auprès des populations. Dans le cas des organisations de PS, ajoutons à ces enjeux la nécessité pour les organisations du champ de la PS d’asseoir la légitimité des démarches de PS (38).

Finalement, cette étude découle d’une volonté politique de se doter d’outils d’évaluation axés sur la réflexivité, que ce soit pour avoir inscrit l’ER dans le Plan ou pour avoir soutenu et facilité la présente démarche de recherche qui témoigne de l’importance accordée à créer un terrain de dialogue entre politique, intervention et recherche. Les demandes d’évaluation par les pouvoirs publics tendent pourtant à être dominées par un modèle technocratique guidé par la mesure de la performance et de l’efficacité (39). Les politiques de PS ne font pas exception à cette tendance (40). Or, l’utilisation de l’ER vise à comprendre une efficacité circonstanciée et non une efficacité absolue. L’utilisation de l’ER comme outil d’évaluation d’une politique publique implique dès lors de dépasser la culture du contrôle des effets (ou la sanction de l’absence d’effets) au profit d’une culture de la réflexivité, par la compréhension systémique des effets.

Forces et limites

Par la singularité de la démarche, et de ses résultats, cet article offre une analyse et des réflexions non négligeables au regard de la littérature disponible. La méthode d’étude de cas implique que nos résultats restent en revanche circonscrits aux quatre cas investigués. Nous ne prétendons donc pas à l’exhaustivité des résultats ni à leur généralisation, néanmoins notre démarche méthodologique permet d’envisager une certaine transférabilité des résultats. Celle-ci peut être limitée par le fait que l’analyse du matériau a été réalisée par la CA uniquement, dans le cadre d’une démarche réflexive, bien qu’elle ait pu compter sur des échanges réguliers avec des équipes de terrain et de recherche. En outre, nous n'avons pas eu la possibilité d’explorer en profondeur les effets de l’utilisation de l'ER sur les équipes et organisations participantes, et les projets évalués. Cette question nous semble pourtant importante pour pleinement prendre la mesure d’une pratique de l’ER par des équipes de PS et pourrait être investiguée dans le cadre de futures recherches.

Conclusions

Dans cet article, nous avons présenté quatre conditions favorables à la pratique de l’ER par des équipes de terrain, et ce dans une approche qui se voulait capacitante pour ces dernières. Notre étude montre que l’ER permet d’ancrer les pratiques évaluatives des acteurs de terrain dans des démarches orientées vers la réflexivité, mais elle invite également à ne pas s’attacher à une forme de rigidité de l’ER alors que celle-ci gagnerait peut-être à s’associer à d’autres approches pour être plus contextualisée aux repères existants et à la capacité des acteurs de terrain. Notre étude contribue dès lors à définir les perspectives à donner à l’ER dans le champ de la PS sans en négliger les principes fondateurs, tels que la participation et la capacitation.

Supplemental Material

sj-docx-1-ped-10.1177_17579759241285588 – Supplemental material for Analyse des conditions à l’utilisation de l’évaluation réaliste par des équipes de promotion de la santé: résultats d’une étude de cas multiples en région bruxelloise (Belgique)

Supplemental material, sj-docx-1-ped-10.1177_17579759241285588 for Analyse des conditions à l’utilisation de l’évaluation réaliste par des équipes de promotion de la santé: résultats d’une étude de cas multiples en région bruxelloise (Belgique) by Ségolène Malengreaux, Dominique Doumont, Anne-Sophie Lambert and Isabelle Aujoulat in Global Health Promotion

Supplemental Material

sj-docx-2-ped-10.1177_17579759241285588 – Supplemental material for Analyse des conditions à l’utilisation de l’évaluation réaliste par des équipes de promotion de la santé: résultats d’une étude de cas multiples en région bruxelloise (Belgique)

Supplemental material, sj-docx-2-ped-10.1177_17579759241285588 for Analyse des conditions à l’utilisation de l’évaluation réaliste par des équipes de promotion de la santé: résultats d’une étude de cas multiples en région bruxelloise (Belgique) by Ségolène Malengreaux, Dominique Doumont, Anne-Sophie Lambert and Isabelle Aujoulat in Global Health Promotion

Supplemental Material

sj-docx-3-ped-10.1177_17579759241285588 – Supplemental material for Analyse des conditions à l’utilisation de l’évaluation réaliste par des équipes de promotion de la santé: résultats d’une étude de cas multiples en région bruxelloise (Belgique)

Supplemental material, sj-docx-3-ped-10.1177_17579759241285588 for Analyse des conditions à l’utilisation de l’évaluation réaliste par des équipes de promotion de la santé: résultats d’une étude de cas multiples en région bruxelloise (Belgique) by Ségolène Malengreaux, Dominique Doumont, Anne-Sophie Lambert and Isabelle Aujoulat in Global Health Promotion

Supplemental Material

sj-docx-4-ped-10.1177_17579759241285588 – Supplemental material for Analyse des conditions à l’utilisation de l’évaluation réaliste par des équipes de promotion de la santé: résultats d’une étude de cas multiples en région bruxelloise (Belgique)

Supplemental material, sj-docx-4-ped-10.1177_17579759241285588 for Analyse des conditions à l’utilisation de l’évaluation réaliste par des équipes de promotion de la santé: résultats d’une étude de cas multiples en région bruxelloise (Belgique) by Ségolène Malengreaux, Dominique Doumont, Anne-Sophie Lambert and Isabelle Aujoulat in Global Health Promotion