« Modernisation of Public Action » (MAP) was an initiative to make evaluation the main instrument of reform for public policies at State level in France: 80 evaluations were launched between 2012 and 2017. MAP is the late child of both « evaluation à la française » (a 1990s attempt to make evaluation a way to reinvent democracy) and RGPP (a policy review aimed at cost-cutting under President Sarkozy). We explain how this strange combination set the expectations for the MAP. We undertook a metaevaluation to assess the quality of the evaluations, which put a very high emphasis on use, but were initially lacking some basic features such as evaluation questions or an intervention logic. However they improved over time. Finally, using contribution analysis and Process Tracing, we subject 8 evaluation processes to 10 empirical tests to assess their use. We show the diversity of impact pathways leading to reform (or lack thereof), some of which are unexpected, stressing the importance of context and attitude of stakeholders in the impacts that can be expected.
BeachDPedersenRB (2013) Process-Tracing Methods: Foundations and Guidelines. Ann Arbor, MI: University of Michigan Press.
4.
BefaniBMayneJ (2014) Process tracing and contribution analysis: A combined approach to generative causal inference for impact evaluation. IDS Bulletin45(6): 17–36.
5.
BezesP (2009) Réinventer l’état. Paris: Presses Universitaires de France.
6.
BoissierP (2015) L’évolution des compétences et des métiers des corps d’inspection: l’exemple de l’inspection générale des affaires sociales. Revue Française D’Administration Publique155(3): 679–84.
7.
BondazM (2012) Bilan de la RGPP et conditions de réussite d’une nouvelle politique de réforme de l’État. La Documentation française: Paris.
8.
ChanutVParisYC (2003) Une évaluation à l’épreuve de son utilité sociale. Paris: La Documentation Française.
9.
CollierD (2011) Understanding process tracing. PS: Political Science & Politics44(4): 823–30.
10.
CooksyLCaracelliV (2009) Metaevaluation in practice. Journal of Multidisciplinary Evaluation6(11): 1–15.
11.
DelahaisTToulemondeJ (2012) Applying contribution analysis: Lessons from five years of practice. Evaluation18(3): 281–93.
12.
DelahaisTToulemondeJ (2017) Making rigorous causal claims in a real-life context: Has research contributed to sustainable forest management?Evaluation23(4): 370–88.
13.
DestaisNMarigeaudMBattestiJPet al. (2012) Cadrage méthodologique de l’évaluation des politiques publiques partenariales. Paris: La Documentation Française.
14.
Devaux-SpatarakisA (2014) La méthode expérimentale par assignation aléatoire: un instrument de recomposition de l’interaction entre sciences sociales et action publique en France?Bordeaux: Centre Émile Durkheim–Science Politique et Sociologie Comparatives.
15.
DuranP (2010) L’évaluation des politiques publiques: une résistible obligation. Revue Française Des Affaires Sociales1–2: 5–24.
16.
DuranPMonnierESmithA (1995) Evaluation à la française: Towards a new relationship between social science and public action. Evaluation1(1): 45–63.
17.
EpsteinR (2009) À quoi sert l’évaluation ? Les leçons de la politique de la ville. Tracés: 187–97.
18.
Euréval, European Commission, Directorate-General for the Information Society and Media (2011) Evaluating Legislation and Non-Spending Interventions in the Area of Information Society and Media. Luxembourg: EUR-OP.
19.
GélédanF (2012) Le management au secours de services publics ? Modernisation de l’État et régimes de domination à l’heure de la Révision générale des politiques publiques (RGPP) – 2007–2012. Siècles (35–36).
20.
HenryGTMarkM (2003) Beyond use: Understanding evaluation’s influence on attitudes and actions. American Journal of Evaluation24(3): 293–314.
21.
JacobS (2005) La volonté des acteurs et le poids des structures dans l’institutionnalisation de l’évaluation des politiques publiques. Revue Française de Science Politique55(5): 835–64.
22.
JacobSSpeerSFuruboJ-E (2015) The institutionalization of evaluation matters: Updating the International Atlas of Evaluation 10 years later. Evaluation21(1): 6–31.
23.
JohnsonKGreenseidLOToalSAet al. (2009) Research on evaluation use. American Journal of Evaluation30: 377–410.
24.
KesslerM-C (1986) Les grands corps de l’État. La Revue Administrative39(231): 221–8.
25.
KingJAPechmanEM (1984) Pinning a wave to the shore: Conceptualizing evaluation use in school systems. Educational Evaluation and Policy Analysis6(3): 241–51.
26.
KirkhartKE (2000) Reconceptualizing evaluation use: An integrated theory of influence. New Directions for Evaluation2000(88): 5–23.
27.
Lacouette-FougèreCLascoumesP (2013) Les scènes multiples de l’évaluation-les problèmes récurrents de son institutionnalisation. Paris: Sciencespo; LIEPP.
28.
Le ClaincheM (2013) La Modernisation de l’action publique (MAP) n’est pas la poursuite de la RGPP. Revue Française D’Administration Publique145(1): 203–8.
29.
LevitonLCHughesEFX (1981) Research on the utilization of evaluations. Evaluation Review5(4): 525–48.
30.
LloydRSchatzF (2015) Improving Quality: Current Evidence on What affects the Quality of Commissioned Evaluations. Brighton: Centre for Development Impact.
MatyjasikN (2010) L’évaluation des politiques publiques dans une France décentralisée. Institutions, marché et professionnels. Bordeaux: Université de Bordeaux; Université Montesquieu Bordeaux IV; Institut d’études politiques de Bordeaux; SPIRIT.
33.
MayneJ (2000) Addressing attribution through contribution analysis: Using performance measures sensibly. Canadian Journal of Program Evaluation16: 1–24.
34.
MayneJ (2012) Contribution analysis: Coming of age?Evaluation18(3): 270–80.
35.
MonnierEDuranP (1992) Le développement de l’évaluation en France. Nécessités techniques et exigences politiques. Revue Française de Science Politique42(2): 235–62.
36.
NiocheJ-P (1982) De l’évaluation à l’analyse des politiques publiques. Revue Française de Science Politique32(1): 32–61.
PicavetO (2015) Les caractéristiques des évaluations réalisées par les corps d’inspection dans le cadre de la Modernisation de l’action publique. Revue Française D’Administration Publique155(3): 713–22.
SpenlehauerV (2016) La (f) utilité gouvernementale de l’évaluation des politiques publiques, quelques leçons américaines et françaises. LIEPP working paper no. 49, March. Paris: Sciences Po.
42.
ToulemondeJ (2007) Appropriation des résultats de l’évaluation. In: GenardJ-LJacobSVaroneF (eds) L’évaluation des politiques au niveau régional. Brussels: Peter Lang, 131–42.
43.
WeissCH (1997) Theory-based evaluation: Past, present, and future. New Directions for Evaluation1997(76): 41–55.
44.
WeissCH (1999) The Interface between evaluation and public policy. Evaluation5(4): 468–86.
45.
YarbroughDBShulhaLMHopsonRKet al. (2010) The Program Evaluation Standards: A Guide for Evaluators and Evaluation Users, 3rd edn. Los Angeles, CA: SAGE.
