Évaluation des politiques publiques

En Europe^[pas clair], l’évaluation consiste généralement à analyser les résultats d’une intervention publique pour savoir si celle-ci a atteint les objectifs qui lui étaient assignés. Plus largement, l’évaluation vise à la construction d’un jugement sur la valeur de l’intervention publique qui se fonde sur « ses résultats, ses impacts et les besoins que cette intervention cherche à satisfaire »[1] et s’appuyant sur des données empiriques collectées et analysées spécifiquement à cet effet.

En France, un décret de 1990[2] précise : « évaluer une politique, c'est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d'atteindre les objectifs qui lui sont fixés ». Pour le « rapport Deleau » (1985), c'est aussi « reconnaître et mesurer ses effets propres » ; et donc l'ensemble des effets d'une politique, dans une vision précise mais également holistique en distinguant la part entre les effets dus à l'action publique et ceux dépendant d'autres facteurs (« exogènes »).

Lorsque l’évaluation est commanditée par une institution, elle répond généralement à des questions précises (par exemple, « Dans quels cas l’intervention X a-t-elle le mieux permis à des chômeurs de retrouver un emploi durable, et pourquoi ? »).

Les destinataires des conclusions et recommandations de l’évaluation sont principalement les autorités publiques, mais aussi les institutions démocratiques, leurs partenaires publics ou privés, la communauté scientifique ou plus généralement, les citoyens.

L’évaluation est dite « ex ante » si elle précède le début de l’intervention étudiée ; intermédiaire ou finale si elle se déroule pendant ou à la fin de l’intervention ; « ex post » lorsqu’elle est effectuée après l’arrêt de l’intervention évaluée.

Elle peut être faite en interne, réalisée par les responsables opérationnels de l’intervention évaluée (autoévaluation) ou par un service spécialisé en évaluation, ou encore confiée à des tiers, une autorité administrative indépendante ou une équipe de professionnels sous contrat.

Pour les commanditaires d’une évaluation, l’évaluation sert à :

• Connaître, décrire et mesurer (sans juger) la réalité d’un programme ou d’une intervention, sa réponse à un besoin, l’atteinte de ses objectifs et de ses effets ou le chemin qui reste à parcourir pour y arriver. C’est la finalité dite cognitive de l’évaluation. « Concrètement, il s’agit d’identifier si les groupes cibles visés par une politique en particulier ont effectivement modifié leurs comportements (impacts ?) et si, par là, la situation des bénéficiaires finaux, jugée initialement problématique, s’est réellement améliorée »[3] ;
• Juger : l’évaluation aide les responsables politiques à porter un jugement sur les réussites et échecs des interventions reposant sur des données empiriques et des critères explicites, ainsi qu’une analyse étayée (finalité normative) ;
• Améliorer et décider comment le faire : l’évaluation sert à alimenter la prise de décision, par exemple via la réorientation stratégique ou l’adaptation opérationnelle des politiques publiques (finalité instrumentale).

Toute démarche d’évaluation rigoureuse implique l'emploi d'une grille(le référentiel) conduisant à auditer, questionner et évaluer le processus concerné selon plusieurs angles de vue et une batterie de critères, parmi lesquels on retrouve le plus souvent :

• La pertinence : vérifier que les objectifs d’une intervention couvrent suffisamment les dimensions du problème qu’elle est censée régler.
• L’utilité : vérifier la justification de l’intervention eu égard non seulement aux effets attendus mais aussi aux autres effets (collatéraux) produits, notamment les effets négatifs éventuels.
• La cohérence interne : vérifier que les différents objectifs stratégiques et opérationnels d’un programme sont en relation logique les uns aux autres ; autrement dit qu’ils sont complémentaires et non redondants.
• La cohérence externe : vérifier que les objectifs d’une intervention correspondent ou contribuent à ceux des autres politiques de l’institution ou des autres institutions agissant sur le même territoire ou champs d'activité et ne sont pas à l’inverse en contradiction ou antagonistes.
• L’efficacité : vérifier que les effets attendus d’une intervention ont bien été produits grâce aux actions menées (et notamment n'ont pas été obtenus grâce à un heureux concours de circonstances ou à l'effet bénéfique de facteurs tiers non prévus et/ou non répétibles)
• L’efficience : vérifier que les effets obtenus l’ont été à un coût raisonnable, par exemple en comparaison d’autres types d’intervention.
• La durabilité : vérifier que les résultats obtenus ne sont pas des acquis fragiles ou rapidement périssables, mais vont au contraire durer suffisamment longtemps pour être considérés comme véritablement atteints par les bénéficiaires visés.
• La «capacitance» (une traduction de capacity building) : examiner si l'action menée a permis de faire progresser les capacités et les compétences des opérateurs qui y ont participé. Elle est particulièrement considérée pour les opérateurs locaux de politiques internationales.

Les référentiels sont multiples et dépendent des objets évalués. Ainsi, pour l’évaluation des politiques d’aide aux pays en développement, peuvent être utilisés comme celui de l'OCDE[4] ou celui de la Banque mondiale[5].

L’évaluation n’est pas la seule activité visant l’amélioration de la conception et de la gestion des politiques publiques : le contrôle de légalité et le contrôle de gestion sont des pratiques anciennes dans la sphère publique, tandis que depuis les années 1990, un certain nombre de pratiques issues de l’entreprise ont été adaptées à l’administration: analyse qualité, audit organisationnel, etc.

À la différence d’autres pratiques administratives telles que le contrôle de légalité et l’inspection qui se cantonnent à l’analyse des processus internes à l’institution, l’évaluation s’intéresse prioritairement aux conséquences externes des actions publiques, et cherche à déterminer les liens de causalité entre celles-ci et les changements socio-économiques.

L’évaluation n’émet pas de jugement sur la conformité d’une intervention à la loi ou aux pratiques de bonne gestion comptable, comme peuvent le faire en France la Cour des comptes ou un corps d’inspection. L’évaluation juge une intervention du point de vue des effets obtenus ou de la solution apportée aux problèmes socio-économiques.

Il faut enfin distinguer l’audit de performance et l’évaluation d’interventions publiques : la performance s’intéresse aux réalisations et aux conséquences directes et immédiates de l’intervention, les résultats (en quoi les radars routiers ont-ils entraîné une réduction de la vitesse des véhicules ?), quand l’évaluation se concentre sur les impacts de cette politique (en quoi les radars ont-ils permis une réduction du nombre de morts et de blessés à long terme ?).

L’évaluation se développe aux États-Unis au milieu du XX^e siècle. Ce sont les vastes programmes sociaux engagés par Lyndon B. Johnson pour éradiquer la pauvreté dans le cadre de sa politique de Grande Société qui servirent de premier champ d’expérimentation grandeur nature à l’évaluation.

Les chercheurs qui mettent alors en place des protocoles pour vérifier les résultats des programmes éducatifs, sanitaires et sociaux veulent substituer aux pratiques peu structurées de l’époque une approche formelle et scientifique de la conception de politiques publiques[6].

Un pionnier de cette approche formelle est le sociologue James S. Coleman, qui dirige en 1966 une étude statistique majeure autour de la ségrégation scolaire, l’ « Equality of Educational Opportunity ».

C’est à cette époque que se développent des évaluations dites expérimentales, qui se veulent semblables à la conduite de tests en laboratoire : les bénéficiaires, des écoliers par exemple, sont suivis sur le long terme et leur parcours comparé à celui de non-bénéficiaires. Si ces études ont le mérite de reposer sur une méthodologie rigoureuse, elles ne produisent des conclusions qu’au bout de plusieurs mois ou années, et se retrouvent vite en décalage avec le temps politique.

C’est en réaction à ce problème que, dans les années 1970 et 1980, l’évaluation sort de la communauté scientifique pour devenir un outil d’aide à la décision au service des autorités publiques : elle entre alors dans le cycle de vie des politiques publiques et devient, du moins théoriquement, une étape obligée pour améliorer une intervention.

C’est aussi à cette époque qu’émerge le concept de nouvelle gestion publique (New public management) qui prône l’application des pratiques du privé au public, en particulier pour améliorer le rapport coût-efficacité des politiques publiques. L’évaluation va alors être de plus en plus utilisée pour justifier de l’efficacité des politiques publiques, c’est-à-dire de leur capacité à atteindre les objectifs qu’elles s’étaient fixés.

Dans les années 1990 enfin, en parallèle à l’émergence de la société civile en tant qu’acteur du dispositif de négociation et de conception de l’action publique, l’évaluation s’ouvre à l’ensemble des partenaires puis plus largement des parties prenantes et devient, notamment en France, un outil de dialogue. Cette évolution peut être constatée de deux manières :

• Par l’attention grandissante apportée à cette époque au point de vue de l’ensemble des parties prenantes à une intervention publique ;
• Par l’ouverture progressive des comités de pilotage aux partenaires, institutionnels ou non, avec qui le jugement est coproduit.

C’est au début des années 1990 que la Commission européenne devient largement prescriptrice d’évaluation et la diffuse dans les États membres de l’Union, notamment en rendant obligatoire l’évaluation des programmes et projets bénéficiant d’un financement européen.

À la fin des années 1990, la Commission européenne développe un vaste corpus pédagogique adapté aux politiques publiques des pays européens et qui faisait défaut jusque-là[7]. Ce corpus est depuis régulièrement mis à jour, et la Commission européenne continue à fournir de nombreux guides et manuels sur l’évaluation des politiques publiques, disponibles en libre accès sur son site[8].

Depuis 2000, les Directions générales de la Commission européenne réalisent chaque année une centaine d’évaluations rétrospectives de programmes et y consacrent un budget moyen de 45 millions d’euros. Cet investissement correspond à une volonté soutenue d’utiliser l’évaluation pour « mieux éclairer la prise de décision », « améliorer la législation » et « se concentrer sur les résultats et la transparence »[9].

En 2010, la nouvelle Commission mise en place par M. Barroso a annoncé sa volonté de soumettre systématiquement les lois européennes à des évaluations, à l’instar de ce qui se fait pour les programmes opérationnels[10].

Note : une chronologie précise pour la période allant de 1945 à 2004 est disponible sur le site de la Documentation française[11].

En France, c’est la rationalisation des choix budgétaires (RCB), elle-même inspirée du planning programming budgeting system (PPBS) américain qui fait figure en 1968 de pionnière de la démarche évaluative. Dans cette approche, qui sera abandonnée au début des années 1980, une attention particulière est portée sur le rapport coût-efficacité de l’action publique par des estimations ex ante.

Dans les années 1970 et 1980, l’évaluation des politiques publiques reste essentiellement une affaire de chercheurs, même si en 1983 est créé l’Office parlementaire d'évaluation des choix scientifiques et technologiques.

Il faudra attendre la fin des années 1980 pour que l’État se saisisse de l’évaluation et en fasse un instrument de modernisation[12]. Le gouvernement Rocard préconise ainsi d'intégrer l’évaluation au cycle de mise en œuvre des politiques publiques. La même année, le projet de loi instituant le RMI inclut pour la première fois un « dispositif d’évaluation indépendante et régulière des actions d’insertion menées » (art. 37)[13], et un Conseil scientifique de l’évaluation (CSE), dont l’objectif est de soutenir l’évaluation interministérielle, est créé[14] (celui-ci sera remplacé en 1998 par un Conseil national de l’évaluation, avant d’être supprimé en 2008 au titre de la RGPP).

Dans les années suivantes, deux aiguillons vont soutenir la diffusion de l’évaluation au sein des services de l’État et dans les collectivités, notamment régionales :

• La Commission européenne renforce progressivement l’obligation pour les administrations nationales et régionales de réaliser l’évaluation des programmes et des projets qu’elle finance, notamment au titre des Fonds structurels.
• À la suite de cela, en 1993, l’État et les Régions développent l’évaluation des Contrats de plan État-Région pour la période 1994-1998, avant d’élargir cette exigence à toutes les contractualisations.

Ce contexte va rapidement faire des Conseils régionaux un des principaux acteurs de l’évaluation en France, y compris pour leurs propres interventions.

En 1999, la Société Française d’Évaluation est créée afin de structurer et promouvoir la professionnalisation de l’évaluation en France. La même année, le Parlement se dote d’une Mission d'évaluation et de contrôle (MEC), qui publie chaque année entre deux et quatre rapports sur des sujets tels que « la politique autoroutière » (le sujet du premier rapport d’information de la MEC), ou sous la législature en cours, le Musée du Louvre ou les pôles de compétitivité[15].

Le milieu des années 2000 a paru d'abord très favorable à l'évaluation au niveau de l'État, mais le bilan en est finalement mitigé, en comparaison du grand développement de cette pratique dans les collectivités locales.

D'abord, deux grands chantiers de modernisation de la dépense et de l'action publique, l'adoption de la Loi organique relative aux lois de finances (LOLF) et le lancement de la Révision générale des politiques publiques (RGPP) ont généralisé au sein de l'État la gestion par objectifs, et la nécessité de démontrer la raison d'être et l'efficacité de l'action publique.

Cependant, malgré la proximité apparente entre la démarche évaluative et la RGPP, l'évaluation y apparaît finalement très peu présente, d'une part parce que celle-ci « privilégie l'exploitation d'études, d'audits et d'évaluations déjà réalisés au lancement de collecte de données de grande ampleur », et d'autre part à cause de la priorité donnée à la diminution de la dépense budgétaire dans la démarche (traitée par audit), au détriment de réflexions plus profondes sur la nature des interventions de l'État[16].

Ensuite, un secrétariat d'État de la prospective et de l'évaluation des politiques publiques, avec à sa tête Éric Besson, est créé en 2007. Ce secrétariat est cependant supprimé en 2009.

En 2008, enfin, l’évaluation des politiques publiques entre dans la Constitution, dont l’article 24 indique « Le Parlement vote la loi. Il contrôle l'action du Gouvernement. Il évalue les politiques publiques ». L’article 51-2 réaffirme le rôle du Parlement dans l’évaluation des politiques menées par le gouvernement et lui permet de constituer des commissions d’enquête pour exercer ce rôle tandis que l’article 47-2 indique que la Cour des comptes assiste le Parlement et le gouvernement dans l’évaluation des politiques publiques[17]. Le Comité d’évaluation et de contrôle des politiques publiques de l’Assemblée nationale, nouvel organe de cette assemblée institué par la réforme de son Règlement, met depuis 2009 plus spécifiquement en œuvre la nouvelle mission dévolue au Parlement par l’article 24 de la Constitution révisée et s'intègre aux différents organes et offices de l'Assemblée nationale[18]^,[19].

Il s’agit d’une méthode qui vise à imiter, dans le champ des sciences humaines, les méthodes issues de la médecine ou plus généralement des sciences naturelles : la méthode expérimentale consiste à tester une hypothèse de causalité sur une population donnée, en comparant un groupe dit « expérimental » de bénéficiaires avec un groupe « de contrôle » de non-bénéficiaires rigoureusement identiques. La méthode requiert une affection aléatoire des personnes à l’un ou l’autre groupe de manière à éliminer les risques de biais d’échantillonnage.

La méthode expérimentale est souvent considérée comme la seule démarche scientifique de mesure des impacts car elle permet de s’affranchir de l’influence des facteurs contextuels qui affectent de la même manière les deux échantillons. C’est par exemple la méthode qui a été utilisée pour l’évaluation des expérimentations RSA[20].

La méthode expérimentale, cependant, n’est pas exempte de défauts, et n’est pas toujours applicable ni même souhaitable[21] :

• Le premier écueil réside dans l’acceptation sociale ou politique de l’affectation aléatoire : par exemple, limiter l’accès au RSA à certaines personnes, à caractéristiques égales, à la seule fin de disposer d’un groupe de contrôle a été mal perçu par les différentes parties prenantes.
• Particulièrement adaptée pour les projets simples, de faible ampleur ou les expérimentations, elle est en revanche difficilement applicable à l’évaluation de la plupart des programmes ou des lois en cours d’application : en effet il devient difficile dans le cas d’actions multiples de procéder à une affectation aléatoire.
• La méthode expérimentale vise à obtenir des conclusions généralisables, mais faute de pouvoir intégrer toutes les variables explicatives, internes ou externes, il est difficile, voire impossible, de généraliser les constats à l’ensemble de la population concernée. Cela est dû au manque d’informations disponibles sur les personnes, organisations ou territoires soumis aux expérimentations, d’une part, et d’autre part, à la complexité des situations réelles comparée à une expérimentation en laboratoire.

En réponse aux critiques mentionnées précédemment concernant la difficulté à monter un groupe de contrôle aléatoire, différents protocoles ont été développés qui s’appuient sur des groupes de comparaison statistiquement semblables, par exemple un groupe d’individus ou d’organisations non bénéficiaires de caractéristiques similaires sur le même territoire.

Ces méthodes partagent avec la méthode expérimentale deux caractéristiques majeures, la comparaison entre deux situations pour isoler un effet de l’intervention, et la logique consistant à attribuer l’effet observé à l’intervention.

Dans ces méthodes, la comparaison se fait généralement :

• « avant » et « après » l’intervention, en recourant à des données longitudinales. Le suivi de cohortes, par exemple, rentre dans cette catégorie ;
• « avec » et « sans » l’intervention, en comparant après coup deux territoires, populations ou organisations aux caractéristiques proches.

Il est aussi possible de recourir à des modèles économétriques pour simuler la situation « avec » et « sans ».

Ces méthodes offrent souvent un bon compromis entre validité et lourdeur du protocole, pour peu cependant que les données nécessaires puissent être rassemblées. Dans les faits, les données qui seraient les plus utiles pour étudier en détail les effets déjà observés sont rarement disponibles, car il aurait fallu les collecter dès le démarrage de l’intervention.

Or, un programme public ou une loi identifient rarement de façon explicite tous les effets qu’ils cherchent à obtenir, ainsi que les moyens pour y arriver. Par ailleurs, ils ont souvent des effets inattendus, ou les effets attendus sont obtenus d’une façon non prévue à l’avance. En conséquence, il est souvent difficile de définir a priori les indicateurs qui se révèleront utiles une fois l'intervention terminée.

En réalité, l'évaluation doit presque toujours traiter de politiques publiques trop compliquées pour que leurs effets soient analysés dans leur ensemble avec un simple contrefactuel :

• Lorsque la chaîne causale entre les actions mises en œuvre et les effets attendus est longue, ou lorsqu'il y a plusieurs chaînes causales (par exemple une politique visant à la prise en charge de la dépendance et à l'accompagnement des aidants) ;
• Lorsque le contexte joue très fortement dans l'atteinte des objectifs (par exemple la démographie pour une politique de soutien à la reprise-transmission d'entreprises) ;
• Lorsque les effets attendus ne sont pas mesurables avec un seul indicateur quantitatif (par exemple un effet d'amélioration durable des compétences d'un programme de formation des chômeurs) ;
• Lorsque les groupes cibles ou les modes de mise en œuvre sont multiples (par exemple un programme de rénovation urbaine qui combine des actions en direction des habitants, des jeunes, des chômeurs, des personnes âgées, des immigrés récents, etc. chacune avec des ambitions différentes).

Pour obtenir suffisamment d'éléments de preuve, il est ainsi généralement nécessaire de combiner plusieurs outils de structuration, de collecte et d’analyse pour aboutir, via un faisceau d’indices convergents, à une analyse valide des effets d’une intervention, et de la façon dont ces effets ont été obtenus. C'est pourquoi ces évaluations font généralement appel à un grand nombre d’outils de collecte et d’analyse des sciences sociales, en particulier les séries d’entretiens, les enquêtes, les études de cas et les entretiens de groupe. Elles peuvent néanmoins tout à fait intégrer des outils purement quantitatifs pour traiter d'hypothèses précises.

Dans les méthodes mixtes, l'analyse des impacts se fait généralement en rendant visibles, étape par étape, les hypothèses de causalité plus ou moins explicites qui lient les actions publiques à un ou plusieurs effets attendus, puis à vérifier dans les faits si ce qui était prévu s’est réalisé, et pourquoi. Cette méthode est appelée analyse basée sur la théorie[22] (ou theory-based evaluation), car elle permet d'estimer les impacts en testant scrupuleusement la théorie d'action de l'intervention. Des outils spécifiques sont utilisés pour reconstruire et tester cette logique, tels que le cadre logique, utilisé principalement pour l'évaluation des projets de développement, et le logigramme.

Comme pour les analyses d'attribution, il existe plusieurs méthodes « basées sur la théorie ». Ainsi, l'analyse dite de contribution repose sur une revue systématique de tous les éléments de preuve susceptibles d’infirmer ou de confirmer les hypothèses causales, jusqu’à obtenir un « récit de contribution » fidèle aux données recueillies[23].

• Évaluation environnementale
• LOLF
• Analyse coût avantage
• Observatoire parlementaire d'évaluation des politiques de santé (France)
• Révision générale des politiques publiques
• Mission d'évaluation des politiques publiques

• (fr) L'évaluation des politiques publiques, La documentation française
• (fr) La page évaluation du Secrétariat général de la Commission européenne
  • (en) la société européenne d'évaluation
  • (fr) la société française de l'évaluation
  • (fr) la société canadienne de l'évaluation
  • (fr) la société suisse de l'évaluation
  • (fr) la société wallonne de l'évaluation et de la prospective

Note : les ouvrages suivants sont disponibles en librairie.

• Perret, Bernard, L'évaluation des politiques publiques, Paris: Repères - La Découverte, 2008 (réédition).
• Braconnier, Patrice ; Cauquil, Guy ; Rocard, Michel.- L'évaluation des politiques publiques : le développement d'une nouvelle culture. Vienne : C.N.D.P., 2010. - 199p. n^o 13572.
• Bencivenga, Magali; Potier, Vincent - Évaluation des politiques locales, Guides juridiques Collectivités locales, Éditions Le Moniteur, 2005.
• D'Angelo, Mario; VESPERINI, Paul, Politiques culturelles en Europe: Méthode et pratique de l'évaluation, Strasbourg, Éditions du Conseil de l'Europe, 1999.

• Portail de l’économie
• Portail du droit
• Portail de la politique