Mesure de la performance: meilleure elle est, plus on en abuse

 

Beaucoup de gens attendent des études d’évaluation non pas de plaisants classements d’efficience, mais des conseils sur la manière d’améliorer celle de l’État. Or la conception même de ces études fait qu’il est ardu d’en déduire des consignes d’action, puisqu’elles cherchent généralement à mesurer l’inefficience, mais guère à l’expliquer. Les auteurs des études présentées ici argumentent donc à bon droit que l’efficience mesurée et leurs classements ne devraient pas être pris pour argent comptant; les mauvais scores indiquent seulement des problèmes qui mériteraient d’être approfondis. On relèvera, cependant, une conclusion de ces études: à part les réseaux d’approvisionnement, il ne semble pas exister d’avantages systématiques liés à la taille. L’étude de Kersten Kellermann révèle au contraire que les coûts par habitant croissent avec la taille des cantons, ce qui contredit une fois de plus les appels incessants aux fusions cantonales sous prétexte de parvenir à des économie d’échelle.

Faiblesses des analyses comparatives

À cause de la méthode employée, les études présentées ici souffrent en particulier des faiblesses suivantes, d’ailleurs souvent discutées par les auteurs eux-mêmes: 1. Toutes ne mesurent que l’efficacité relative: elles constatent uniquement si telle prestation est fournie à un prix supérieur à celui du fournisseur le meilleur marché, mais non si elle est fournie aussi bien qu’il serait effectivement possible de le faire. 2. La plupart des études se concentrent sur la mesure des inefficiences techniques, mais négligent celles qui touchent les allocations. À l’exception partielle de l’article de Mme Kellermann, elles ne demandent pas si la prestation est fournie à la bonne taille et dans sa composition correcte. 3. Les études se concentrent sur les aspects quantitatifs de la fourniture de prestations mais, faute de données, elles sont obligées d’en négliger les aspects qualitatifs. 4. Les résultats dépendent fortement de la méthode utilisée, ce que montre de façon frappante l’étude de Jürg Kuster et Hansrudolf Meier sur le ramassage du vieux papier. D’autre part, l’échantillon et la période d’étude choisis influencent le résultat, puisque l’étalon en dépend. 5. Toutes les études divisent sous une forme ou sous une autre les différences de coût en écarts «légitimes» (inducteurs de coût exogènes) ou «illégitimes» (inefficience). L'(in)efficience mesurée dépend donc de facteurs jugés légitimes. Si, par exemple, le revenu cantonal est considéré comme autorisant certaines différences dans les dépenses, le canton de Zoug ne peut pratiquement être que gagnant, car les revenus y sont si élevés qu’ils légitimeraient même des dépenses totalement absurdes. Un autre exemple est l’étude de Stephan Osterwald et Felix Walter sur les transports régionaux, où le nombre de passagers par km est considéré comme générateur légitime de coûts, bien que ce nombre ne soit naturellement pas exogène, mais fortement dépendant de l'(in)efficience de la prestation.  Cette énumération ne doit pas être prise pour une critique des études mentionnées, qui ne font que tirer ce qu’elles peuvent des données disponibles. Le problème est plutôt qu’à cause de leurs faiblesses, justement, il est facile d’abuser des études d’efficience dans les processus politiques.

Abus possibles

Beaucoup de gens croient que l’analyse comparative oblige les fournisseurs de prestations et les décideurs politiques à être plus efficients, car les mauvais scores leur seraient désagréables et les inciteraient à rechercher minutieusement toute possibilité d’amélioration. Or, cette idée n’est valable que dans de bonnes conditions; le risque est même beaucoup plus élevé que les études aient un effet contraire: 1. Même les études particulièrement bonnes et équilibrées n’ont que peu d’influence, parce que les fournisseurs de prestations y réagissent de façon totalement asymétrique. Dans les cantons et les communes qui obtiennent de bons scores, la pression en faveur de nouveaux progrès risque de diminuer. Quant aux décideurs qui ont engagé des fournisseurs mal notés, ils récusent les conclusions des études. Cela ne leur est pas difficile, étant donné que, comme il a été dit plus haut, ces travaux sont très faciles à critiquer. 2. Beaucoup d’études seront mauvaises et déséquilibrées. Dès que l’analyse comparative joue un certain rôle dans les processus politiques, elle est instrumentalisée par ceux qui en font l’objet et qui essaieront d’embellir leurs mauvaises prestations en présentant des analyses faussées. Conformément à la critique exprimée plus haut, il leur sera facile d’influencer les résultats.   Les résultats de ces études commandées sont peu convaincants, scientifiquement parlant. Il existe naturellement des méthodes pour juger de la qualité des analyses comparatives, par exemple en soumettant leurs résultats à des tests systématiques de robustesse. Cependant, on ne prouvera que des résultats sont effectivement peu robustes qu’en faisant varier un nombre suffisant de paramètres (méthode, échantillon, période d’étude, etc.). Tout cela n’empêchera, toutefois, pas les donneurs d’ordre de se justifier par des analyses partiales. Un de leurs atouts est que ces études ne sont pas bon marché. Les mandants sont donc la plupart du temps des services étatiques, alors que les groupements critiques vis-à-vis du gouvernement ou de l’administration n’ont que rarement les moyens de s’en payer. Un exemple de la manière dont ces études à caractère technique peuvent être dévoyées est donné par les analyses qualité/prix qui prétendent mesurer le rendement indirect de projets et de dépenses, c’est-à-dire leur effet supplémentaire sur l’économie. De telles études évaluent aujourd’hui toutes sortes de prestations étatiques à la demande des fournisseurs. Ainsi, le Département des affaires sociales de la ville de Zurich a fait démontrer que les crèches et l’aide sociale ont une utilité économique; d’autres services et groupes d’intérêts ont démontré l’utilité économique des transports publics, du trafic privé, des aéroports, de l’Euro 2008, du KKL de Lucerne, d’innombrables musées et institutions culturelles, etc. – la plupart du temps dans l’intention d’obtenir davantage de fonds publics. Pour aboutir au résultat désiré, il faut évidemment souvent des hypothèses échevelées, mais cela ne gêne guère les mandants. Il en va de même pour ces études qu’avec les avocats et les gardes du corps: ils vous rendent service, que vous ayez raison ou non.

La bonne méthode: de meilleures incitations pour les acteurs politiques

Les considérations ci-dessus permettent de supposer que le recours croissant aux analyses comparatives n’aide que peu les citoyens à mieux juger la fourniture des prestations étatiques. Ces études n’inciteront donc pas davantage les décideurs politiques à agir conformément à la volonté des électeurs. Pour améliorer l’efficience dans le secteur public, il n’y a donc qu’un moyen, à savoir renforcer les incitations qui encouragent les décideurs politiques à trancher dans l’intérêt des citoyens. À cet effet, il ne nous faut pas seulement une démocratie directe plus efficace (par exemple le référendum financier au niveau fédéral) et des institutions fédéralistes renforcées (par exemple une autonomie accrue des communes, avec davantage de responsabilité financière), mais surtout de nouveaux organes de contrôle indépendants, élus par le peuple, qui, comme les commissions communales de vérification des comptes, suivraient la politique aux niveaux cantonal et fédéral. De telles commissions ne décideraient elles-mêmes de rien, mais critiqueraient et évalueraient tout, et pourraient encore élaborer des contre-projets lors de votations populaires et parlementaires. Elles auraient aussi un intérêt bien supérieur aux décideurs politiques actuels et à l’administration à exploiter les analyses comparatives de façon non faussée, impartiale et vraiment instructive.