Pourquoi « l'idéologie de l'évaluation » est-elle pernicieuse ?

ARTICLE

Paradoxe ? L'évaluation ampute d'emblée toutes les activités auxquelles elle s'attache !

Il est difficile d'obtenir des chiffres concernant le coût exact de l'évaluation, mais quand on s'y essaie les résultats sont surprenants. On constate qu'un petit hôpital psychiatrique de province y consacre déjà des sommes considérables. Dans un « Etat des prévisions et recettes en 2007 », on apprend qu'une « première visite de certification », qui a duré une semaine, a donné lieu à un versement de 15 540 euros à la Haute Autorité de Santé. « À ce coût s'ajoute le coût induit par la participation des personnels aux groupes d'évaluation des pratiques professionnelles et d'autoévaluation » : 11 groupes thématiques de travail et 10 autres groupes d'évaluation des pratiques professionnelles ! D'autres dépenses sont envisagées pour faire appel à « un organisme de formation dont les missions seront de mettre en oeuvre une visite à blanc et de nous soutenir dans l'élaboration de la synthèse finale ». Les 15 540 euros ne sont donc qu'une goutte d'eau dans ce processus complexe de préévaluation, d'évaluation à blanc, d'évaluation définitive, etc. Le tout devant être périodiquement répété. Mais cela n'est pas suffisant : décidément inquiète, la direction cherche à se prémunir, en faisant entrer dans l'hôpital un spécialiste de l'évaluation. Elle crée un poste de responsable qualité : ajoutons 68 478 euros l'an. Au moment où l'on supprime des milliers de postes de fonctionnaires, il est intéressant de savoir que les fonds ne manquent pas pour créer des évaluateurs. Dès lors, en 2007, le total des dépenses consacrées à l'évaluation par un petit hôpital se chiffre sans doute en centaines de milliers d'euros. Or elles restent minimes par rapport à celles engagées par de grosses structures hospitalières. Dans les universités, les enseignants constatent de même que chaque année les heures consacrées à l'évaluation se font plus nombreuses au détriment de l'enseignement et de la recherche. Le chiffrage des heures ainsi utilisées donnerait pour prix de l'évaluation une somme que nous n'imaginons peut-être même pas. Nous en avons cependant un indice particulièrement probant, mentionné dans un travail d'Eric Laurent [3]. Il rapporte qu'« on en arrive, dans le système le plus évalué du monde, les USA, à ce que les dépenses administratives d'évaluation absorbent près du tiers (31 %) des dépenses de santé » selon des études effectuées en 2003 par la Harvard Medical School et en 2004 par le Public Citizen Health Research Group.

Pourquoi le coût considérable de l'évaluation n'est-il jamais évalué lui-même par les évaluateurs ? Sans doute, nous y reviendrons, parce que ses avantages sont incommensurables, mais pas pour tous...

Fiabilité relative

Toute évaluation est relative, parce que dépendante d'un choix méthodologique. Or elle nous est aujourd'hui présentée comme objective, parée du prestige du chiffre, donc scientifique, dès lors non interrogeable. On passe sous silence que le modèle mathématique repose en aval sur un choix décisif, celui de chiffrer tel élément plutôt que tel autre, tandis qu'en amont se font d'autres choix, ceux qui opèrent dans l'interprétation des résultats. En matière d'évaluation de l'efficacité des psychothérapies, par exemple, il a été bien établi que les résultats obtenus sont très fortement corrélés à l'allégeance théorique des chercheurs qui ont engagé l'étude [4] : en ce domaine il est assez manifeste que le résultat souhaité détermine la méthodologie employée. Mesurer l'efficacité en référence à l'éradication d'un symptôme n'est pas du même ordre que de l'apprécier en rapport à l'amélioration générale du fonctionnement du sujet. La première mesure étant aisément chiffrable elle convient mieux aux modernes évaluateurs, tandis que la seconde nécessitant une appréciation qualitative est volontiers rejetée comme non scientifique. Cependant, la constatation faite dans le champ des psychothérapies est sans doute généralisable, car aucune méthodologie ne s'impose d'emblée pour un domaine considéré, l'évaluateur opère nécessairement un choix préalable déterminant. Quant à l'interprétation des résultats, quand ceux-ci ne conviennent pas, il est une méthode très employée, ce que les Anglo-Saxons nomment le file drawer effect. Quand les laboratoires pharmaceutiques constatent que, comparés à des placebos, certains médicaments antidépresseurs augmentent les passages à l'acte suicidaires, que font-ils ? Ils s'empressent de ne pas publier les études. Il a fallu la longue lutte de D. Healy pour qu'elles soient portées à la connaissance de tous [5].

Une crédibilité minimale de l'évaluation pourrait lui être accordée si les évaluateurs étaient reconnus comme particulièrement compétents dans le domaine envisagé. Or cela est rarement le cas. Il est fréquent que les évaluations soient menées par des individus peu embarrassés par leur manque de compétence dans la discipline considérée, le maniement du chiffre leur conférant une onction scientifique qui leur paraît une autorisation suffisante. Bien entendu, comme le constatait YC Zarka, ce sont rarement les meilleurs qui ont le goût et le temps de faire la police chez leurs collègues.

L'AERES cherche à réduire l'évaluation à un problème technique, ce qu'elle n'est que très secondairement, mais comment lui faire confiance alors qu'elle ne respecte pas même les exigences de ses propres protocoles ? Elle affirme que ses experts ne doivent pas avoir de « conflits d'intérêts » avec les évalués, or, en psychologie, la quasi-totalité des experts sont des cognitivistes, qui considèrent que seule la méthode expérimentale serait appropriée à leur science, de sorte que ceux qui prônent la méthode clinique sont mis à l'index et progressivement étouffés. Si les cliniciens expertisaient les cognitivistes, ces derniers crieraient à l'incompétence. Mais l'inverse ne leur paraît pas vrai au nom d'une conception naïve de la science [6]. En cautionnant cela, en psychologie, comme en d'autres domaines des sciences humaines, l'AERES se discrédite.

Le coût élevé de l'évaluation n'a pas manqué d'être discerné par les gestionnaires, de sorte qu'ils s'emploient à le réduire, en tentant de diminuer la chronophagie qu'elle réclame, la solution radicale mise en place consiste à procéder pour l'essentiel de manière quantitative. C'est pourquoi il apparaît de moins en moins nécessaire que ce soient les pairs qui fassent le travail, l'évaluation de demain sera confiée à la machine : le calcul du nombre de publications pondéré par l'impact factor de la revue donnera un chiffre auquel sera réduit l'évalué.

Depuis peu l'appréciation de la qualité des chercheurs est censée être devenue fiable : elle se mesure à l'impact factor. Plus un chercheur est cité dans les revues propres à sa discipline, plus celui-ci est positif. À l'extrême, la production d'une thèse peu crédible, mais faisant réagir la communauté scientifique, comme la « mémoire de l'eau » du Dr Benveniste, fera bénéficier son inventeur d'un meilleur impact factor qu'une thèse hautement novatrice, mais en rupture avec le savoir du moment. Rappelons qu'un texte qui a marqué notre temps, tel que l'Interprétation des rêves de Freud, a été très peu cité dans les années suivant sa parution ; il en fut vendu 228 exemplaires lors des deux premières années ; il fallut dix ans pour épuiser la première édition de 600 exemplaires [7]. Un travail probablement médiocre à l'aune de l'impact factor.

La vogue de la bibliométrie incite aujourd'hui la plupart des chercheurs à composer avec l'obtusion du chiffre en mettant en place des stratégies de contournement. Beaucoup d'articles ne consistent qu'en recueil de données statistiques, sur les paramètres les plus divers, qu'il est toujours possible de varier, dont l'intérêt théorique est souvent faible, mais d'une grande utilité pour multiplier les références aux collègues, afin que ceux-ci aient l'obligeance de rendre le même service. Dans certains champs, en particulier en sciences humaines, les effets de réseau produisent un conformisme intellectuel agressif, qui s'efforce d'étouffer les recherches divergentes.

La situation n'est pas meilleure dans le champ de la santé, quand les cliniciens s'avèrent contraints de rendre compte de leur pratique en cochant des cases référées à des systèmes diagnostiques qu'ils n'utilisent pas, parce qu'ils en récusent la pertinence, composés d'artefacts vides, mais qui leur sont imposés au principal mérite qu'ils se prêtent mieux à la statistique [8]. Faut-il préciser que le souci de rigueur n'est pas ce qui domine quand ils s'adonnent à ces tâches perçues comme inutiles. Au nom d'une évaluation qui se présente comme objective, certains sont invités à renier ce qu'ils font et à se déposséder du savoir auquel ils se réfèrent.

Qu'importe la manière dont sont retenues les données diagnostiques, qu'importe le calcul de l'impact factor, au terme l'évaluateur dispose d'un chiffre propre, net, scientifique, utilisable pour orienter la prise de décisions. Bien entendu, il arrive que ce chiffre ne convienne pas, mais les ressources méthodologiques ne manquent pas pour en obtenir un autre si nécessaire.

Bref, on ne peut que partager l'opinion du mathématicien Luc Miller, « le discours évaluationniste qui revendique l'objectivité parfaite est un délire, qui fait peser sur le chercheur un absolu fallacieux ». Qui plus est, ajoute-t-il, c'est une idée dangereuse « de penser qu'il puisse y avoir une évaluation automatique chiffrée, systématique, complètement objective, et qui vous appelle à participer à cette objectivité, alors que vous avez bien le droit de ne pas être comme les autres, d'avoir une pratique différente. Il y a dans la « culture de l'évaluation » le désir d'imposer des normes, d'humilier l'autre, de le faire céder sur son être. Vous avez des chercheurs passionnés à qui soudain on oppose des critères, des modes d'évaluation qui les dévalorisent à leurs propres yeux » [9].

Atteinte au lien social

L'évaluation est par essence ségrégative : elle produit des classements, elle y désigne les meilleurs, elle stigmatise implicitement les autres. Elle instaure une compétition permanente entre les institutions, les équipes, les chercheurs et les professionnels. Elle porte ainsi atteinte au lien social en constituant comme rivaux potentiels ceux qui auraient pu s'éprouver comme solidaires. Rien de mieux que l'évaluation pour miner la conscience syndicale. Elle produit une sélection darwinienne qui conduit par exemple vers la partition des universités entre pôles d'excellence scientifiques et collèges universitaires littéraires.

Le coût humain de l'évaluation est lourd : non seulement elle accroît les charges de travail de l'évalué, elle l'incite de surcroît à faire toujours plus, mais elle est fondamentalement suspicieuse à son égard. Les activités humaines ont toujours fait l'objet d'une évaluation spontanée, reposant a priori sur une confiance faite aux institutions et aux professionnels, l'évaluation méthodique commence par retirer cette confiance. Elle instaure une surveillance des évalués qui aspire à devenir toujours plus exigeante. Elle ne peut chercher à justifier sa foncière suspicion puisqu'elle est inhérente à son fonctionnement. Dans un récent ouvrage, Chris Lorenz, professeur d'histoire à Amsterdam, constate très justement que « les raisons pour lesquelles il ne faudrait pas faire confiance à l'autonomie professionnelle des universitaires et pour lesquelles il faudrait préférer le formalisme bureaucratique au professionalisme n'ont jamais été soumises à discussion : il s'agit simplement d'un présupposé intégré au discours néo-managérial et, comme tel, placé hors du domaine de la réflexion et de la critique » [10]. L'évaluation ne croit ni aux éthiques professionnelles, ni aux régulations institutionnelles, elle se méfie de l'humain. Selon Michel Saint-Jean, physicien, « l'évaluation quantitative est néfaste, car elle détruit la coopération entre chercheurs pour ne favoriser que des recherches mises en concurrence et cloisonnées pour être identifiables [...] La recherche publique, réclame la liberté intellectuelle, la confiance mutuelle, des laboratoires permettant des échanges fructueux entre chercheurs et une évaluation de leurs idées basée sur la confrontation intellectuelle, des organismes capables de dialoguer et de les accompagner. À la place, le pouvoir actuel a choisi de surveiller et punir. Alors que les potentialités sont immenses, il est à craindre que sous ces contraintes la science française ne s'étiole par épuisement, passivité ou soumission » [11].

Les évaluateurs prennent toujours la précaution de souligner qu'ils ne sont pas les décideurs, mais ils passent volontiers sous silence qu'ils sont nommés par ces derniers. En France, contrairement à d'autres pays, les conseils d'administration de l'ANR et de l'AERES ne sont pas indépendants, mais dominés par des représentants de l'État et des entreprises. Les évaluations produites sont censées délivrer des données objectives propres à éclairer la décision des politiques. Il arrive qu'elles ne répondent pas à leurs attentes.

Interprétation orientée des résultats

L'idéologie de l'évaluation gomme l'acte politique

Certes, les organismes chargés de l'évaluation sont parfois aptes à entendre certaines critiques méthodologiques, l'AERES par exemple ne ferait plus guère confiance à l'impact factor. Cependant, à l'encontre de ce que voudraient faire accroire ses tenants, l'évaluation n'est pas un problème technique. L'évaluation méthodique des services est une idéologie, au sens fort du terme, celui qui désigne une construction intellectuelle élaborée pour justifier l'ordre social existant, en voilant les intérêts matériels de certains pour les présenter comme les intérêts de tous.

Les activités humaines ont toujours été spontanément évaluées, et par ceux qui les font, et par ceux qui y recourent. La nouveauté de notre temps réside dans l'introduction d'une évaluation méthodique qui prétend incarner un absolu fallacieux. Il faut répéter que l'évaluation emporte avec elle une idéologie pernicieuse, parce qu'elle est extrêmement coûteuse d'un point de vue matériel et humain, parce qu'elle désorganise ce qu'elle prétend optimiser, parce que, contrairement à ses prétentions, elle n'est jamais totalement fiable, parce qu'elle fétichise le chiffre, réducteur du facteur humain, parce qu'elle porte atteinte au lien social, parce qu'elle gomme l'acte politique sur lequel elle repose. Pourquoi la prône-t-on malgré tout ? Parce qu'elle présente l'énorme avantage politique de faire consentir subrepticement ceux qui l'acceptent à la logique libérale de l'économie de marché. Certes, nous ne pouvons refuser d'entrer dans les mécanismes de l'évaluation, sauf à démissionner des lieux où elle se pratique, mais nous devons refuser d'adhérer à son idéologie, en ne nourrissant pas celle-ci, en ne rêvant pas d'une bonne évaluation, en rappelant sans cesse que le facteur humain excède le chiffre, en résistant pied à pied par la dénonciation de ses méfaits, et en la révélant pour ce qu'elle est en dernière analyse : un instrument de consentement à l'économie de marché.

Références

1. Matet JD. La dictature du consensus. Le Nouvel Âne. 2004 ;3 :8.
2. Miller JA. Arrêtons de noter tout le monde ! Journal du Dimanche du 10 février 2008.
3. Laurent E. Le trou noir des vanités. La Cause freudienne. Navarin. 2005 ;61 :11-18.
4. Luborsky L, Diguer L, Seligman DA, Rosenthal R, Krause ED, Johnson S et al. The researcher's own therapy allegiances : a « wild card » in comparisons of treatment efficacy. Clinical Psychology Science Practice. 1999. 6 :95-106.
5. Healy D. Let them eat Prozac. The Unhealthy Relationship between the Pharmaceutical Industry and Depression. New York : University Press ; 2004.
6. Maleval JC. L'unité de la psychologie a vécu ». Le Nouvel Âne. 2008 ;8 :50-1.
7. Jones E. La vie et l'oeuvre de Sigmund Freud. Paris : PUF ; 1958 (p 395).
8. Maleval JC. DSM, un manuel pour quelle science ? Raison présente. 2002 ;144 :37-55.
9. Miller L. Le discours évaluationniste qui revendique l'objectivité parfaite est un délire... Le Nouvel Àne. 2008 ;8 :63.
10. Lorenz C. L'économie de la connaissance, le nouveau management public et les politiques de l'enseignement supérieur dans l'Union européenne, In : Christophe Charles en Charles Soulié (red.), Les ravages de la « modernisation » universitaire en Europe. Paris : Syllepse ; 2007 (pp 33-53).
11. Saint-Jean M. Ceinturée, corsetée, flagellée, la science étouffée ! Sauvons la recherche. 10 Juin 2008. http ://www.sauvonslarecherche.fr/
12. Olié JP, Cuche H, Sechter D, Bougerol T. Les antidépresseurs, trop c'est trop ! Le Figaro du samedi 1^er / dimanche 2 mars 2008 (p 16).
13. Miller JA, Milner JC. Evaluation. Entretiens sur une machine d'imposture. Le Perreux : Agalma ; 2004 (pp 35-37).

Notes :

1. Ce texte reprend une intervention de Jean-Claude Maleval au forum sur l'évaluation qui s'est tenu à Rennes, en avril 2008, et rassemblait des chercheurs, des universitaires, des professionnels du médico-social et de la santé.
2. Un chef de service de secteur psychiatrique relate qu'une simple démarche d'autoévaluation, administrativement incontournable, a mobilisé le quart du personnel, pendant seize heures, à raison de huit réunions de deux heures, afin de remplir une grille référentielle préétablie, non adaptée à la psychiatrie [1].
3. Philosophe, directeur de recherches au CNRS. Intervention au « forum des psy » du 9 février 2008 à la Mutualité.
4. Le facteur d'impact d'une revue représente, pour une année donnée, le rapport entre le nombre de citations se référant à cette revue sur le nombre d'articles publiés par celle-ci, le calcul s'effectuant sur une période de référencement de deux ans. Pour donner une indication quant à la pertinence du chiffre obtenu, soulignons qu'une citation critique d'un article pèse le même poids qu'une citation élogieuse.