Auto-évaluation des associations et démarche qualité en FMC - Une expérience en région Rhône-Alpes

ARTICLE

La fédération Unaformec Rhône-Alpes regroupe plus d'une centaine d'associations locales qui produisent chaque année des milliers d'heures de formation médicale continue. À la suite des recommandations émises en 1998 par le Conseil national de formation médicale continue [1], il est apparu aux responsables régionaux qu'il était indispensable de "labelliser" ces actions de formations en proposant aux associations un cahier des charges commun. La "charte de qualité Unaformec Rhône-Alpes" est née en 2001, selon une procédure déjà mise en place en 1999 par le CRFMC d'Île-de-France [2]. La loi du 4 mars 2002 et le décret du 14 novembre 2003 sont venus renforcer cette conviction, indiquant que le cahier des charges des organismes de FMC comporte "l'acceptation du principe d'une évaluation externe du fonctionnement de l'organisme de formation et de la qualité des formations" [3, 4]. Cette action s'insère dans une démarche plus large destinée à améliorer la qualité de la FMC en Rhône-Alpes, avec, par exemple, la création d'un diplôme de formation de "cadres-formateurs" en partenariat avec l'université Claude Bernard Lyon 1 [5].

Méthode

La "charte" élaborée après plusieurs mois de débat interne à la fédération a reçu l'accord de son conseil d'administration et a été largement diffusée depuis 2003, non seulement auprès des associations mais aussi à titre individuel auprès des quelque 13 000 médecins généralistes et spécialistes de la région. Elle a été conçue sous une forme "minimaliste", afin de ne pas imposer de contraintes lourdes et pénalisantes aux associations locales, notamment dans leurs modalités de financement des actions ou leur partenariat éventuel avec l'industrie pharmaceutique. Elle définit d'une part des critères généraux concernant le fonctionnement des associations, d'autre part des critères spécifiques mis en oeuvre lors de chaque action de formation (tableau 1).

À partir de cette charte, nous avons construit une grille d'auto-évaluation (tableau 2) proposant 3 cotations pour chacun des 12 items. Elle a été testée et validée initialement par les membres du conseil d'administration auprès de leurs structures locales au cours de l'été 2003, puis diffusée à partir de janvier 2004 à l'ensemble des associations adhérentes.

Il est alors possible d'établir un score sur 24 points.

Il a été proposé aux responsables d'associations locales d'utiliser cette grille et de bien vouloir communiquer leurs remarques, propositions, éventuellement leurs réponses, au conseil d'administration de la fédération.

Résultats

Au total, 33 associations ont répondu sur les 128 associations contactées, soit 25,78 %. Le département du Rhône totalise à lui seul 13 retours, six autres départements ont répondu (Ardèche, Drôme, Haute Savoie, Isère, Loire, Savoie), seul l'Ain ne compte aucun retour.

Le score global moyen, ramené à une notation sur 20 pour des raisons de lisibilité, s'établit à 15,1, une seule association étant en dessous de 10. Les scores maxima sont obtenus dans le cadre des actions de formation professionnelle conventionnelle, probablement en raison des critères réglementaires rigoureux de ces actions. L'ensemble des données est résumé dans le tableau 3.

Les résultats par critères sont présentés dans le tableau 4.

En ce qui concerne les critères généraux de la charte de qualité, les quatre premiers ne posent aucun problème aux associations dont le rythme de travail en particulier est proche du critère retenu par la fédération. Le choix des sujets et le choix des experts respectent globalement les principes définis. Les associations qui ont répondu adhèrent et participent aux objectifs de la fédération.

Les critères spécifiques de qualité procédurale des actions de formation sont moins respectés :

Si l'on retrouve en bon rang les critères projet-type préalable et listes d'émargement (15,7/20), les attestations de présence ne sont pas systématiquement délivrées (13,9/20) et surtout les critères évaluation se trouvent largement distancés, l'évaluation de l'acquisition des connaissances obtenant un score moyen très faible (6,9/20)

Le score du critère général financement par l'industrie pharmaceutique atteint modestement 13,9/20, ce qui traduit bien la réalité de terrain : les associations fonctionnent encore largement avec des subventions de l'industrie. Ce financement semble cependant respecter l'indépendance du choix des sujets et des experts et obéir aux règles élémentaires de non-confusion des genres.

Discussion

Un outil d'auto-évaluation simple et compréhensible

La rédaction de la charte de qualité régionale puis sa déclinaison sous la forme d'une grille d'auto-évaluation ont soulevé diverses questions au sein même du conseil d'administration de la fédération : Comment faire accepter des critères communs à tous ? Leur application pratique est-elle possible ? Combien d'associations répondront volontairement à l'enquête ? Accepteront-elles de communiquer leur score... ? La réponse est dans cette enquête : 25 % des associations sollicitées ont répondu, certaines n'hésitant pas à communiquer des scores tout juste au dessus voire en dessous de la moyenne... L'outil proposé n'a pas posé de problème de compréhension ou d'interprétation. Il a permis de constater que les critères de qualité définis sont dans l'ensemble bien respectés par les structures qui ont répondu.

Le fait même de s'auto-évaluer va au-delà de l'outil

La plupart des grilles de réponses comportaient des commentaires. Les associations "répondantes" se sont interrogées au fur et à mesure sur la façon la plus rapide et la plus efficace d'améliorer le score obtenu. S'interroger sur ce qu'ont pensé les participants de l'action est par exemple assez peu fait (17 associations sur 33) mais plusieurs associations ont pris conscience que cela pouvait apporter quelque chose d'une manière très simple à mettre en oeuvre rapidement...

Les limites

Cette expérience ne concernait bien sûr que des volontaires, ce qui est la règle du mouvement associatif. Il n'y a eu aucun contrôle de la justesse des réponses. On peut surtout constater qu'il ne s'agit que d'une démarche de qualité concernant les procédures et non les résultats. Mais c'était une première étape nécessaire.

Le plus difficile reste l'évaluation de l'impact sur les pratiques

Certaines associations utilisent habituellement les pré- et post-tests d'acquisition des connaissances. La réalisation d'une évaluation à distance des modifications de pratiques reste l'exception (6 associations/33), probablement en raison de l'investissement matériel et horaire nécessaire. Il reste à construire des actions où formation et évaluation des pratiques se trouvent intimement mêlées, selon les critères définis par l'Anaes [6, 7]. Ce ne sera possible qu'avec des investissements financiers et des efforts particuliers.

Conclusion

Cette expérience en région Rhône-Alpes a permis de débuter de façon pragmatique une démarche de qualité en FMC au niveau des associations adhérant à la fédération Unaformec. "Critères, normes, référentiels, standards, sont les tout premiers ingrédients indispensables à toute démarche qualité. La première étape en est l'élaboration ou l'adoption d'un (ou plusieurs) indicateur(s) de qualité (charte, guide, référence...). La démarche qualité de la FMC s'inscrit dans un processus plus global : celui de la démarche qualité de l'ensemble du système de soins" [8]. Cette enquête a eu un prolongement "naturel" : depuis un an, la fédération régionale propose aux associations volontaires un audit sur site, fondé sur les critères de la charte de qualité et de sa grille d'auto-évaluation. Sept ont été réalisés à ce jour.

Références

1. Conseil national de la FMC. Les propositions du CNFMC libéral (10 janvier 1998). Sur http://psydoc-fr.broca.inserm.fr/formatio/CNFMC/CNFMC1.html
2. CRFMC Île-de-France. Charte de qualité des associations de FMC. CRFMC; Paris: 1999.
3. Loi n° 2002-303 du 4 mars 2002 relative aux droits des malades et à la qualité du système de santé.
4. Décret n° 2003-1077 du 14 novembre 2003 relatif aux conseils nationaux et au comité de coordination de la formation médicale continue prévus aux articles L. 4133-3 et L. 6155-2 du code de la santé publique.
5. Stagnara J, Boissel JP. Une Attestation d'Études Universitaires d'expertise et de pédagogie appliquées à la FMC. Médecine. 2005;1:93.
6. ANAES. Qualité des soins : revue à travers la littérature des outils et des critères utilisés en médecine ambulatoire (novembre 1999). Sur www.has-sante.fr
7. ANAES. Construction et utilisation des indicateurs dans le domaine de la santé : principes généraux (mai 2002). Sur www.has-sante.fr
8. Castanier JC. Démarche qualité en FMC. Présentation au cours de l'enseignement de l'AEU d'expertise et de pédagogie appliquées à la FMC. Université Claude Bernard. Lyon : 2004.

Ce travail a été réalisé dans le cadre de l'AEU d'expertise et de pédagogie appliquées à la FMC [5] durant l'année 2004-2005 à l'Université Claude Bernard Lyon 1 (directeurs d'enseignement : Jean-Pierre Boissel, Jean Stagnara).