Les conditions pour en faire un levier de progrès
L’évaluation est indispensable à une démarche d’amélioration de la qualité et de prévention des risques efficace. Comment décider de ce qu’il faut changer, créer, supprimer sans examiner les pratiques, les modes de fonctionnement et leurs effets ? Comment savoir si les actions engagées produisent les bénéfices attendus sans évaluation des situations avant et après leur réalisation ? Enfin, comment maintenir ses efforts sans pouvoir en vérifier l’utilité pour atteindre les objectifs que l’on se fixe ? L’évaluation présente des intérêts multiples, mais son efficacité n’est pas automatique.
L’analyse présentée est synthétique et partielle. Elle s’appuie essentiellement sur des observations et des témoignages recueillis. Son niveau limité d’objectivation et de démonstration invite à la considérer comme un point de vue uniquement. Notre volonté n’est pas de remettre en cause la nécessité d’évaluer mais de partager une vision des conditions d’évaluation actuelles pour susciter la réflexion, le débat, sur les ajustements qui seraient bénéfiques. Le lecteur pressé pourra directement prendre connaissance des propositions formulées en conclusion.
1. Un périmètre limité qui ne couvre pas toutes les dimensions de la qualité
Dans le secteur social etmédico-social, l’obligation d’évaluation introduite par la loi de rénovation del’action sociale du 2 janvier 2002 vise à soutenir la démarche d’amélioration de la qualité et de gestion des risques de chaque établissement et service. Ce dispositif doit plus largement alimenter la dynamique d’organisation apprenante du secteur en permettant grâce à l’analyse des évaluations régulières sur le terrain de déterminer les chantiers à poursuivre ou entreprendre au niveau global. Le dispositif national élaboré par la Haute Autorité de Santé (HAS) donne aujourd’hui un cadre commun pour examiner différents éléments influant sur la qualité d’accueil et d’accompagnement. Il associe un référentiel, des méthodes de visite et un format de rapport partagé.
Le référentiel national élaboré constitue une avancée méthodologique évidente. Il donne aux acteurs des repères partagés constituant des impératifs et des ambitions de qualité communs. Jusqu’à sa diffusion les exigences et visées qualité étaient hétérogènes entre les ESSMS, dépendantes des travaux menés au niveau des fédérations, des territoires ou directement des structures. Ainsi les coopérations et mutualisations dans les efforts entrepris pour progresser s’en trouvaient limitées. Cette absence de référentiel commun était aussi considérée comme un facteur alourdissant le travail d’analyse et d’exploitation des rapports par les autorités [1].
La possibilité dorénavant pour la HAS d’accéder aux rapports d’évaluation rend possible la mise en cohérence de l’agenda des travaux qu’elle entreprend, notamment en matière d’élaboration et de diffusion des recommandations de bonnes pratiques professionnelles, avec les besoins identifiés sur le terrain.
Au-delà d’un référentiel unique, la HAS a défini les 3 méthodes d’évaluation (accompagné traceur, traceur ciblé et audit système [2]) qui doivent permettre de croiser l’expérience des personnes accompagnées, les pratiques professionnelles et les choix des gouvernances. Ceci correspond bien à la volonté de ne pas être dans une posture dogmatique de déploiement d’outils, de modes de fonctionnement ou de pratiques qui seraient par nature de qualité. L’ambition est de se centrer sur les effets produits par les choix effectuésen interrogeant leur portée in fine pour les personnes accompagnées. Les dispositifs mis en œuvre (projet personnalisé, enquête de satisfaction, livretd’accueil, etc.) comptent en eux-mêmes au fond assez peu, seule leur adéquation aux effets recherchés a de l’importance.
L’évaluation conduite avec les outils et méthodes actuels est prévue pour rendre compte du niveau de maturité des systèmes qualité en informant des habitudes prises ou non en matière d’évaluation régulière des pratiques et des dispositifs, de la capacité à renforcer ceux-ci dans le temps. Elle doit aussi rendre compte du niveau d’effectivité des droits et libertés fondamentaux des personnes accueillies (les critères impératifs servent à cela). Enfin elle doit rendre compte des dynamiques de coordination et de coopération d’une structure avec les ressources de son territoire (en matière de santé, d’éducation ou d’inclusion par exemple). Produire une information sur ces éléments n’est bien entendu pas négligeable pour repérer des besoins de progrès et engager des actions d’amélioration.
Pourtant l’incapacité actuelle des évaluations à renseigner sur la qualité de certaines prestations centrales dans les projets d’accompagnement laisse, en fin de visite ou à la lecture d’un rapport, une impression de passer à côté de sujets de premier plan. Régulièrement des professionnels qui découvrent le dispositif s’en étonnent et le regrettent. L’un des objectifs de l’évaluation est pourtant de « promouvoir une démarche porteuse de sens pour les ESSMS et leurs professionnels [3] ».Il est nécessaire que l’exercice ne soit pas considéré comme détaché des enjeux forts perçus par les équipes.
Sans occulter les bénéfices d’un référentiel national, nous déplorons que l’attention portée aux effets des prestations centrales reste très limitée. Il est tout à fait possible de prendre connaissance d’un rapport d’évaluation sans rien apprendre sur la capacité d’un ESSMS à remplir ses missions comme préserver des capacités cognitives, développer des capacités d’autonomie, lutter contre le décrochage social, restaurer des liens familiaux… Il y a pourtant beaucoup à apprendre en s’intéressant aux réussites et aux difficultés de ce côté-ci de la qualité.
Un ensemble fini de critères ne peut par définition pas explorer toutes les dimensions de la qualité. Néanmoins en choisissant davantage de critères spécifiques, centrés sur les prestations essentielles des 18 catégories d’ESSMS répertoriées à l’article L.312-1 du CASF il est possible d’enrichir grandement les rapports et par conséquent les réflexions sur les suites à donner aux évaluations.
Actuellement si les ESSMS ne complètent pas les résultats d’une évaluation faite avec le référentiel national par des observations régulières, le suivi de l’atteinte des objectifs d’accompagnement, l’analyse des différentes formes de retours des personnes accompagnées et de leurs entourages, leur plan d’action risque de se limiter à poursuivre des objectifs communs ne tenant pas compte de leur contexte spécifique. Sans cette ouverture, les plans risquent de devenir relativement standards, centrés sur l’obtention ou le maintien de cotations satisfaisantes, limitant la priorisation de travaux centrés sur des difficultés ou besoins de progrès pourtant réels.
Un cadre commun doit soutenir l’attention du secteur sur les enjeux de qualité partagés autour du respect des droits et des libertés, de coopération entre les acteurs d’un territoire, mais celui-ci doit faire une place aux enjeux spécifiques de chaque structure selon ses missions.
2. Une fiabilité des résultats à consolider
Disposer d’un référentiel ne signifie pas savoir évaluer. La valeur de la démarche dépend largement de la maîtrise qu’en ont les utilisateurs. Deux catégories se distinguent : les professionnels des ESSMS dans le cadre des auto-évaluations, les évaluateurs des organismes accrédités dans le cadre des visites effectuées tous les 5 ans.
Cette maîtrise est d’abord conceptuelle. La bientraitance, la participation, la personnalisation ou le consentement ne peuvent être réduits à l’existence d’un document ou d’une procédure. Pour en évaluer le niveau dans une pratique ou un outil présenté il est nécessaire d’en comprendre la portée, de savoir les distinguer pour apprécier chaque composante de la qualité globale d’accompagnement.
La maîtrise est également méthodologique. Elle suppose de choisir les situations examinées, d’adapter les entretiens, de croiser les sources et de distinguer une pratique ponctuelle d’un fonctionnement établi. Un discours convaincant n’est pas une démonstration ; l’absence de plainte n’est pas une preuve de satisfaction ; une trace écrite ne renseigne pas toujours sur l’expérience vécue.
Enfin, elle comporte une dimension émotionnelle. L’attachement à certaines pratiques, le souci de préserver une bonne image ou la difficulté à accepter la contradiction peuvent influencer aussi bien les informations communiquées que leur interprétation parles évaluateurs.
L’objectivation repose sur des méthodes rigoureuses et sur la capacité des acteurs à accepter que leurs conclusions soient discutées. Mener ces discussions représente d’ailleurs un moment clé pour l’identification et la prise en compte des contextes (institutionnel, réglementaire, sectoriel…). L’activité d’évaluation est donc exigeante et l’on peut s’étonner qu’elle n’ait pas encore conduit à un encadrement des conditions d’exercice externe aux organismes évaluateurs. Actuellement ils sont souverains pour concevoir les modalités d’évaluation et de maintien des compétences [4] de leurs personnels. Aucun diplôme particulier ni certification professionnelle n’est exigé pour attester de ces compétences.
L’évaluation nécessite la coopération entre les évaluateurs et les personnes qu’ils rencontrent. Or celle-ci est dans certains cas fragilisée par des craintes, les salariés rencontrés redoutent une sanction (perte de confiance des partenaires ou du public, perte d’attractivité de la structure, pénalité dans les mises en concurrence sur les appels à projets…) si l’évaluation met en évidence une situation qui n’est pas satisfaisante a fortiori dans la maîtrise des critères impératifs.
La fiabilité des résultats est fragilisée lorsque les parties poursuivent des objectifs divergents. C’est d’ailleurs l’une des caractéristiques qui différencie cet exercice d’un contrôle. La large communication faite des résultats à travers Qualiscope d’une part, le silence des autorités sur les conditions d’analyse des rapports et les actions de sanction ou de soutien qui peuvent être décidées d’autre part contribuent à amplifier ces peurs. Est-il possible aujourd’hui pour les professionnels et les gouvernances des ESSMS de rechercher uniquement à objectiver les réussites et les points d’amélioration ? Doit-on redouter que l’évaluation puisse conduire à autre chose qu’une mobilisation de toutes les ressources disponibles pour améliorer la qualité et gérer les risques ? Dans l’incertitude, des équipes adoptent raisonnablement le principe de précaution et ne favorisent pas l’identification des écarts aux ambitions qualité inscrites dans le référentiel.
La façon dont les organismes évaluateurs et les ESSMS mettent en œuvre le dispositif défini par la HAS influe également sur la fiabilité des résultats. Les choix effectués entrainent des différences dans la qualité de l’information contenue dans les rapports. Par exemple une cotation pourra différer selon les choix d’échantillons (nombre de situations examinées pour un critère, nombre d’éléments consultés pour attester d’une pratique systématique, nombre de professionnels rencontrés…) ou le niveau d’exploration de certains critères. Ils sont pourtant nécessaires, le coût des évaluations serait inacceptable sans cela. Que ne faudrait-il pas examiner pour apprécier pleinement le respect de la dignité ou de l’intégrité des personnes par exemple ? Ces choix ne sont pourtant pas visibles puisque la méthodologie employée n’y est pas décrite.
L’absence d’exigences fixées dans le cadre méthodologique laissent une liberté forte aux organismes. L’incidence de leurs choix sur les durées, et donc les coûts, des évaluations peut favoriser la réalisation d’évaluations parfois trop courtes pour appréhender et rendre compte de façon robuste des réussites et des limites en matière de qualité.
Un travail d’harmonisation des pratiques des organismes évaluateurs est engagé par la HAS notamment par la définition de minima pour la durée de visite ou le nombre de personnes accompagnées rencontrées en fonction de la taille des structures. Il reste à poursuivre sur des éléments complémentaires si l’ambition est de fournir des constats fiables. Chacun comprend aisément que l’examen d’un nombre très restreint de situations ou la rencontre d’une proportion faible de professionnels entrave la capacité à rendre compte d’un niveau de qualité àl’échelle d’un établissement ou d’un service. La dépense que représente l’évaluation devient alors un gaspillage de ressources.
3. Des évaluations centrées sur les constats
L’évaluation n’est qu’une séquence du processus d’amélioration de la qualité. Elle ne produit aucun progrès mais favorise l’identification de ce qu’il convient de faire pour tenter de les obtenir. La dynamique de progrès nécessite donc d’accorder des moyens à l’analyse des résultats et à la définition des priorités d’action dont onmesure la réussite lors de l’évaluation suivante.
A contrario du premier cahier des charges [5] il n’est plus attendu et surtout plus possible aujourd’hui pour les évaluateurs de contribuer à cette séquence d’exploitation des résultats. Le législateur a en effet décidé d’imposer l’accréditation par le COFRAC des organismes qui souhaitent réaliser des évaluations [6]. Ainsi, prodiguer toute forme de conseil leur est interdit. Il convient ainsi de ne jamais indiquer ce qui peut améliorer la qualité [7] mais d’informer exclusivement sur le niveau constaté ou attendu. Ce principe reste incompris par les évaluateurs et apparait contraire aux attentes d’ESSMS qui souhaitent s’appuyer sur toutes les ressources et connaissances disponibles pour améliorer la qualité pour les personnes accompagnées.
Il appartient aux personnes responsables de déterminer les actions à mener dans l’intérêt des personnes et dans le cadre de fonctionnement imposé. A ce titre les évaluateurs n’ont pas à déterminer les suites qu’il convient de donner aux évaluations qu’ils réalisent. Ils ne disposent d’ailleurs pas de l’ensemble des informations nécessaires pour le faire. Pourtant quel risque existe-t-il à réintroduire la production de préconisations ? Les évaluateurs doivent maîtriser les recommandations de bonnes pratiques professionnelles et cette activité leur permet d’acquérir une certaine compréhension de ce qui fonctionne plus ou moins bien dans différentes organisations sociales et médico-sociales. Cela semble suffisant pour être autorisés au moins à faire des propositions. L’enjeu est de tirer pleinement parti de l’investissement que représente une visite.
Cette perspective pourrait renforcer la concurrence entre les organismes évaluateurs sur leur capacité à apporter une contribution utile aux ESSMS et les inciter à développer toujours plus l’expertise de leurs intervenants. Quels sont les bénéfices à taire des propositions depuis une position indépendante ? Celles et ceux qui s’engagent dans cette activité le font d’ailleurs souvent avec l’envie d’être le plus utiles possible aux personnes et aux institutions.
4. Un dialogue à renforcer entre les parties prenantes
Les changements positifs souhaités dépendent de l’implication des acteurs qui devront les concevoir, les mettre en œuvre ou leur donner les moyens d’aboutir. Cette implication doit être large : personnes accompagnées, professionnels, encadrement, gouvernance, proches lorsque cela est pertinent, partenaires et autorités. Tous n’ont pas à participer aux mêmes échanges, mais chacun doit pouvoir contribuer aux décisions qui le concernent.
Trop fréquemment ce dialogue reste insuffisamment organisé, notamment après la remise du rapport. Deux relations sont particulièrement déterminantes. La première relie les professionnels aux personnes accompagnées. Sans discussion sur leur expérience et sur les changements qu’elles jugent importants, la démarche peut se centrer progressivement sur les attentes du dispositif évaluatif portées par le référentiel et réduire la capacité à développer de nouvelles approches ou concevoir de nouveaux services en correspondance avec les attentes exprimées parle public. Leur participation doit donc se prolonger après l’évaluation dans l’interprétation des constats, le choix des actions et l’appréciation de leurs effets.
La seconde relation relie les ESSMS aux autorités. Des améliorations relèvent de décisions internes ; d’autres nécessitent des effectifs, des compétences, des équipements ou descoopérations supplémentaires. L’adéquation des moyens aux objectifs est obligatoire sous peine de discréditer totalement les ambitions exprimées.
Les rapports devraient ainsi soutenir la discussion sur les responsabilités et les ressources : quelles difficultés peuvent être traitées par l’organisation ? Quelles réponses ont déjà été tentées ? Quels moyens supplémentaires sont nécessaires et pour quels bénéfices ? Cette discussion ne garantit pas un financement, tout le monde a conscience du caractère limité des ressources particulièrement dans le contexte économique actuel, mais elle rend explicites les conditions des progrès demandés.
Dans une période de besoins croissants, de ressources contraintes et de difficultés d’attractivité des métiers, l’évaluation doit permettre de fédérer les acteurs autour de problèmes objectivés et de réponses à construire. Cette ambition exige de renouer avec la confiance. Sans confiance entre les acteurs des difficultés peuvent être minimisées ou dissimulées. Si l’objectif d’amélioration de la qualité pour les personnes vulnérables est poursuivi par tous les acteurs ils doivent être capables de s’interpeler de façon constructive, de se mobiliser conjointement sur les problématiques plutôt que se reprocher les constats.
Aucune personne, aucune institution ne possède seule la capacité à gérer les risques et à améliorer la qualité. Aucune personne, aucune institution ne devrait donc redouter d’être tenu pour seul responsable des constats dans une évaluation. Chacun devrait s’y impliquer pour disposer en retour d’éléments utiles pour mieux comprendre lessituations et agir dessus.
--------------------------------------------
En conclusion, le dispositif d'évaluation actuel constitue un levier pour l’amélioration de la qualité de service mais présente plusieurs limites. Il pourrait se trouver renforcer par :
· La production de référentiels par catégorie d’ESSMS permettant d’aborder les missions et prestations spécifiques
· L’introduction de précisions méthodologiques par la HAS garantissant un niveau de fiabilité des résultats
· La systématisation d’un dialogue entre le gestionnaire et l’autorité pour prioriser les améliorations et négocier les moyens
· La mise en place d’un dispositif unique et indépendant d’évaluation de la compétence des évaluateurs
· Le renfort de communication pour expliciter les différences entre les visites d’évaluation, les visites d’inspection et le contrôle
Références :
[1] Cf. rapport IGAS n°2016-113R sur le dispositif d’évaluation interne et externe des ESSMS
[2] Les 3 méthodes utilisées lors des visites d’évaluation sont définies dans le manuel d’évaluation de la HAS publié en mars 2022 et mis à jour en juillet 2025
[3] Les enjeux du dispositif sont présentés dans le référentiel d’évaluation de la qualité des ESSMS du 8 mars 2022
[4] Le cahier des charges applicables aux organismes chargés de l’évaluation des ESSMS présente les compétences requises.
[5] L’Annexe 3-10 du CASF abrogée en novembre 2021 définissait comme l’un des 4 objectifs de l’évaluation externe d’élaborer des propositions et/ou préconisations sur des aspects stratégiques et opérationnels
[6] Pour pouvoir procéder à l'évaluation prévue à l'article L.312-8 du code de l'action sociale et des familles, l'organisme est accrédité par le Comité français d'accréditation mentionné à l'article 137 de la loi du4 août 2008 susvisée ou par tout organisme européen équivalent signataire de l'accord multilatéral pris dans le cadre de la coordination européenne des organismes d'accréditation selon la norme EN ISO/IEC 17020 – Article 2 du décret n° 2022-742 du 28 avril 2022 relatif à l'accréditation des organismes pouvant procéder à l'évaluation de la qualité des établissements et services sociaux et médico-sociaux
[7] Ni le cahier des charges actuel de l’évaluation ni la norme EN ISO/IEC 17020 n’indique explicitement cette impossibilité, c’est dans la FAQ (opposable aux organismes) que la HAS indique « Conformément au point 4.1 du cahier des charges applicable aux organismes chargés de l’évaluation, les organismes évaluateurs sont tenus d’intervenir de manière objective et impartiale, en toute indépendance. Ils ne peuvent agir en tant que conseiller (assistance, consulting, coaching) pour l’ESSMS ou l’organisme gestionnaire. Si le rapport d’évaluation doit mettre en évidence les écarts constatés, il est exclu d’y intégrer du conseil. Dès lors que les écarts sont clairement indiqués dans les commentaires, les ESSMS peuvent identifier sur quoi doit porter leur plan d’action. »
.png)