Satisfaction dans l'utilisation des services publics numériques

Défi

Comment mesurer rigoureusement la satisfaction des citoyens dans l'utilisation des services publics numériques.

Problématique

Depuis le Consortium AOC, nous favorisons le développement d'indicateurs qui permettent aux décideurs politiques et aux gestionnaires publics de connaître le retour social de l'administration numérique et des initiatives de gouvernement ouvert, et ainsi d'évaluer systématiquement et rigoureusement leur efficacité et leur efficience, afin que les décideurs politiques et les gestionnaires publics peut décider des priorités et prendre les meilleures décisions.

Il est très important d'évaluer la perception de la satisfaction des citoyens.

Puisque le but ultime de l'administration publique est de fournir des services qui répondent aux besoins et aux attentes des citoyens, il est très important d'évaluer la perception de leur satisfaction.

Mais est-ce que quelqu'un le mesure ?

Le Consortium AOC a étudié comment la satisfaction des citoyens vis-à-vis des services publics en général (et non limitée au niveau numérique) est mesurée auprès des gouvernements du monde entier. Il a également contacté les organismes de référence sur les questions d'évaluation : iValua, Mairie de Barcelone, Conseil provincial de Barcelone, l'Agence d'État pour l'évaluation des politiques publiques et la qualité des services (n'existe plus aujourd'hui) et des sites internationaux.

Les conclusions sont décevantes :

En général, très peu d'administrations publiques mesurent la satisfaction des citoyens et encore moins publient les résultats ouvertement.
Il existe différentes méthodologies pour évaluer la satisfaction des citoyens qui sont principalement utilisées dans le secteur privé. Nous n'avons pas été en mesure de trouver de méthodologie pouvant être considérée comme une norme pour le secteur public.
La Diputació de Barcelona a réalisé un très bon rapport pour ses mairies, sur demande, intitulé « Image et bilan de la gestion municipale ». Mais il a depuis longtemps cessé de le faire.
La Mairie de Barcelone réalise d'excellentes études de satisfaction des citoyens en utilisant la méthodologie d'évaluation des attentes. Cette méthode est très avancée mais très complexe et coûteuse à utiliser par le Consortium AOC, car elle consiste à mesurer la différence d'attentes avant d'avoir recours au service public et le résultat ultérieur.
Les enquêtes avec des questions de satisfaction génériques donnent des résultats qui ne sont pas faciles à interpréter, ni comparables, et ont peu de valeur en eux-mêmes. Par exemple, obtenir un score de 7 (sur 10) peut être bon dans certains contextes ou types de questions, et mauvais dans d'autres. De plus, les réponses sont souvent faites de manière frivole et irréfléchie.
Dans le secteur privé, il a été détecté que la principale méthodologie utilisée par les principales entreprises dans le monde est la Net Promoter Score (NPS).

NPS à la rescousse

De nombreuses études ont corroboré que le Net Promoter Score (NPS) mesure très bien le bouche-à-oreille en fonction d'une question spécifique. « Quelle est la probabilité que vous recommandiez ce service à un collègue ou à un ami ?. Cette question a pour effet psychologique de demander une recommandation et instinctivement les gens sont plus rigoureux dans la réponse car nous n'aimons pas faire une mauvaise recommandation à un proche.

Sur une échelle de 0 à 10, sont considérés :

Promoteurs : ceux qui ont noté un 9 ou un 10, sont très satisfaits du service ou du produit et en parleront avec enthousiasme et proactivité
Passifs: ceux qui évaluent avec un 7 ou 8, sont satisfaits du service ou du produit et parleront positivement si on leur demande mais ne le feront pas avec enthousiasme
Détracteurs: ceux qui évaluent entre 0 et 6, ne sont pas satisfaits du service ou du produit et parleront négativement

Des études montrent une forte corrélation entre ces résultats et les commentaires verbaux ultérieurs. L'AOC a validé que les notes ont une forte corrélation avec les commentaires écrits que nous demandons aux utilisateurs dans l'enquête numérique.

Dans le secteur privé, les résultats du NPS sont utilisés comme mesure de la fidélité des clients et des achats futurs. Les promoteurs sont des clients fidèles et les détracteurs sont des clients qui n'achèteront plus jamais chez eux. Dans le secteur public, cela n'a aucun sens de parler de fidélisation de la clientèle car les services publics sont, en général, « monopolistiques » et il n'y a pas de concurrence entre les administrations publiques.

En 2016, cependant, l'étude "Adapting Net Promoter thinking in public sector organizations" a été publiée par Juho Hakola, de l'Université de Jyväskylä (Finlande), qui explique comment la méthodologie NPS peut être appliquée au secteur public.

Solution appliquée

Utiliser la méthodologie NPS adaptée au secteur public selon l'étude "Adapter la pensée Net Promoter dans les organisations du secteur public« Par Juho Hakola, pour évaluer la satisfaction des citoyens vis-à-vis de l'utilisation des services publics numériques.

Cette adaptation est très simple à comprendre et nous renseigne sur le % de citoyens qui :

Ils sont très satisfaits (9-10) et parleront très bien du service
Satisfait (8-9) et parlera bien du service
Insatisfait (0-6) et dira du mal du service

Cette méthodologie a été mise en œuvre tant pour les citoyens que pour les agents publics qui utilisent les services AOC. Elle a été appliquée dans un contexte qui a permis d'obtenir très facilement un volume élevé d'enquêtes et de s'assurer d'avoir un échantillon suffisamment représentatif. Plus précisément, nous collectons plus de 30.000 XNUMX enquêtes mensuelles sur tous les services numériques.

Critères de collecte des réponses

Les enquêtes de satisfaction sont présentées à un moment « chaud » du processus et immédiatement. Exemple : lors de la réalisation d'une procédure, l'enquête est présentée en fin de procédure.
Les enquêtes sont présentées avec une fenêtre pop-up invitant à participer (call to action).
Les sondages sont très brefs. Ils durent en moyenne moins d'1 minute et comportent généralement quelques questions très choisies :

1. NPS où il valorise de 0 à 10 la recommandation du service public
2. Question ouverte de savoir pourquoi l'évaluation
3. Demandez si vous souhaitez faire une proposition d'amélioration ou une suggestion

Les sondages ne sont pas invasifs. Les utilisateurs qui répondent à un sondage sur un service particulier ne soumettent le sondage que quelques mois plus tard.

Avec cette méthodologie, nous avons réussi à collecter des informations quantitatives importantes sur la satisfaction des citoyens vis-à-vis des services publics numériques. Maintenant, nous avons encore des défis à résoudre…

Défis en attente

Analysez l'énorme volume de commentaires recueillis jusqu'à présent
En plus de la recommandation entre 0 et 10, nous avons environ 10.000 XNUMX commentaires par mois sur l'évaluation faite par les utilisateurs qui peuvent nous donner des informations qualitatives importantes mais que nous ne pouvons pas analyser avec les ressources humaines. Nous avons réalisé un pilote d'analyse avec des algorithmes d'interprétation en langage naturel pour analyser les enquêtes de service eNotum avec des résultats satisfaisants et nous devons le systématiser et l'extrapoler à d'autres services.
Nous n'avons pas toute la "photographie"
Les enquêtes de satisfaction ne sont soumises qu'une fois le processus terminé. Nous ne collectons pas l'évaluation des utilisateurs ayant initié une action ou une procédure auprès d'un service AOC et n'ayant pas pu la mener à bien. Nous devons encore explorer comment nous pouvons détecter ces cas car il n'est pas du tout facile de savoir quand cela se produit en raison d'un problème de service ou parce que l'utilisateur abandonne volontairement.

L'état du projet

En production et s'appliquant à tous les services numériques du Consortium AOC.
Nous réalisons également des enquêtes de satisfaction auprès des participants aux Conférences AOC et autres événements auxquels nous collaborons.