L’IMD, un outil clé d’évaluation et d’amélioration continue

Défi

Comment pouvons-nous mesurer le degré de maturité numérique d’une entité et d’un territoire pour que presque toutes les administrations puissent accélérer leur transformation pour améliorer la vie des gens ?

Problématique 

La transformation numérique d'une organisation est un processus complexe qui nécessite une évaluation constante des progrès réalisés. Cependant, développer un instrument pour mesurer le degré de maturité numérique implique une série de difficultés :

• il n’existe pas de définition précise du concept de gouvernement numérique qui détermine sans équivoque ses dimensions et les indicateurs qui le définissent ;
• les processus de collecte et d'intégration des données nécessaires à l'élaboration de ces indicateurs présentent des difficultés ;
• des données suffisantes ou de qualité ne sont pas toujours disponibles, ce qui conduit à devoir exclure certains indicateurs de l'analyse ;
• il doit répondre de manière égale aux besoins de tous les conseils et permettre des comparaisons, quelle que soit leur taille. Ce n’est pas anodin, puisque la population conditionne l’ensemble des services à rendre et le volume potentiel d’activité des services numériques qu’elle propose.

À la complexité de mesurer le degré de transformation numérique d'une entité s'ajoute le fait que la plupart des municipalités de Catalogne sont de petite ou moyenne taille et présentent toutes sortes de limitations pour faire face à ce défi, telles que :

1. des ressources financières très limitées ;
2. difficultés d'accès aux données ;
3. manque de capacités sur la manière de définir et de générer des indicateurs clés numériques ;
4. impossibilité de pouvoir faire des comparaisons avec d'autres administrations similaires en raison de la difficulté d'accès aux données et du manque de normes en matière de données ; je
5. fonctionnaires sans compétences analytiques avancées.

Les administrations locales ont donc besoin d'une solution « clé en main » qui leur permette d'évaluer leur processus de changement avec un minimum d'effort et de prendre les décisions les plus correctes possibles sur la base des données. Pour répondre à ce besoin, l'AOC a créé l'Indice de Maturité Numérique (désormais IMD), un outil qui évalue le degré de transformation numérique des administrations locales catalanes et permet aux administrations de se comparer entre elles.

Solution proposée

L'IMD est un outil qui nous fournit connaissance concevoir une stratégie de transformation numérique pour toutes les APC, ainsi que planifier les actions nécessaires qui devront être menées.

Ce n'est pas simplement un autre indicateur. Il s’agit d’un système d’information (« indicateurs relatifs ») qui permet :

• Connaître le degré de digitalisation d'un organisme public (points forts et points faibles de chaque organisme) et comprendre l'avancée de son processus de transformation.
• Comparez et prenez du recul. La maturité numérique de chacun de nous devient plus évidente lorsqu’elle est comparée (contraste) avec les autres. De plus, il permet de connaître le degré de maturité numérique d'un territoire, qu'il s'agisse de l'ensemble de la Catalogne, d'une province ou d'une région.
• Obtenez une vue d’ensemble (qui montre la voie et qui a besoin d’aide) et comprenez le contexte de la numérisation du secteur public (forces et domaines à améliorer).
• Autres : créer une culture data-driven, identifier les bonnes pratiques, valoriser le travail effectué.

De plus, il est particulièrement utile pour les organisations qui doivent accompagner la transformation numérique des entités locales (comme l'AOC !), car il permet d'identifier les objectifs sur lesquels agir et facilite la conception et l'analyse de l'efficacité des politiques de numérisation.

Jusqu’en 2018, l’AOC calculait le degré de numérisation des collectivités locales à partir du  indicateurs de la Carte d'Administration Electronique. Ces indicateurs ont été obtenus à partir des données de mise en œuvre des services de l'AOC et de l'analyse des sites Internet communaux. Tous étaient des indicateurs de type « attributs », c'est-à-dire qu'ils indiquent des qualités ou des états que l'entité analysée peut ou non remplir (par exemple, elle dispose d'un dossier citoyen, d'une adresse e-mail, d'un profil d'entrepreneur... ; elle propose des procédures en ligne). ) . Au fil du temps, nous avons réalisé que l’adoption des services numériques par les collectivités locales se généralisait et qu’évaluer le degré de mise en œuvre ne suffisait pas. Il était nécessaire de rechercher de nouveaux indicateurs reflétant les progrès de la transformation numérique, comme l'utilisation qu'ils faisaient de ces services numériques.

En 2018, des indicateurs d’activité ont été introduits, c’est-à-dire des « variables » quantifiables, telles que :

• Demandes de renseignements auprès de la Via Oberta
• Procédures EACAT (ou procédures SIR)
• Procédures e-TRAM (incluant le transfert générique et la filière FUE)
• Factures e-FACT
• Notifications e-NOTUM
• Utilisation des T-CAT (Validateur)
• Publications dans l'e-TAULER
• Publications sur le profil de l'entrepreneur (appels d'offres électroniques)
• Publications/mises à jour du portail de transparence
• Soumissions de l'IVTM et/ou de TESTRA

Cependant, dans un contexte aussi changeant que celui actuel, la manière d'évaluer le gouvernement électronique doit continuellement évoluer pour rester efficace et intégrer de nouveaux aspects qui répondent à la réalité du moment, sur la base de preuves empiriques. Le projet de rapports et cartes d'e-Gouvernement est ainsi entré dans une nouvelle phase fin 2019 et a été remplacé par un index que nous avons baptisé leIndice de maturité numérique.

Grâce à la mise en œuvre de l'analyse commerciale (Business Analytics) dans la gestion des services AOC, il a été possible d'automatiser la collecte et l'intégration des indicateurs d'activité de l'index et de présenter l'information à travers une visualisation interactive des données. De plus, dans l'édition 2020, une amélioration significative a été apportée à l'évaluation de l'utilisation des services numériques : au lieu d'évaluer l'utilisation d'un service numérique sur la base du nombre absolu de transactions, nous avons commencé à mesurer la numérisation associée à l'utilisation de le service; c'est-à-dire le calcul du nombre de transactions numériques par rapport au nombre total de transactions, y compris les transactions en face à face (par exemple, les entrées électroniques par rapport au total des entrées, ou les contrats d'offre électronique par rapport au total des contrats d'offre).

L'IMD, un outil collaboratif en constante évolution

Pour que l'IMD soit utile et informatif, il faut toujours garder à l'esprit qu'il ne faut inclure que les indicateurs les plus pertinents du moment dans lequel nous nous trouvons, ceux qui marquent la différence entre une entité que nous considérons mature numériquement et un autre qu'il n'est pas. Et les pondérations de chaque attribut ou variable au sein de l’indice doivent être déterminées très soigneusement. Pour doter l'IMD d'une méthodologie de calcul rigoureuse et flexible (capable de s'adapter au moment présent), un groupe de travail d'experts en gestion publique a été créé et le résultat a été partagé et débattu avec les députations, les conseils départementaux et les mairies.

De plus, des activités et des réunions du personnel du monde local sont organisées périodiquement pour revoir et faire évoluer l'IMD, comme le atelier qui a eu lieu lors du Digital Government Congress 2021, en què van participar més de 50 representants d’administracions locals catalanes i on es van recollir propostes de millora, algunes de les quals ja hem incorporat a l’IMD del 2023, o el taller celebrat el novembre de 2023 amb representants d’ajuntaments i diputacions, per revisar i millorar l’IMD.

Par conséquent, l'IMD est le résultat d'un travail collaboratif, appliquant toujours une approche d'amélioration continue avec les commentaires du personnel public et un investissement continu dans la création d'un entrepôt de données intégrant des données provenant de différentes sources.

Méthodologie de calcul IMD 

L'IMD est un indice ou indicateur composite composé de plus de 30 indicateurs organisés en trois dimensions et neuf sous-dimensions qui sont agrégées de manière pondérée pour obtenir une valeur comparable. Il est actuellement calculé pour 947 communes et 41 conseils départementaux.

L’IMD est conceptuellement divisé en trois dimensions :

- Droits numériques. Nous évaluons la disponibilité des services publics numériques permettant aux citoyens d'exercer leurs droits numériques et le respect de la réglementation régissant ces droits.

- Activité de services numériques. Nous évaluons l'utilisation des services numériques par les citoyens, les entreprises, les associations et les agents publics. Plus précisément, nous mesurons la digitalisation dans la relation avec les utilisateurs, la digitalisation des processus internes et l'interopérabilité entre les administrations publiques.

- Gouvernement ouvert. Nous évaluons l'application pratique des principes du gouvernement ouvert : transparence, droits d'accès, données ouvertes et participation citoyenne.

La figure suivante présente schématiquement les trois dimensions de l’IMD, ainsi que leurs sous-dimensions et les indicateurs qui les composent :

L'IMD est la somme pondérée des valeurs des indicateurs dans chacune des trois dimensions :

Chaque indicateur se voit attribuer une pondération et une note maximale en fonction de son importance. Les différents poids ont été attribués pour 1) reconnaître (ou pénaliser) les dimensions et sous-dimensions qui contribuent plus (ou moins) à la transformation numérique, selon l'opinion des gens ; et 2) reflètent la qualité statistique des données.

voir ANNEXE Sources de données et types d’indicateurs.

Présentation des résultats

L'IMD est présenté à travers un ensemble de tableaux de bord et de rapports destinés aux différents profils impliqués dans la prise de décision d'une collectivité locale.

• Le tableau de bord « Nous faisons un pays numérique » présente sous forme agrégée les indicateurs clés d'un territoire spécifique (toute la Catalogne, une province ou un comté). En plus des indicateurs propres à l'IMD, il en montre d'autres qui en dérivent, comme le pourcentage d'entités qui traitent électroniquement ou qui disposent d'un portail de transparence.

• Le tableau de bord « Votre entité – Vision globale » offre une vision rapide et claire de l'état de chaque entité dans le but de permettre aux élus municipaux de prendre des décisions basées sur des données. En plus du score total de l'IMD et de ses dimensions, il montre la valeur des indicateurs clés et les compare avec la valeur moyenne des entités locales dans la même tranche de population.

• Le rapport « Votre Ens – Vue détaillée » fournit une image complète de l'IMD. Il montre la valeur de tous les indicateurs d'un organisme local et les situe également dans le contexte des communes de sa tranche de population. Il s'adresse aux personnels d'encadrement et aux personnels techniques communaux afin qu'ils puissent identifier les points forts et les axes d'amélioration sur lesquels agir.

• Le rapport « Comparatif général » offre une vision globale du degré de maturité numérique d'un territoire. Il permet aux instances supracommunales d'identifier où les politiques de transformation numérique doivent être déployées pour chacune des trois dimensions principales de l'indice.

Reconnaissances Administration ouverte

Nous utilisons le score obtenu à l'IMD pour décerner chaque année les Open Administration Awards aux administrations leaders en matière de transformation numérique, réparties en sept catégories selon le rang de la population.

Plus d'informations sur le Reconnaissances Administration ouverte.

Conclusions

La durabilité de cette initiative repose sur la promotion que toutes les informations nécessaires à la production de l'Index soient disponibles dans des formats de données ouvertes basés sur des normes, afin qu'elles puissent être facilement obtenues et intégrées. Actuellement, 95 % des informations requises répondent à ces exigences.

L'IMD est une initiative collaborative impliquant différents niveaux de gouvernement. Les quatre Conseils provinciaux de Catalogne et tous les conseils régionaux catalans participent à la validation de la méthodologie et des résultats du MD. La bonne gouvernance est essentielle dans ce projet. Concernant l'utilité de l'IMD, nous avons vérifié que la publication des résultats, et surtout des reconnaissances annuelles, servent de stimulant aux administrations locales pour identifier leurs axes d'amélioration et d'avancement dans le processus de transformation numérique.

L'état du projet (en production)

Chaque année, depuis 2019, l'AOC analyse la maturité numérique de l'établissement public local appliquant la Méthodologie IMD. Le résultat peut être consulté sur le site Internet deIndice de maturité numérique.

Lire plus

• Article "Indice de maturité numérique des administrations locales : un outil clé d'évaluation et d'amélioration continue» publié dans le Revue basque de gestion des personnes et des organisations publiques de TVA (décembre 2022)
• Méthodologie de reconnaissance de l'administration ouverte : https://www.aoc.cat/reconeixements-administracio-oberta-metodologia/
• Rapports e-administration (de 2010 à 2018) :  https://www.aoc.cat/indicadors/informes-d-eadministracio-a-catalunya/

ANNEXE Sources de données et types d’indicateurs

Les sources de données

L'IMD est calculé à partir de données publiques, objectives et vérifiables obtenues à partir des sources d'informations suivantes :

• Les pages web des administrations locales elles-mêmes.
• Les données d'activité des services numériques de l'AOC disponibles sur Portail de données ouvertes de l'AOC.
• Les données d'activité des services AGE disponibles sur le portail Data OBSAE de l'Observatoire de l'administration électronique (Secrétariat général de l'administration numérique).
• Les données d'activité des services numériques fournis par les entités locales elles-mêmes et par les fournisseurs de plateformes de marché, qui sont soumises à un processus d'examen pour comparer leur qualité.
• Données de l'indice Infoparticipa de l'Université autonome de Catalogne et de l'indice d'exposition à la cybersécurité de l'Agence de cybersécurité de Catalogne.
• Les données publiées dans le moteur de recherche officiel d'informations et de documentation de la Diputació de Barcelona (CIDO).
• Les données de recrutement fournies par le Conseil Consultatif Catalan de Recrutement.
• Données sur la participation citoyenne fournies par les fournisseurs de plateformes publiques de participation électronique (Diputacions de Barcelona et Girona) et du marché (entreprises fournisseurs).

En cas de données manquantes, des variables intermédiaires sont utilisées (par exemple, si nous ne disposons pas du nombre total d'inscriptions d'une Mairie, nous obtenons les données à partir du nombre d'habitants et d'un coefficient de corrélation) . Toutes les méthodes d'imputation des données manquantes utilisées ont été validées sur la base de leurs propriétés statistiques.

Indicateurs IMD

Vous trouverez ci-dessous une ventilation de ce qui est analysé et de la manière dont chaque indicateur est noté :

Droits numériques

• Dossier citoyen :
  • S'il nous est disponible à partir du dossier citoyen
  • 2,44 points si nous l'avons et 0 point sinon
• Moteur de recherche municipal :
  • S'il est à notre disposition comme moteur de recherche sur votre site Internet municipal
  • 1,63 points si nous l'avons et 0 point sinon
• Instance en ligne :
  • Si les États-Unis disposent d'une instance générique pour effectuer des démarches en ligne
  • 4,07 points s'il nous le propose et 0 point sinon
• Inscription en ligne :
  • Si vous nous autorisez à effectuer des requêtes d'interopérabilité sur votre registre
  • 4,07 points s'il nous le propose et 0 point sinon
• Visionneuse de cartes :
  • Si vous disposez d'une visionneuse cartographique sur le site municipal
  • 0,81 points si nous l'avons et 0 point sinon
• Visionneuse urbaine :
  • S'il nous est disponible depuis la visionneuse d'urbanisme sur le site communal
  • 0,81 points si nous l'avons et 0 point sinon
• IDCAT de l'urgence :
  • Si nous sommes une entité d'enregistrement idCAT
  • 2,44 points si l'agence est une entité d'enregistrement et a délivré des certificats idCAT au cours de l'année de calcul de l'indice, et 0 point dans le cas contraire
• FEU :
  • S'il nous est accessible depuis le Guichet Unique des Entreprises
  • 1,63 points s'il est offert par le nombre maximum d'interventions et la note proportionnelle sinon
• MUX :
  • Si le système est intégré au service MUX Register de l'AOC
  • 2,44 points si le système est intégré à MUX Registry et 0 point sinon
• Dossier citoyen du Hub :
  • S'il est intégré à El meu espai
  • 2,44 points si votre gestionnaire de fichiers l'a intégré à El meu espai, 0,81 s'il a intégré les services AOC et 0 point s'il n'a pas d'intégration
• Accessibilité de la boîte aux lettres :
  • Si nous disposons d'une boîte aux lettres de traitement électronique des problèmes d'accessibilité
  • 0,81 points si nous l'avons et 0 point sinon
• Sceau d’accessibilité :
  • Si une déclaration d'accessibilité a été publiée sur le site Internet de la municipalité
  • 0,81 point s'il a été publié sur le site Internet municipal et 0 point sinon
• ENI :
  • Si un certificat de conformité de l'ENI a été publié sur le site Internet de la commune
  • 2,44 points si un certificat de conformité ENI nous a été délivré et 0 point dans le cas contraire
• ENS :
  • Si la plateforme d'administration électronique dispose d'une attestation de conformité à l'ENS sur le site municipal ou au Centre National Cryptographique
  • 2,44 points si l'ENS a publié une attestation de conformité et 0 point sinon
• Ordonnance réglementaire :
  • S'il a été approuvé par une ordonnance d'administration électronique
  • 1,63 point s'il a été approuvé par nos soins et 0 point sinon
• Vulnérabilité de cybersécurité :
  • Score du niveau de vulnérabilité calculé par l'Agence de Cybersécurité de Catalogne.
  • 2,44 points si l'indicateur est 1 (niveau d'exposition nul) et le score proportionnel sinon (le rapport entre le niveau d'exposition calculé par l'ACC et la valeur de l'indicateur dans l'IMD est le suivant : nul = 1, faible = 0,75, moyen = 0,5 , élevé = 0,25 et critique = 0)
• Délégué à la protection des données :
  • S'il nous est disponible auprès du délégué à la protection des données et s'il l'a communiqué à l'APDCat.
  • 0,81 si l'entreprise dispose d'un délégué à la protection des données et l'a communiqué à l'APDCat et 0 sinon
• Cela représente:
  • S'il nous est disponible dans le registre des procurations
  • 0,81 si la société dispose d'un registre de procurations et 0 sinon

Activité de service

• Numérisation des entrées :
  • Pourcentage d'inscriptions électroniques par rapport au nombre total d'inscriptions (procédures en ligne e-TRAM (ou système propre) + factures électroniques e-FACT + versements EACAT reçus / total des inscriptions)
  • 8,10 points si le pourcentage est de 80% et la note proportionnelle sinon
• Numérisation de sortie :
  • Pourcentage de départs électroniques par rapport au nombre total de départs (Notifications et transmissions e-NOTUM + EACAT envoyées / total des départs)
  • 5,40 points si le pourcentage est de 100% et la note proportionnelle sinon
• Signatures électroniques internes :
  • Ratio des signatures des agents publics par rapport au nombre d'entrées
  • 6,75 points si le ratio est dans le percentile le plus élevé de la tranche de population de l'entité et le score proportionnel dans le cas contraire (10 percentiles sont établis pour chaque tranche de population)
• Demandes via Open :
  • Ratio de consultations réalisées dans la Via Oberta par habitant
  • 12,60 points si le taux de consultation de la Via Oberta se situe dans le percentile le plus élevé de la tranche de population de l'entité et le score proportionnel dans le cas contraire (10 percentiles sont établis pour chaque tranche de population)
• Via les services ouverts :
  • Pourcentage de services Via Oberta actifs par rapport aux services obligatoires
  • 5,40 points si le pourcentage est de 100% et la note proportionnelle dans le cas contraire.
• Appels d'offres électroniques :
  • Pourcentage d'appels d'offres électroniques pour les contrats ouverts par rapport au total
  • 4,05 points si le pourcentage est de 100% et la note proportionnelle sinon
• Publications sur le profil de l'entrepreneur :
  • Taux de publications sur le profil de l'entrepreneur par habitant
  • 2,03 points si le ratio est dans le percentile le plus élevé de la tranche de population de l'entité et le score proportionnel dans le cas contraire (3 percentiles sont établis pour chaque tranche de population)
• Publications au Registre des Contrats :
  • Taux de publications au registre public des contrats par habitant
  • 0,68 points si le ratio est dans le percentile le plus élevé de la tranche de population de l'entité et le score proportionnel dans le cas contraire (3 percentiles sont établis pour chaque tranche de population)

Gouvernement ouvert

• Respect de la transparence :
  • Note reçue dans Infoparticipa
  • 8,13 points si le score infoparticipa est de 100% et score proportionnel sinon
• Données ouvertes:
  • Si vous nous publiez vos propres données ouvertes
  • 1,63 points si nous le publions et 0 point sinon
• Participation citoyenne :
  • Nombre de processus de participation citoyenne par voie électronique réalisés par l'entité
  • 1,63 points si plus de 7 processus participatifs ont été réalisés, 0,98 si entre 4 et 6 processus ont été réalisés, 0,49 si entre 1 et 3 processus ont été réalisés et 0 si aucun n'a été réalisé
• Vote électronique :
  • Si le vote électronique a été utilisé dans un processus de participation citoyenne
  • 0,49 point s'il a été utilisé par nos soins et 0 point sinon
• Portail de transparence :
  • Si vous disposez d'un portail de transparence
  • 3,25 points si nous en disposons et 0 sinon
• Carte électronique:
  • Si vous disposez d'un babillard électronique
  • 0,81 point si on l'a et 0 sinon
• Canal d'alerte :
  • Si nous avons un canal d'alerte interne.
  • 2,44 point si on l'a et 0 sinon
• Accès aux informations publiques :
  • Si nous disposons d'une procédure électronique spécifique pour les demandes d'accès aux informations publiques
  • 1,63 si l'institution dispose d'une procédure électronique spécifique pour les demandes d'accès à l'information publique.