Het IMD, een belangrijk instrument voor evaluatie en continue verbetering

Uitdaging

hoe kunnen we de mate van digitale volwassenheid van een entiteit en een territorium meten zodat vrijwel elke regering haar transformatie kan versnellen om het leven van mensen te verbeteren?

problematisch 

De digitale transformatie van een organisatie is een complex proces dat een constante evaluatie van de geboekte vooruitgang vereist. Het ontwikkelen van een instrument om de mate van digitale volwassenheid te meten brengt echter een aantal problemen met zich mee:

• er bestaat geen precieze definitie van het concept digitale overheid die op ondubbelzinnige wijze de dimensies ervan en de indicatoren die dit definiëren bepaalt;
• de processen voor het verzamelen en integreren van de gegevens die nodig zijn om deze indicatoren te ontwikkelen, leveren problemen op;
• er zijn niet altijd voldoende of kwalitatieve gegevens beschikbaar, wat ertoe leidt dat sommige indicatoren uit de analyse moeten worden verwijderd;
• het moet in gelijke mate tegemoetkomen aan de behoeften van alle raden en vergelijkingen mogelijk maken, ongeacht hun omvang. Dit is niet triviaal, omdat de bevolking bepalend is voor het aanbod van diensten en het potentiële activiteitenvolume van de digitale diensten die zij levert.

Naast de complexiteit die gepaard gaat met het meten van de mate van digitale transformatie van een entiteit, het feit dat de meeste gemeenten in Catalonië klein of middelgroot zijn en allerlei beperkingen hebben om deze uitdaging het hoofd te bieden, zoals:

1. zeer beperkte financiële middelen;
2. problemen met de toegang tot gegevens;
3. gebrek aan mogelijkheden voor het definiëren en genereren van digitale sleutelindicatoren;
4. onmogelijkheid om vergelijkingen te kunnen maken met andere soortgelijke overheidsdiensten vanwege de problemen bij de toegang tot de gegevens en het gebrek aan gegevensstandaarden; i
5. overheidswerkers zonder geavanceerde analytische vaardigheden.

Lokale besturen hebben daarom behoefte aan een ‘turnkey’-oplossing waarmee ze met minimale inspanning hun veranderingsproces kunnen evalueren en op basis van data de meest correcte beslissingen kunnen nemen. Om aan deze behoefte te voldoen heeft het AOC de Digital Maturity Index (van nu af aan IMD) in het leven geroepen, een instrument dat de mate van digitale transformatie van Catalaanse lokale overheden beoordeelt en overheden in staat stelt zichzelf met elkaar te vergelijken.

Voorgestelde oplossing

Het IMD is een instrument dat ons voorziet kennis om een ​​digitale transformatiestrategie voor alle APC’s te ontwerpen, en om de noodzakelijke acties te plannen die moeten worden uitgevoerd.

Het is niet zomaar een indicator. Het is een informatiesysteem (“relates indicators”) dat het volgende mogelijk maakt:

• Ken de mate van digitalisering van een openbaar lichaam (sterke en zwakke punten van elk lichaam) en begrijp de voortgang van zijn transformatieproces.
• Vergelijk en krijg perspectief. De digitale volwassenheid van ieder van ons wordt duidelijker wanneer deze wordt vergeleken met anderen. Bovendien maakt het het mogelijk om de mate van digitale volwassenheid van een gebied te kennen, of het nu heel Catalonië, een provincie of een regio is.
• Krijg een overzicht (wie loopt voorop en wie heeft hulp nodig) en begrijp de context van de digitalisering van de publieke sector (sterke punten en verbeterpunten).
• Anderen: creëer een datagedreven cultuur, identificeer best practices, waardeer het geleverde werk.

Bovendien is het met name nuttig voor organisaties die ondersteuning moeten bieden bij de digitale transformatie van lokale entiteiten (zoals het AOC!), omdat het de identificatie mogelijk maakt van de doelstellingen waarnaar moet worden gehandeld en het ontwerp en de analyse van de effectiviteit van digitaliseringsbeleid.

Tot 2018 berekende het AOC de mate van digitalisering van lokale instanties op basis van de  indicatoren van de Elektronische Bestuurskaart. Deze indicatoren zijn verkregen uit de uitvoeringsgegevens van de AOC-diensten en de analyse van de gemeentelijke websites. Het waren allemaal indicatoren van het type ‘attribuut’, dat wil zeggen dat ze kwaliteiten of toestanden aangeven waaraan de geanalyseerde entiteit wel of niet kan voldoen (ze heeft bijvoorbeeld een burgermap, e-mailadres, aannemersprofiel...; ze biedt onlineprocedures aan). , verzendt e-notificaties, accepteert e-facturen...; wisselt gegevens uit met andere administraties, is een T-CAT- of idCAT-registratie-entiteit, heeft de e-administratieregels goedgekeurd, is lid geworden van de FUE-service, enz. . In de loop van de tijd realiseerden we ons dat de adoptie van digitale diensten door lokale instanties steeds wijdverspreider werd en dat het beoordelen van de mate van implementatie niet voldoende was. Er moest gezocht worden naar nieuwe indicatoren die de voortgang in de digitale transformatie weerspiegelden, zoals het gebruik dat zij maakten van deze digitale diensten.

In 2018 werden activiteitsindicatoren geïntroduceerd, d.w.z. “variabelen” die gekwantificeerd kunnen worden, zoals:

• Inlichtingen bij Via Oberta
• EACAT-procedures (of SIR-procedures)
• e-TRAM-procedures (inclusief de generieke overdracht en het FUE-kanaal)
• e-FACT-facturen
• e-NOTUM-meldingen
• Gebruik van T-CAT's (Validator)
• Publicaties in de e-TAULER
• Publicaties over het profiel van de Aannemer (elektronische aanbestedingen)
• Publicaties/updates van het transparantieportaal
• Inzendingen van het IVTM en/of TESTRA

In een context die zo veranderend is als de huidige, moet de manier om de elektronische overheid te evalueren echter voortdurend evolueren om effectief te blijven en nieuwe aspecten te integreren die inspelen op de realiteit van het moment, gebaseerd op empirisch bewijs. Het e-Government rapporten- en kaartenproject ging daarmee eind 2019 een nieuwe fase in en werd vervangen door een index die we deDigitale volwassenheidsindex.

Dankzij de implementatie van business analytics (Business Analytics) bij het beheer van AOC-diensten was het mogelijk om de verzameling en integratie van de activiteitsindicatoren van de index te automatiseren en de informatie te presenteren via een interactieve visualisatie van de gegevens. Bovendien is er in de editie van 2020 een aanzienlijke verbetering doorgevoerd in de evaluatie van het gebruik van digitale diensten: in plaats van het gebruik van een digitale dienst te beoordelen op basis van het absolute aantal transacties, zijn we begonnen met het meten van de digitalisering die gepaard gaat met het gebruik van digitale diensten. de dienst; dat wil zeggen de berekening als het aantal digitale transacties in verhouding tot het totale aantal transacties, inclusief face-to-face transacties (bijvoorbeeld elektronische inschrijvingen in verhouding tot het totale aantal inschrijvingen, of elektronisch geboden contracten in verhouding tot het totale aantal inschrijvingscontracten).

Het IMD, een samenwerkingsinstrument in constante evolutie

Om het IMD nuttig en informatief te laten zijn, moeten we altijd in gedachten houden dat alleen de meest relevante indicatoren van het moment waarop we ons bevinden, mogen worden opgenomen: de indicatoren die het verschil markeren tussen een entiteit die we als digitaal volwassen beschouwen en een ander dan dat is het niet. En de gewichten van elk attribuut of elke variabele binnen de index moeten zeer zorgvuldig worden bepaald. Om het IMD te voorzien van een rigoureuze en flexibele berekeningsmethodologie (die zich kan aanpassen aan het huidige moment), werd een werkgroep van experts op het gebied van openbaar management opgericht en het resultaat werd gedeeld en besproken met de deputaties, provincieraden en gemeentehuizen.

Daarnaast worden er periodiek activiteiten en bijeenkomsten van personeel uit de lokale wereld georganiseerd om het IMD, zoals het IMD, te herzien en te ontwikkelen workshop die plaatsvond op het Congres Digitale Overheid 2021, waaraan meer dan 50 vertegenwoordigers van lokale Catalaanse overheden deelnamen en waar verbetervoorstellen werden verzameld, waarvan we sommige al hebben opgenomen in de IMD van 2023, of de workshop gehouden in november 2023 met vertegenwoordigers van gemeenteraden en raden, om het IMD te herzien en te verbeteren.

Daarom is het IMD het resultaat van gezamenlijk werk, waarbij altijd een benadering van continue verbetering wordt toegepast met feedback van overheidspersoneel en voortdurende investeringen in het creëren van een datawarehouse dat gegevens uit verschillende bronnen integreert.

IMD-berekeningsmethodologie 

De IMD is een samengestelde index of indicator die bestaat uit meer dan dertig indicatoren, georganiseerd in drie dimensies en negen subdimensies, die op een gewogen manier worden samengevoegd om een ​​vergelijkbare waarde te verkrijgen. Het wordt momenteel berekend voor 30 gemeenten en 947 provincieraden.

Het IMD is conceptueel verdeeld in drie dimensies:

- Digitale rechten. We beoordelen de beschikbaarheid van digitale publieke diensten waarmee burgers hun digitale rechten kunnen uitoefenen en de naleving van de regelgeving die deze rechten regelt.

- Digitale dienstenactiviteit. We evalueren het gebruik van digitale diensten door burgers, bedrijven, verenigingen en overheidsmedewerkers. Concreet meten we de digitalisering in de relatie met gebruikers, de digitalisering van interne processen en de interoperabiliteit tussen overheidsdiensten.

- Open overheid. We beoordelen de praktische toepassing van de principes van open overheid: transparantie, toegangsrechten, open data en burgerparticipatie.

De volgende figuur toont schematisch de drie dimensies van het IMD, evenals hun subdimensies en de indicatoren waaruit ze bestaan:

De IMD is de gewogen som van de waarden van de indicatoren in elk van de drie dimensies:

Aan elke indicator wordt een gewicht en een maximale score toegekend op basis van het belang ervan. De verschillende gewichten zijn toegekend aan 1) het herkennen (of bestraffen) van de dimensies en subdimensies die volgens de mening van mensen meer (of minder) bijdragen aan de digitale transformatie; en 2) de statistische kwaliteit van de gegevens weerspiegelen.

zien BIJLAGE Gegevensbronnen en soorten indicatoren.

Presentatie van de resultaten

Het IMD wordt gepresenteerd via een reeks dashboards en rapporten die bedoeld zijn voor de verschillende profielen die betrokken zijn bij de besluitvorming van een lokaal orgaan.

• Het dashboard "We maken een digitaal land" toont de belangrijkste indicatoren van een specifiek gebied in geaggregeerde vorm (heel Catalonië, een provincie of een provincie). Naast de eigen indicatoren van het IMD laat het ook andere indicatoren zien die daaruit voortkomen, zoals het percentage entiteiten dat elektronisch verwerkt of een transparantieportaal heeft.

• Het dashboard "Uw entiteit - Mondiale visie" biedt een snel en duidelijk beeld van de toestand van elke entiteit met als doel gemeentelijke gekozen functionarissen in staat te stellen op gegevens gebaseerde beslissingen te nemen. Naast de totale score van het IMD en zijn dimensies, toont het de waarde van sleutelindicatoren en vergelijkt deze met de gemiddelde waarde van lokale entiteiten in dezelfde bevolkingsband.

• Het rapport ‘Your Ens – Gedetailleerde weergave’ geeft het complete beeld van het IMD. Het toont de waarde van alle indicatoren van een lokaal orgaan en plaatst ze ook in de context van de gemeenten in haar bevolkingsgroep. Het is bedoeld voor leidinggevend personeel en gemeentelijk technisch personeel, zodat zij de sterke punten en verbeterpunten kunnen identificeren waarop actie kan worden ondernomen.

• Het rapport ‘Algemene vergelijking’ biedt een globaal beeld van de mate van digitale volwassenheid van een gebied. Het stelt bovengemeentelijke instanties in staat om te identificeren waar het digitale transformatiebeleid moet worden ingezet voor elk van de drie hoofddimensies van de index.

Erkenningen Beheer openen

We gebruiken de score behaald in het IMD om elk jaar de Open Administration Awards uit te reiken aan de leidende overheden op het gebied van digitale transformatie, onderverdeeld in zeven categorieën op basis van bevolkingsrang.

Meer informatie over de Erkenningen Beheer openen.

Conclusies

De duurzaamheid van dit initiatief is gebaseerd op het bevorderen dat alle informatie die nodig is om de Index te produceren beschikbaar is in open dataformaten gebaseerd op standaarden, zodat deze gemakkelijk kunnen worden verkregen en geïntegreerd. Momenteel voldoet 95% van de benodigde informatie aan deze eisen.

Het IMD is een samenwerkingsinitiatief waarbij verschillende overheidsniveaus betrokken zijn. De vier provinciale raden van Catalonië en alle Catalaanse regionale raden nemen deel aan de validatie van de methodologie en resultaten van het MD. Goed bestuur is essentieel in dit project. Wat het nut van het IMD betreft, hebben we vastgesteld dat de publicatie van de resultaten, en vooral de jaarlijkse erkenningen, dienen als een stimulans voor lokale overheden om hun verbeterpunten te identificeren en vooruitgang te boeken in het digitale transformatieproces.

Project status (in de maak)

Sinds 2019 analyseert het AOC elk jaar de digitale volwassenheid van de lokale overheidsinstantie die de IMD-methodologie. Het resultaat is te raadplegen op de website van deDigitale volwassenheidsindex.

meer informatie

• Artikel "Digitale maturiteitsindex van lokale besturen: een sleutelinstrument voor evaluatie en continue verbetering” gepubliceerd in de Baskische Journal of Management van mensen en publieke organisaties BTW (december 2022)
• Methodologie voor open beheerherkenning: https://www.aoc.cat/reconeixements-administracio-oberta-metodologia/
• E-administratierapporten (van 2010 tot 2018):  https://www.aoc.cat/indicadors/informes-d-eadministracio-a-catalunya/

BIJLAGE Gegevensbronnen en soorten indicatoren

Data bronnen

De IMD wordt berekend op basis van openbare, objectieve en verifieerbare gegevens verkregen uit de volgende informatiebronnen:

• De webpagina's van de lokale besturen zelf.
• De activiteitsgegevens van de digitale diensten van het AOC zijn beschikbaar op Opendataportaal van het AOC.
• De activiteitsgegevens van de AGE-diensten die beschikbaar zijn op het Data OBSAE-portaal van het Electronic Administration Observatory (secretariaat-generaal van Digital Administration).
• De activiteitsgegevens van digitale diensten die worden geleverd door de lokale entiteiten zelf en door de aanbieders van marktplatforms, die worden onderworpen aan een beoordelingsproces om de kwaliteit ervan te vergelijken.
• De gegevens van de Infoparticipation Index van de Autonome Universiteit van Catalonië en de Cybersecurity Exposure Index van het Cybersecurity Agentschap van Catalonië.
• De gegevens gepubliceerd in de officiële informatie- en documentatiezoekmachine van de Diputació de Barcelona (CIDO).
• De rekruteringsgegevens verstrekt door de Catalaanse Recruitment Consultative Board.
• Gegevens over burgerparticipatie verstrekt door aanbieders van openbare elektronische participatieplatforms (Diputacions de Barcelona en Girona) en markt (toeleverende bedrijven).

Bij ontbrekende gegevens worden tussenvariabelen gebruikt (als we bijvoorbeeld niet over het totale aantal inschrijvingen van een gemeente beschikken, verkrijgen we de gegevens uit het aantal inwoners en een correlatiecoëfficiënt). Alle gebruikte methoden voor de imputatie van ontbrekende gegevens zijn gevalideerd op basis van hun statistische eigenschappen.

IMD-indicatoren

Hieronder vindt u een overzicht van wat er wordt geanalyseerd en hoe elke indicator wordt gescoord:

Digitale rechten

• Burgermap:
  • Als het voor ons beschikbaar is vanuit de burgermap
  • 2,44 punten als we die hebben en anders 0 punten
• Gemeentelijke zoekmachine:
  • Als deze voor ons beschikbaar is als zoekmachine op uw gemeentelijke website
  • 1,63 punten als we die hebben en anders 0 punten
• Online exemplaar:
  • Als de VS een generiek exemplaar hebben om procedures online uit te voeren
  • 4,07 punten als hij het ons aanbiedt en anders 0 punten
• Online registreren:
  • Als u ons toestaat interoperabiliteitsvragen uit te voeren op uw register
  • 4,07 punten als hij het ons aanbiedt en anders 0 punten
• Kaartviewer:
  • Als u een cartografische viewer heeft op de gemeentelijke website
  • 0,81 punten als we die hebben en anders 0 punten
• Stedelijke kijker:
  • Als deze voor ons beschikbaar is via de stedenbouwkundige viewer op de gemeentelijke website
  • 0,81 punten als we die hebben en anders 0 punten
• ER idCAT:
  • Als we een idCAT-registratie-entiteit zijn
  • 2,44 punten als het bureau een registratie-entiteit is en idCAT-certificaten heeft uitgegeven tijdens het indexberekeningsjaar, en anders 0 punten
• WAS:
  • Als het voor ons beschikbaar is vanuit het Business Single Window
  • 1,63 punten als dit wordt geboden door het maximale aantal procedures en anders de proportionele score
• MUX:
  • Als het systeem is geïntegreerd met de MUX Register-service van het AOC
  • 2,44 punten als het systeem is geïntegreerd met MUX Registry en anders 0 punten
• Hub burgermap:
  • Als het geïntegreerd is met El meu espai
  • 2,44 punten als uw bestandsbeheerder het heeft geïntegreerd met El meu espai, 0,81 als het AOC-diensten heeft geïntegreerd en 0 punten als het geen integratie heeft
• Toegankelijkheid van mailboxen:
  • Als we een elektronische verwerkingsmailbox hebben voor toegankelijkheidsproblemen
  • 0,81 punten als we die hebben en anders 0 punten
• Toegankelijkheidszegel:
  • Als er een toegankelijkheidsverklaring op de gemeentelijke website is gepubliceerd
  • 0,81 punten als het op de gemeentelijke website is gepubliceerd en anders 0 punten
• ENI:
  • Als er een certificaat van overeenstemming van de ENI op de gemeentelijke website is gepubliceerd
  • 2,44 punten als aan ons een ENI-conformiteitscertificaat is afgegeven en anders 0 punten
• EN:
  • Als het elektronisch beheerplatform beschikt over een certificaat van overeenstemming met de ENS op de gemeentelijke website of in het Nationaal Cryptografisch Centrum
  • 2,44 punten als de ENS een certificaat van overeenstemming heeft gepubliceerd en anders 0 punten
• Regelgevende verordening:
  • Als het is goedgekeurd door een elektronische beheersverordening
  • 1,63 punten als het door ons is goedgekeurd en anders 0 punten
• Kwetsbaarheid op het gebied van cyberbeveiliging:
  • Score van het kwetsbaarheidsniveau berekend door het Cybersecurity Agentschap van Catalonië.
  • 2,44 punten als de indicator 1 is (blootstellingsniveau nul) en anders de proportionele score (de verhouding tussen het door de ACC berekende blootstellingsniveau en de indicatorwaarde in het IMD is als volgt: nul = 1, laag = 0,75, gemiddeld = 0,5 , hoog = 0,25 en kritisch = 0)
• Functionaris voor gegevensbescherming:
  • Als het voor ons beschikbaar is bij de afgevaardigde voor gegevensbescherming en het aan de APDCat heeft doorgegeven.
  • 0,81 als het bedrijf een afgevaardigde voor gegevensbescherming heeft en dit aan de APDCat heeft doorgegeven, en 0 anders
• Het vertegenwoordigt:
  • Als dit voor ons beschikbaar is via het volmachtregister
  • 0,81 als de vennootschap een volmachtregister heeft en anders 0

Dienst activiteit

• Digitalisering van de invoer:
  • Percentage elektronische boekingen ten opzichte van het totale aantal boekingen (e-TRAM online procedures (of eigen systeem) + e-FACT e-facturen + ontvangen EACAT-overmakingen / totaal aantal boekingen)
  • 8,10 punten als het percentage 80% is en anders de proportionele score
• Digitalisering van de output:
  • Percentage elektronische vertrekken ten opzichte van het totale aantal vertrekken (Verzonden kennisgevingen en e-NOTUM + EACAT-transmissies / totaal aantal vertrekken)
  • 5,40 punten als het percentage 100% is en anders de proportionele score
• Interne elektronische handtekeningen:
  • Verhouding tussen handtekeningen van ambtenaren in verhouding tot het aantal inzendingen
  • 6,75 punten als de verhouding zich in het hoogste percentiel van de bevolkingsgroep van de entiteit bevindt en anders de proportionele score (voor elke bevolkingsgroep worden 10 percentielen vastgesteld)
• Aanvragen via Open:
  • Verhouding consultaties in Via Oberta per inwoner
  • 12,60 punten als het consultatiepercentage van Via Oberta in het hoogste percentiel van de bevolkingsgroep van de entiteit ligt en anders de proportionele score (voor elke bevolkingsgroep worden 10 percentielen vastgesteld)
• Via Open Diensten:
  • Percentage actieve Via Oberta-diensten vergeleken met de verplichte
  • 5,40 punten als het percentage 100% is en anders de proportionele score.
• E-tenders:
  • Percentage elektronische aanbestedingen voor openstaande contracten ten opzichte van het totaal
  • 4,05 punten als het percentage 100% is en anders de proportionele score
• Publicaties over het profiel van de aannemer:
  • Aantal publicaties over het profiel van de aannemer per inwoner
  • 2,03 punten als de verhouding zich in het hoogste percentiel van de bevolkingsgroep van de entiteit bevindt en anders de proportionele score (voor elke bevolkingsgroep worden 3 percentielen vastgesteld)
• Publicaties in het Contractenregister:
  • Aantal publicaties in het openbaar contractenregister per inwoner
  • 0,68 punten als de verhouding zich in het hoogste percentiel van de bevolkingsgroep van de entiteit bevindt en anders de proportionele score (voor elke bevolkingsgroep worden 3 percentielen vastgesteld)

Open Overheid

• Naleving van transparantie:
  • Score ontvangen in Infoparticipa
  • 8,13 punten als de infoparticipa-score 100% is en anders een proportionele score
• Open data:
  • Als u uw eigen open data naar ons publiceert
  • 1,63 punten als we het publiceren en anders 0 punten
• Burgerparticipatie:
  • Aantal burgerparticipatieprocessen via elektronische middelen uitgevoerd door de entiteit
  • 1,63 punten als er meer dan 7 participatieve processen zijn uitgevoerd, 0,98 als er tussen de 4 en 6 processen zijn uitgevoerd, 0,49 als er tussen 1 en 3 processen zijn uitgevoerd en 0 als er geen zijn uitgevoerd
• Elektronische stemming:
  • Als elektronisch stemmen is gebruikt in een burgerparticipatieproces
  • 0,49 punten als het door ons is gebruikt en anders 0 punten
• Transparantieportaal:
  • Als u een transparantieportaal heeft
  • 3,25 punten als het voor ons beschikbaar is en anders 0
• Elektronisch bord:
  • Als u een elektronisch prikbord heeft
  • 0,81 punten als we het hebben en anders 0
• Waarschuwingskanaal:
  • Als we een intern waarschuwingskanaal hebben.
  • 2,44 punten als we het hebben en anders 0
• Toegang tot openbare informatie:
  • Als we een specifieke elektronische procedure hebben voor verzoeken om toegang tot openbare informatie
  • 1,63 als de instelling een specifieke elektronische procedure heeft voor verzoeken om toegang tot openbare informatie.