Uitdaging
Hoe kunnen we de tevredenheid van burgers over het gebruik van digitale overheidsdiensten rigoureus meten.
problematisch
Vanuit het AOC Consortium bevorderen we de uitwerking van indicatoren die de politieke leiders en publieke managers in staat stellen om het maatschappelijk rendement van de initiatieven van digitaal bestuur en open overheid te kennen, en zo op een systematische en rigoureuze manier hun effectiviteit en efficiëntie te evalueren, om dat beleidsmakers en publieke managers prioriteiten kunnen stellen en de beste beslissingen kunnen nemen.
Het is erg belangrijk om de perceptie van de tevredenheid van de burger te beoordelen.
Aangezien het uiteindelijke doel van het openbaar bestuur is om diensten te verlenen die voldoen aan de behoeften en verwachtingen van burgers, is het van groot belang om de perceptie van hun tevredenheid te beoordelen.
Maar meet iemand het?
Het AOC Consortium heeft onderzocht hoe de tevredenheid van het publiek met openbare diensten in het algemeen (niet beperkt tot het digitale niveau) kan worden gemeten aan regeringen over de hele wereld. Hij nam ook contact op met de relevante instanties over evaluatiekwesties: iValua, de gemeenteraad van Barcelona, de provinciale raad van Barcelona, het staatsagentschap voor de evaluatie van openbaar beleid en de kwaliteit van de dienstverlening (bestaat niet meer vandaag) en internationale websites.
De conclusies waren teleurstellend:
- Over het algemeen meten maar heel weinig overheidsdiensten de tevredenheid van de burgers en nog minder publiceren ze de resultaten openlijk.
- Er zijn verschillende methoden voor het beoordelen van de tevredenheid van burgers die het meest worden gebruikt in de particuliere sector. We hebben geen methodiek kunnen vinden die als norm voor de publieke sector kan worden beschouwd.
- De Diputació de Barcelona heeft op verzoek een zeer goed rapport uitgebracht voor zijn gemeenteraden, genaamd "Beeld en evenwicht van gemeentelijk beheer". Maar daar is hij al lang mee gestopt.
- De gemeenteraad van Barcelona voert uitstekende onderzoeken naar de tevredenheid van burgers uit met behulp van de methodologie voor het beoordelen van verwachtingen. Deze methode is zeer geavanceerd, maar zeer complex en duur in het gebruik door het AOC Consortium, omdat het gaat om het meten van het verschil in verwachtingen voordat de openbare dienst wordt gebruikt en het daaropvolgende resultaat.
- Enquêtes met generieke tevredenheidsvragen geven resultaten die niet gemakkelijk te interpreteren of te vergelijken zijn, en op zichzelf weinig waarde hebben. Een score van 7 (van de 10) kan bijvoorbeeld goed zijn in sommige contexten of vraagtypen, en slecht in andere. Bovendien zijn de antwoorden vaak frivool en ondoordacht.
- In de particuliere sector werd ontdekt dat de belangrijkste methode die door de belangrijkste bedrijven ter wereld wordt gebruikt, de Net Promoter Score (NPS).
NPS te hulp
Er zijn talloze onderzoeken die bevestigen dat de Net Promotor Score (NPS) mond-tot-mondreclame heel goed meet op basis van een specifieke vraag. "Hoe waarschijnlijk is het dat u deze service aan een collega of vriend aanbeveelt?". Deze vraag heeft het psychologische effect dat we om een aanbeveling vragen en instinctief zijn mensen strenger in het beantwoorden omdat we niet graag een slechte aanbeveling doen aan iemand in de buurt.
Op een schaal van 0 tot 10 wordt gekeken naar:
- promotors: wie een 9 of 10 geeft, is zeer tevreden over de dienst of het product en zal er enthousiast en proactief over praten
- Schulden: degenen die een 7 of 8 beoordelen, zijn tevreden over de dienst of het product en zullen positief spreken als daarom wordt gevraagd, maar zullen dat niet enthousiast doen
- tegenstanders: degenen die een cijfer geven tussen 0 en 6, zijn niet tevreden met de dienst of het product en zullen negatief spreken
Studies tonen een hoge correlatie aan tussen deze resultaten en de daaropvolgende verbale opmerkingen. De AOC heeft gevalideerd dat de beoordelingen sterk gecorreleerd zijn met de schriftelijke opmerkingen waar we gebruikers naar vragen in de digitale enquête.
In de private sector worden NPS-resultaten gebruikt als maatstaf voor klantentrouw en toekomstige aankopen. Promoters zijn loyale klanten en tegenstanders zijn klanten die nooit meer iets zullen kopen. In de publieke sector heeft het geen zin om over klantentrouw te praten, omdat openbare diensten over het algemeen "monopolistisch" zijn en er geen concurrentie is tussen overheidsdiensten.
In 2016 werd echter de studie "Adapting Net Promoter thinking in public sector organisations" gepubliceerd door Juho Hakola, van de Universiteit van Jyväskylä (Finland), waarin wordt uitgelegd hoe de NPS-methodologie kan worden toegepast op de publieke sector.
Toegepaste oplossing
Gebruik de NPS-methodologie aangepast aan de publieke sector volgens de studie “Het denken van Net Promoter aanpassen in organisaties in de publieke sector”Door Juho Hakola, om de tevredenheid van burgers over het gebruik van digitale openbare diensten te beoordelen.
Deze aanpassing is heel gemakkelijk te begrijpen en informeert ons over het percentage burgers dat:
- Ze zijn zeer tevreden (9-10) en zullen zeer goed spreken over de service
- Tevreden (8-9) en zal goed spreken over de service
- Ontevreden (0-6) en zal slecht spreken over de service
Deze methodiek is geïmplementeerd voor zowel burgers als ambtenaren die gebruik maken van AOC-diensten. Het is toegepast in een context die het heel gemakkelijk heeft gemaakt om een groot aantal enquêtes te verkrijgen en ervoor te zorgen dat er een voldoende representatieve steekproef is. We verzamelen meer dan 30.000 maandelijkse enquêtes over alle digitale diensten.
Criteria voor het verzamelen van de antwoorden
- Tevredenheidsonderzoeken worden op een “hot” moment in het proces en onmiddellijk gepresenteerd. Bijvoorbeeld: bij het uitvoeren van een procedure wordt het onderzoek aan het einde van de procedure gepresenteerd.
- De enquêtes worden gepresenteerd met een pop-upvenster waarin u wordt uitgenodigd om deel te nemen (call to action).
- De peilingen zijn erg summier. Ze hebben een gemiddelde duur van minder dan 1 minuut en hebben meestal een paar zeer geselecteerde vragen:
-
- NPS waar het waardeert van 0 tot 10 de aanbeveling van de openbare dienst
- Open vraag waarom de waardering
- Vraag of je een suggestie voor verbetering of suggestie wilt doen
- Enquêtes zijn niet invasief. Gebruikers die reageren op een enquête voor een specifieke dienst, worden pas een paar maanden later opnieuw voor een enquête ingediend.
Met deze methodologie zijn we erin geslaagd om belangrijke kwantitatieve informatie te verzamelen over de tevredenheid van burgers met digitale overheidsdiensten. Nu hebben we nog steeds uitdagingen om op te lossen
Uitstekende uitdagingen
- Analyseer het enorme aantal reacties dat tot nu toe is verzameld
Naast de aanbeveling tussen 0 en 10 hebben we ongeveer 10.000 opmerkingen per maand over de beoordeling van gebruikers die ons belangrijke kwalitatieve informatie kunnen geven, maar die we niet kunnen analyseren met menselijke hulpbronnen. We hebben een analysepilot uitgevoerd met algoritmen voor de interpretatie van natuurlijke taal om eNotum-service-enquêtes met bevredigende resultaten te analyseren en we moeten dit systematiseren en extrapoleren naar andere services. - We hebben niet de hele "foto"
Tevredenheidsonderzoeken worden pas ingediend als het proces is afgerond. We verzamelen geen beoordelingen van gebruikers die een actie of procedure hebben gestart met een AOC-service en deze niet hebben kunnen voltooien. We moeten nog onderzoeken hoe we deze gevallen kunnen detecteren, omdat het helemaal niet gemakkelijk is om te weten wanneer het optreedt vanwege een serviceprobleem of omdat de gebruiker vrijwillig opgeeft.
Project status
- In de maak en van toepassing op alle digitale diensten van het AOC Consortium.
- We voeren ook tevredenheidsonderzoeken uit onder de deelnemers aan de AOC-conferenties en andere evenementen waaraan we samenwerken.