Zufriedenheit bei der Nutzung digitaler öffentlicher Dienste

Herausforderung

Wie können wir die Zufriedenheit der Bürger mit der Nutzung digitaler öffentlicher Dienste rigoros messen?

problematisch

Vom AOC-Konsortium fördern wir die Entwicklung von Indikatoren, die es politischen Entscheidungsträgern und öffentlichen Managern ermöglichen, den sozialen Nutzen digitaler Verwaltungs- und Open-Government-Initiativen zu erkennen und so deren Wirksamkeit und Effizienz systematisch und rigoros zu bewerten, damit politische Entscheidungsträger und öffentliche Manager kann Prioritäten setzen und die besten Entscheidungen treffen.

Es ist sehr wichtig, die Wahrnehmung der Bürgerzufriedenheit zu bewerten.

Da das oberste Ziel der öffentlichen Verwaltung darin besteht, Dienstleistungen anzubieten, die den Bedürfnissen und Erwartungen der Bürger entsprechen, ist es sehr wichtig, die Wahrnehmung ihrer Zufriedenheit zu beurteilen.

Aber misst das jemand?

Das AOC-Konsortium hat untersucht, wie die öffentliche Zufriedenheit mit öffentlichen Dienstleistungen im Allgemeinen (nicht beschränkt auf die digitale Ebene) für Regierungen auf der ganzen Welt gemessen werden kann. Er kontaktierte auch die Referenzgremien zu Bewertungsfragen: iValua, den Stadtrat von Barcelona, den Provinzrat von Barcelona, die staatliche Agentur für die Bewertung der öffentlichen Politik und die Qualität der Dienstleistungen (besteht heute nicht mehr) und internationale Websites.

Die Schlussfolgerungen waren enttäuschend:

Im Allgemeinen messen nur sehr wenige öffentliche Verwaltungen die Bürgerzufriedenheit und noch weniger veröffentlichen die Ergebnisse offen.
Es gibt verschiedene Methoden zur Bewertung der Bürgerzufriedenheit, die hauptsächlich im privaten Sektor verwendet werden. Wir konnten keine Methodik finden, die als Standard für den öffentlichen Sektor angesehen werden kann.
Die Diputació de Barcelona hat für ihre Stadträte auf Anfrage einen sehr guten Bericht mit dem Titel „Image und Ausgewogenheit der kommunalen Verwaltung“ erstellt. Doch damit hat er längst aufgehört.
Der Stadtrat von Barcelona führt exzellente Studien zur Bürgerzufriedenheit durch, die die Methodik zur Bewertung der Erwartungen verwenden. Diese Methode ist sehr fortschrittlich, aber sehr komplex und teuer in der Anwendung durch das AOC-Konsortium, da sie die Differenz der Erwartungen vor der Inanspruchnahme des öffentlichen Dienstes und das anschließende Ergebnis misst.
Umfragen mit generischen Zufriedenheitsfragen liefern Ergebnisse, die weder leicht zu interpretieren noch vergleichbar sind und an sich wenig Wert haben. Eine Punktzahl von 7 (von 10) kann beispielsweise in manchen Kontexten oder Fragetypen gut und in anderen schlecht sein. Zudem werden Antworten oft leichtfertig und unreflektiert gegeben.
Im privaten Sektor wurde festgestellt, dass die von den wichtigsten Unternehmen der Welt hauptsächlich verwendete Methodik die Net Promoter Score (NPS).

NPS zur Rettung

Es gibt zahlreiche Studien, die belegen, dass der Net Promoter Score (NPS) die Mundpropaganda anhand einer bestimmten Fragestellung sehr gut misst. "Wie wahrscheinlich ist es, dass Sie diesen Service einem Kollegen oder Freund empfehlen?". Diese Frage hat den psychologischen Effekt, nach einer Empfehlung zu fragen, und instinktiv sind die Leute bei der Beantwortung strenger, weil wir jemandem, der uns nahe steht, keine schlechte Empfehlung aussprechen möchten.

Auf einer Skala von 0 bis 10 werden folgende Punkte berücksichtigt:

Promoter: wer mit 9 oder 10 bewertet, ist mit der Dienstleistung oder dem Produkt sehr zufrieden und wird begeistert und proaktiv darüber sprechen
Verbindlichkeiten: diejenigen, die mit 7 oder 8 bewerten, sind mit der Dienstleistung oder dem Produkt zufrieden und sprechen auf Nachfrage positiv, aber nicht begeistert
Kritiker: diejenigen, die zwischen 0 und 6 bewerten, sind mit der Dienstleistung oder dem Produkt nicht zufrieden und werden negativ sprechen

Studien zeigen eine hohe Korrelation zwischen diesen Ergebnissen und späteren verbalen Kommentaren. Das AOC hat bestätigt, dass die Bewertungen eine hohe Korrelation mit den schriftlichen Kommentaren aufweisen, die wir Nutzer in der digitalen Umfrage erfragen.

Im privaten Sektor werden NPS-Ergebnisse als Maß für die Kundenbindung und zukünftige Käufe verwendet. Promoter sind treue Kunden und Kritiker sind Kunden, die nie wieder bei ihnen kaufen werden. Im öffentlichen Sektor macht es keinen Sinn, von Kundenbindung zu sprechen, da öffentliche Dienstleistungen im Allgemeinen "monopolistisch" sind und es keinen Wettbewerb zwischen öffentlichen Verwaltungen gibt.

Im Jahr 2016 wurde jedoch die Studie „Adapting Net Promoter Thinking in Public Sector Organizations“ von Juho Hakola von der University of Jyväskylä (Finnland) veröffentlicht, die erklärt, wie die NPS-Methodik auf den öffentlichen Sektor angewendet werden kann.

Angewandte Lösung

Verwenden Sie die gemäß der Studie an den öffentlichen Sektor angepasste NPS-Methodik.Anpassung des Denkens von Net Promotern in Organisationen des öffentlichen Sektors„Von Juho Hakola, um die Zufriedenheit der Bürger mit der Nutzung digitaler öffentlicher Dienste zu bewerten.

Diese Anpassung ist sehr leicht verständlich und informiert uns über den Prozentsatz der Bürger, die:

Sie sind sehr zufrieden (9-10) und werden sehr gut über den Service sprechen
Zufrieden (8-9) und wird gut über den Service sprechen
Unzufrieden (0-6) und wird schlecht über den Service sprechen

Diese Methodik wurde sowohl für Bürger als auch für Angestellte des öffentlichen Dienstes implementiert, die AOC-Dienste nutzen. Es wurde in einem Kontext angewendet, der es sehr einfach gemacht hat, ein hohes Erhebungsvolumen zu erhalten und sicherzustellen, dass eine ausreichend repräsentative Stichprobe vorliegt. Konkret sammeln wir mehr als 30.000 monatliche Umfragen zu allen digitalen Services.

Kriterien zum Sammeln der Antworten

Zufriedenheitsumfragen werden zu einem „heißen“ Zeitpunkt im Prozess und sofort präsentiert. Beispiel: Bei der Durchführung eines Verfahrens wird die Umfrage am Ende des Verfahrens präsentiert.
Die Umfragen werden mit einem Pop-up-Fenster präsentiert, das zur Teilnahme einlädt (Call to Action).
Die Umfragen sind sehr kurz. Sie dauern durchschnittlich weniger als 1 Minute und beinhalten meist ein paar sehr ausgewählte Fragen:

1. NPS, wo es von 0 bis 10 die Empfehlung des öffentlichen Dienstes bewertet
2. Offene Frage, warum die Bewertung
3. Fragen Sie, ob Sie einen Verbesserungsvorschlag oder Vorschlag machen möchten

Umfragen sind nicht invasiv. Benutzer, die auf eine Umfrage zu einem bestimmten Dienst antworten, erhalten die Umfrage erst einige Monate später erneut.

Mit dieser Methodik ist es uns gelungen, wichtige quantitative Informationen über die Zufriedenheit der Bürger mit digitalen öffentlichen Dienstleistungen zu sammeln. Jetzt haben wir noch Herausforderungen zu lösen…

Anstehende Herausforderungen

Analysieren Sie die riesige Menge an bisher gesammelten Kommentaren
Neben der Empfehlung zwischen 0 und 10 haben wir monatlich ca. 10.000 Kommentare zur Einschätzung der Nutzer, die uns wichtige qualitative Hinweise geben können, die wir aber nicht mit Personal auswerten können. Wir haben ein Analyse-Pilotprojekt mit Algorithmen zur Interpretation natürlicher Sprache durchgeführt, um eNotum-Service-Umfragen mit zufriedenstellenden Ergebnissen zu analysieren, und wir müssen es systematisieren und auf andere Services extrapolieren.
Wir haben nicht das ganze "Foto"
Zufriedenheitsumfragen werden erst eingereicht, wenn der Prozess abgeschlossen ist. Wir sammeln keine Bewertungen von Benutzern, die eine Aktion oder ein Verfahren mit einem AOC-Dienst eingeleitet haben und diese nicht abschließen konnten. Wir müssen noch untersuchen, wie wir diese Fälle erkennen können, da es überhaupt nicht leicht zu erkennen ist, wann es aufgrund eines Serviceproblems auftritt oder der Benutzer freiwillig aufgibt.

Projekt-Status

In Produktion und Bewerbung für alle digitalen Dienste des AOC-Konsortiums.
Wir führen auch Zufriedenheitsumfragen für die Teilnehmer der AOC-Konferenzen und anderer Veranstaltungen durch, an denen wir mitwirken.