Sfida

Come misurare rigorosamente la soddisfazione dei cittadini nell'uso dei servizi pubblici digitali.

Problematico

Dal Consorzio AOC promuoviamo l'elaborazione di indicatori che consentano ai leader politici e ai dirigenti pubblici di conoscere il ritorno sociale delle iniziative di amministrazione digitale e governo aperto, e quindi di valutarne in modo sistematico e rigoroso l'efficacia e l'efficienza, al fine di che i responsabili politici e i dirigenti pubblici possano decidere le priorità e prendere le decisioni migliori.

È molto importante valutare la percezione della soddisfazione dei cittadini.

Dato che l'obiettivo ultimo della pubblica amministrazione è fornire servizi che soddisfino i bisogni e le aspettative dei cittadini, è molto importante valutare la percezione della loro soddisfazione.

Ma qualcuno lo misura?

Il Consorzio AOC ha studiato come misurare la soddisfazione del pubblico per i servizi pubblici in generale (non limitati al livello digitale) ai governi di tutto il mondo. Ha inoltre contattato gli organismi competenti su questioni di valutazione: iValua, il Comune di Barcellona, ​​il Consiglio Provinciale di Barcellona, ​​l'Agenzia statale per la valutazione delle politiche pubbliche e la qualità dei servizi (oggi non più esistente) e siti web internazionali.

Le conclusioni sono state deludenti:

  • In generale, pochissime amministrazioni pubbliche misurano la soddisfazione dei cittadini e ancor meno pubblicano apertamente i risultati.
  • Esistono diverse metodologie per valutare la soddisfazione dei cittadini che vengono utilizzate principalmente nel settore privato. Non siamo stati in grado di trovare alcuna metodologia che possa essere considerata uno standard per il settore pubblico.
  • La Diputació de Barcelona ha realizzato un ottimo rapporto per i suoi consigli comunali, su richiesta, intitolato “Immagine ed equilibrio della gestione municipale”. Ma da tempo ha smesso di farlo.
  • Il Comune di Barcellona conduce eccellenti studi sulla soddisfazione dei cittadini utilizzando la metodologia per la valutazione delle aspettative. Questo metodo è molto avanzato ma molto complesso e costoso da utilizzare da parte del Consorzio AOC, perché comporta la misurazione della differenza di aspettative prima di utilizzare il servizio pubblico e il conseguente risultato.
  • I sondaggi con domande generiche di soddisfazione danno risultati che non sono facili da interpretare o confrontare e di per sé hanno scarso valore. Ad esempio, ottenere un punteggio di 7 (su 10) può essere positivo in alcuni contesti o tipi di domande e negativo in altri. Inoltre, le risposte sono spesso frivole e insensate.
  • Nel settore privato è stato rilevato che la principale metodologia utilizzata dalle principali aziende mondiali è la Net Promoter Score (NPS).

NPS in soccorso

Ci sono numerosi studi che hanno confermato che il Net promoter Score (NPS) misura molto bene il passaparola sulla base di una domanda specifica. "Con che probabilità consigli questo servizio a un collega o amico?". Questa domanda ha l'effetto psicologico di chiedere una raccomandazione e istintivamente le persone sono più rigorose nel rispondere perché non ci piace fare una cattiva raccomandazione a qualcuno vicino.

In una scala da 0 a 10 si considerano:

  • Promotori: chi valuta 9 o 10, è molto soddisfatto del servizio o del prodotto e ne parlerà con entusiasmo e proattività
  • Passività: chi vota con 7 o 8, è soddisfatto del servizio o del prodotto e parlerà positivamente se richiesto ma non lo farà con entusiasmo
  • Detrattori: coloro che valutano tra 0 e 6, non sono soddisfatti del servizio o del prodotto e parleranno negativamente

Gli studi mostrano un'elevata correlazione tra questi risultati ei successivi commenti verbali. L'AOC ha convalidato che le valutazioni sono altamente correlate ai commenti scritti che chiediamo agli utenti nel sondaggio digitale.

Nel settore privato, i risultati NPS vengono utilizzati come misura della fedeltà dei clienti e degli acquisti futuri. I promotori sono clienti fedeli e i detrattori sono clienti che non compreranno mai più. Nel settore pubblico non ha senso parlare di fidelizzazione dei clienti perché i servizi pubblici sono generalmente "monopolistici" e non c'è concorrenza tra le pubbliche amministrazioni.

Nel 2016, invece, è stato pubblicato da Juho Hakola, dell'Università di Jyväskylä (Finlandia), lo studio "Adapting Net Promoter thinking in public sector organization" che spiega come la metodologia NPS possa essere applicata al settore pubblico.

Soluzione applicata

Utilizzare la metodologia NPS adattata al settore pubblico secondo lo studio “Adattare il pensiero di Net Promoter nelle organizzazioni del settore pubblico”Di Juho Hakola, per valutare la soddisfazione dei cittadini per l'uso dei servizi pubblici digitali.

Questo adattamento è molto facile da capire e ci informa della % di cittadini che:

  • Sono molto soddisfatti (9-10) e parleranno molto bene del servizio
  • Soddisfatto (8-9) e parlerà bene del servizio
  • Insoddisfatto (0-6) e parlerà male del servizio

Questa metodologia è stata implementata sia per i cittadini che per i dipendenti pubblici che utilizzano i servizi AOC. È stato applicato in un contesto che ha reso molto facile ottenere un volume elevato di indagini e garantire che vi sia un campione sufficientemente rappresentativo. Nello specifico, stiamo raccogliendo più di 30.000 sondaggi mensili di tutti i servizi digitali.

Criteri per la raccolta delle risposte

  • I sondaggi sulla soddisfazione vengono presentati in un momento "caldo" del processo e immediatamente. Ad esempio: quando si esegue una procedura, il sondaggio viene presentato alla fine della procedura.
  • I sondaggi vengono presentati con una finestra pop-up che ti invita a partecipare (invito all'azione).
  • I sondaggi sono molto brevi. Hanno una durata media inferiore a 1 minuto e di solito hanno alcune domande molto selezionate:
    1. NPS dove valorizza da 0 a 10 la raccomandazione del servizio pubblico
    2. Domanda aperta sul perché la valutazione
    3. Chiedi se vuoi dare un suggerimento per il miglioramento o un suggerimento
  • I sondaggi non sono invasivi. Gli utenti che rispondono a un sondaggio per un servizio specifico non vengono reinviati a un sondaggio fino a pochi mesi dopo.

Con questa metodologia siamo riusciti a raccogliere importanti informazioni quantitative sulla soddisfazione dei cittadini nei confronti dei servizi pubblici digitali. Ora, abbiamo ancora sfide da risolvere

Sfide eccezionali

  1. Analizza l'enorme volume di commenti raccolti finora
    Oltre alla raccomandazione tra 0 e 10, abbiamo circa 10.000 commenti al mese sulla valutazione fatta dagli utenti che possono darci importanti informazioni qualitative ma che non possiamo analizzare con le risorse umane. Abbiamo condotto un'analisi pilota con algoritmi di interpretazione in linguaggio naturale per analizzare i sondaggi del servizio eNotum con risultati soddisfacenti e dobbiamo sistematizzarlo ed estrapolarlo ad altri servizi.
  2. Non abbiamo l'intera "fotografia"
    I sondaggi sulla soddisfazione vengono inviati solo quando il processo è completo. Non stiamo raccogliendo la valutazione degli utenti che hanno avviato un'azione o una procedura con un servizio AOC e non sono stati in grado di completarla. Dobbiamo ancora esplorare come possiamo rilevare questi casi poiché non è affatto facile sapere quando si verifica a causa di un problema di servizio o perché l'utente si arrende volontariamente.

Stato del progetto

  • In produzione e applicandosi a tutti i servizi digitali del Consorzio AOC.
  • Effettuiamo inoltre sondaggi sulla soddisfazione dei partecipanti alle Conferenze AOC e agli altri eventi a cui collaboriamo.