AOC

reto

Cómo medir con rigor la satisfacción de la ciudadanía en el uso de los servicios públicos digitales.

problemática

Desde el Consorcio AOC impulsamos la elaboración de indicadores que permitan a los responsables políticos y directivos públicos conocer el retorno social de las iniciativas de administración digital y gobierno abierto, y así evaluar de forma sistemática y rigurosa su efectividad y eficiencia, a fin que los responsables políticos y directivos públicos puedan decidir prioridades y tomar las mejores decisiones.

Es muy importante evaluar la percepción de la satisfacción de la ciudadanía.

Dado que el objetivo final de la administración pública es ofrecer servicios que den respuesta a las necesidades y expectativas de la ciudadanía, es muy importante evaluar la percepción de su satisfacción.

Pero, alguien lo mide?

El Consorcio AOC ha estudiado cómo se mide la satisfacción ciudadana de los servicios públicos en general (no restringido al nivel digital) a gobiernos de todo el mundo. También se contactó con los organismos referentes en temas de evaluación: Ivàlua, Ayuntamiento de Barcelona, ​​Diputación de Barcelona, ​​Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (hoy ya no existe) y webs internacionales.

Las conclusiones fueron decepcionantes:

  • A nivel general, muy pocas administraciones públicas miden la satisfacción de la ciudadanía y, aún menos, publican los resultados abiertamente.
  • Existen diferentes metodologías de evaluación de la satisfacción ciudadana que se utilizan mayoritariamente en el sector privado. No hemos sabido encontrar ninguna metodología que se pueda considerar un estándar por el sector público.
  • La Diputación de Barcelona realizaba para sus ayuntamientos, bajo demanda, un muy buen informe llamado "Imagen y balance de la gestión municipal". Pero hace tiempo que lo ha dejado de hacer.
  • El Ayuntamiento de Barcelona realiza unos excelentes estudios de satisfacción ciudadana utilizando la metodología de evaluación de las expectativas. Este método es muy avanzado pero muy complejo y costoso para ser utilizado por el Consorcio AOC, porque implica la medida de la diferencia de las expectativas antes de utilizar el servicio público y el resultado posterior.
  • Las encuestas con preguntas genéricas sobre la satisfacción dan resultados que no son fácilmente interpretables, ni comparables, y tienen poco valor de por sí. Por ejemplo, obtener una puntuación de un 7 (sobre 10) puede ser buena en algunos contextos o tipo de pregunta, y mala en otros. Además, las respuestas a menudo se hacen de forma frívola y no reflexionada.
  • En el sector privado se detectó que la principal metodología utilizada por las principales compañías del mundo es la Puntaje neto del promotor (NPS).

NPS al rescate

Hay numerosos estudios que han corroborado que la Net promoter Score (NPS) mide muy bien el boca a boca (word-of-mouth) en base a una pregunta específica "Como de probable es que recomiendes este Servicio a un compañero o amigo?". Esta pregunta tiene el efecto psicológico que se pide una recomendación e instintivamente las personas somos más rigurosas en la respuesta porque no nos gusta una mala recomendación a alguien cercano.

En una escala de 0 a 10, se consideran:

  • promotores: los que valoran con un 9 o 10, están muy satisfechos del servicio o producto y hablarán con entusiasmo de él y de forma proactiva
  • pasivos: los que valoran con un 7 u 8, están satisfechos con el servicio o producto y hablarán en positivo si se les pide pero no lo harán con entusiasmo
  • detractores: los que valoran entre 0 y 6, no están satisfechos con el servicio o producto y hablarán negativamente

Los estudios demuestran una elevada correlación entre estos resultados y los comentarios verbales posteriores. El AOC hemos validado que las valoraciones tienen una elevada correlación con los comentarios por escrito que pedimos a los usuarios en la encuesta digital.

En el sector privado, los resultados del NPS se utilizan como una medida de la fidelización de los clientes y de sus futuras compras. Los promotores son clientes fieles y los detractores son clientes que no volverán a comprar nunca más. En el sector público, no tiene sentido hablar de fidelización de los clientes para que los servicios públicos son, con carácter general "monopolísticos" y no hay competencia entre administraciones públicas.

Sin embargo, en 2016 se publicó el estudio “Adapting Net Promoter thinking in public sector organizations”, Juho Hakola, de la Universidad de Jyväskylä (Finlandia) que explica cómo aplicar la metodología NPS al sector público.

Solución aplicada

Utilizar la metodología NPS adaptada al sector público según el estudio "Adapting Net Promoter thinking in public sector organizations"De Juho Hakola, para evaluar la satisfacción de los ciudadanos en el uso de los servicios públicos digitales.

Este adaptación es muy fácil de entender y nos informa del% de ciudadanos que:

  • Están muy satisfechos (9-10) y hablarán muy bien del servicio
  • Satisfechos (8-9) y hablarán bien del servicio
  • Insatisfechos (0-6) y hablarán mal del servicio

Esta metodología se ha implantado tanto para ciudadanos como para empleados públicos que utilizan los servicios AOC. Se ha aplicado en un contexto que ha facilitado mucho obtener un volumen elevado de encuestas y garantizar que hay una muestra suficientemente representativa. Concretamente estamos recogiendo más de 30.000 encuestas mensuales de todos los servicios digitales.

Criterios para recoger las respuestas

  • Las encuestas de satisfacción se presentan en un momento "caliente" del proceso y de forma inmediata. Por ejemplo: con a la hora de hacer un trámite, la encuesta se presenta al final del trámite.
  • Las encuestas se presentan con una ventana emergente que invita a participar (call to action).
  • Las encuestas son muy breves. Tienen una duración media de menos de 1 minuto y tienen generalmente unas pocas preguntas muy seleccionadas:
    1. NPS donde valora de 0 a 10 la recomendación del servicio público
    2. Pregunta abierta del por qué de la valoración
    3. Pregunta si quiere hacer una propuesta de mejora o sugerencia
  • Las encuestas no son invasivas. Los usuarios que responden a una encuesta de un servicio concreto, no se les vuelve a presentar la encuesta hasta al cabo de unos meses.

Con esta metodología hemos conseguido recopilar una importante información cuantitativa sobre la satisfacción ciudadana de los servicios públicos digitales. Ahora bien, tenemos todavía retos a resolver ...

retos pendientes

  1. Analizar el enorme volumen de comentarios recogidos hasta ahora
    Aparte de la recomendación entre 0 y 10, disponemos de aproximadamente 10.000 comentarios mensuales sobre la valoración realizada por los usuarios que nos puede dar información cualitativa importante pero que no podemos analizar con recursos humanos. Hemos hecho un piloto de análisis con algoritmos de interpretación de lenguaje natural para analizar las encuestas del servicio eNotum con resultados satisfactorios y necesitamos sistematizarlo y extrapolarlo al resto de servicios.
  2. No disponemos de la "fotografía" entera
    Las encuestas de satisfacción sólo se presentan cuando se termina el proceso. No estamos recogiendo la valoración de los usuarios que han iniciado una actuación o trámite con un servicio AOC y no la han podido terminar. Tenemos pendiente explorar cómo podemos detectar estos casos dado que no es nada fácil saber cuando se produce por un problema del servicio o bien porque el usuario, voluntariamente, desiste.

Estado del proyecto

  • En producción y aplicándose a todos los servicios digitales del Consorci AOC.
  • También realizamos encuestas de satisfacción a los asistentes a las Jornadas AOC y otros eventos en los que colaboramos.