AOC

Desafio

Como podemos medir com rigor a satisfação do cidadão no uso de serviços públicos digitais.

Problemático

A partir do Consórcio AOC promovemos a elaboração de indicadores que permitem aos líderes políticos e gestores públicos conhecer o retorno social das iniciativas de administração digital e governo aberto, e assim avaliar de forma sistemática e rigorosa sua eficácia e eficiência, a fim de que os formuladores de políticas e gestores públicos possam decidir prioridades e tomar as melhores decisões.

É muito importante avaliar a percepção da satisfação do cidadão.

Dado que o objetivo final da administração pública é prestar serviços que vão ao encontro das necessidades e expectativas dos cidadãos, é muito importante avaliar a perceção da sua satisfação.

Mas alguém mede?

O Consórcio AOC estudou como medir a satisfação do público com os serviços públicos em geral (não restrito ao nível digital) para governos de todo o mundo. Também contactou os órgãos de referência sobre questões de avaliação: iValua, Câmara Municipal de Barcelona, ​​Conselho Provincial de Barcelona, ​​Agência Estatal de Avaliação de Políticas Públicas e Qualidade de Serviços (já não existe hoje) e sites internacionais.

As conclusões foram decepcionantes:

  • Em geral, muito poucas administrações públicas medem a satisfação dos cidadãos e ainda menos publicam os resultados abertamente.
  • Existem diferentes metodologias para avaliar a satisfação do cidadão que são mais utilizadas no setor privado. Não encontramos nenhuma metodologia que possa ser considerada padrão para o setor público.
  • A Diputació de Barcelona realizou um relatório muito bom para suas câmaras municipais, sob demanda, chamado “Imagem e equilíbrio da gestão municipal”. Mas ele já parou de fazer isso há muito tempo.
  • A Câmara Municipal de Barcelona realiza excelentes estudos de satisfação dos cidadãos utilizando a metodologia de avaliação de expectativas. Este método é muito avançado, mas muito complexo e caro de ser utilizado pelo Consórcio AOC, pois envolve medir a diferença de expectativas antes de utilizar o serviço público e o resultado posterior.
  • Pesquisas com perguntas genéricas de satisfação dão resultados que não são facilmente interpretados ou comparáveis ​​e têm pouco valor em si mesmos. Por exemplo, obter uma pontuação de 7 (de 10) pode ser bom em alguns contextos ou tipos de perguntas e ruim em outros. Além disso, as respostas são muitas vezes frívolas e impensadas.
  • No setor privado detectou-se que a principal metodologia utilizada pelas principais empresas do mundo é a Pontuação líquida do promotor (NPS).

NPS ao resgate

Existem inúmeros estudos que corroboram que o Net Promoter Score (NPS) mede muito bem o boca a boca com base em uma pergunta específica. "Qual a probabilidade de você recomendar este serviço a um colega ou amigo?". Essa pergunta tem o efeito psicológico de pedir uma recomendação e instintivamente as pessoas são mais rigorosas em responder porque não gostamos de fazer uma recomendação ruim para alguém próximo.

Em uma escala de 0 a 10, são considerados:

  • Promotores: aqueles que avaliam 9 ou 10, estão muito satisfeitos com o serviço ou produto e falarão sobre isso com entusiasmo e proatividade
  • Passivos: aqueles que avaliam com 7 ou 8, estão satisfeitos com o serviço ou produto e falarão positivamente se solicitados, mas não o farão com entusiasmo
  • Detratores: quem avalia entre 0 e 6, não está satisfeito com o serviço ou produto e vai falar negativamente

Estudos mostram uma alta correlação entre esses resultados e comentários verbais subsequentes. O AOC validou que as classificações estão altamente correlacionadas com os comentários escritos sobre os quais perguntamos aos usuários na pesquisa digital.

No setor privado, os resultados do NPS são usados ​​como medida de fidelidade do cliente e compras futuras. Promotores são clientes fiéis e detratores são clientes que nunca mais comprarão. No setor público, não faz sentido falar em fidelização de clientes porque os serviços públicos são geralmente "monopolistas" e não há concorrência entre administrações públicas.

Em 2016, porém, foi publicado o estudo “Adaptando o pensamento do Net Promoter nas organizações do setor público”, de Juho Hakola, da Universidade de Jyväskylä (Finlândia), que explica como a metodologia NPS pode ser aplicada ao setor público.

Solução aplicada

Utilizar a metodologia NPS adaptada ao setor público de acordo com o estudo “Adaptando o pensamento do Net Promoter em organizações do setor público”Por Juho Hakola, para avaliar a satisfação dos cidadãos com o uso de serviços públicos digitais.

Esta adaptação é muito fácil de compreender e informa-nos da % de cidadãos que:

  • Estão muito satisfeitos (9-10) e falarão muito bem do serviço
  • Satisfeito (8-9) e falará bem do serviço
  • Insatisfeito (0-6) e falará mal do serviço

Esta metodologia foi implementada tanto para cidadãos como para funcionários públicos que utilizam os serviços AOC. Foi aplicado em um contexto que tornou muito fácil obter um grande volume de pesquisas e garantir que haja uma amostra suficientemente representativa. Especificamente, estamos coletando mais de 30.000 pesquisas mensais de todos os serviços digitais.

Critérios para coletar as respostas

  • As pesquisas de satisfação são apresentadas em um momento “quente” no processo e imediatamente. Por exemplo: ao realizar um procedimento, a pesquisa é apresentada ao final do procedimento.
  • As pesquisas são apresentadas com uma janela pop-up convidando você a participar (chamada para ação).
  • As pesquisas são muito breves. Eles têm uma duração média de menos de 1 minuto e costumam ter algumas perguntas bem selecionadas:
    1. NPS onde valoriza de 0 a 10 a recomendação do serviço público
    2. Pergunta aberta de por que a avaliação
    3. Pergunte se deseja fazer uma proposta ou sugestão de melhoria
  • As pesquisas não são invasivas. Os usuários que respondem a uma pesquisa para um serviço específico não são reenviados para uma pesquisa até alguns meses depois.

Com esta metodologia conseguimos reunir importantes informações quantitativas sobre a satisfação dos cidadãos com os serviços públicos digitais. Agora, ainda temos desafios para resolver

Desafios pendentes

  1. Analise o enorme volume de comentários coletados até agora
    Além da recomendação entre 0 e 10, temos aproximadamente 10.000 comentários por mês sobre a avaliação feita pelos usuários que podem nos dar informações qualitativas importantes, mas não podemos analisar com recursos humanos. Fizemos um piloto de análise com algoritmos de interpretação de linguagem natural para analisar pesquisas de serviço eNotum com resultados satisfatórios e precisamos sistematizar e extrapolar para outros serviços.
  2. Não temos toda a "fotografia"
    As pesquisas de satisfação só são enviadas quando o processo estiver concluído. Não estamos coletando a avaliação de usuários que iniciaram uma ação ou procedimento com um serviço AOC e não conseguiram concluí-lo. Ainda temos que explorar como podemos detectar esses casos, pois não é nada fácil saber quando isso ocorre devido a um problema de serviço ou porque o usuário desiste voluntariamente.

Status do projeto

  • Em produção e aplicando-se a todos os serviços digitais do Consórcio AOC.
  • Também realizamos pesquisas de satisfação para os participantes das Conferências AOC e outros eventos em que colaboramos.