Вызов

Как мы можем строго измерить удовлетворенность граждан использованием цифровых государственных услуг?

Проблемный

Консорциум AOC содействует разработке показателей, которые позволяют политикам и государственным менеджерам знать социальную отдачу от цифрового управления и открытых правительственных инициатив и, таким образом, систематически и строго оценивать их эффективность и действенность, чтобы политики и государственные менеджеры может определять приоритеты и принимать наилучшие решения.

Очень важно оценить восприятие удовлетворенности граждан.

Поскольку конечной целью государственного управления является предоставление услуг, отвечающих потребностям и ожиданиям граждан, очень важно оценить восприятие их удовлетворенности.

Но кто-нибудь его измеряет?

Консорциум AOC изучил, как удовлетворенность граждан государственными услугами в целом (не ограничиваясь цифровым уровнем) измеряется правительствами всего мира. Он также связался со справочными органами по вопросам оценки: iValua, Городским советом Барселоны, Провинциальным советом Барселоны, Государственным агентством по оценке государственной политики и качества услуг (в настоящее время не существует) и международными веб-сайтами.

Выводы неутешительные:

  • В целом, очень немногие государственные администрации измеряют степень удовлетворенности граждан и еще меньше публикуют результаты открыто.
  • Существуют разные методологии оценки удовлетворенности граждан, которые в основном используются в частном секторе. Нам не удалось найти методологию, которая могла бы считаться стандартом для государственного сектора.
  • По запросу Diputació de Barcelona подготовила для своих городских советов очень хороший отчет под названием «Имидж и баланс муниципального управления». Но он уже давно перестал это делать.
  • Городской совет Барселоны проводит отличные исследования удовлетворенности граждан, используя методологию оценки ожиданий. Этот метод очень продвинутый, но очень сложный и дорогостоящий для использования Консорциумом AOC, поскольку он включает в себя измерение разницы в ожиданиях до использования государственной услуги и последующего результата.
  • Опросы с типичными вопросами об удовлетворенности дают результаты, которые трудно интерпретировать или сопоставить, и они сами по себе не имеют большой ценности. Например, оценка 7 (из 10) может быть хорошей в некоторых контекстах или типах вопросов и плохой в других. Кроме того, ответы часто бывают легкомысленными и невразумительными.
  • В частном секторе было обнаружено, что основной методологией, используемой основными компаниями мира, является NPS (Net Promoter Score).

NPS на помощь

Существует множество исследований, подтверждающих, что показатель Net Promoter Score (NPS) очень хорошо измеряет молву, основанную на конкретном вопросе. «Насколько вероятно, что вы порекомендуете эту услугу коллеге или другу?». Этот вопрос имеет психологический эффект, когда мы просим о рекомендации, и люди инстинктивно отвечают более строго, потому что мы не любим давать плохие рекомендации близким людям.

По шкале от 0 до 10 учитываются:

  • Промоутеры: те, кто поставил оценку на 9 или 10, очень довольны услугой или продуктом и будут говорить об этом с энтузиазмом и активно.
  • Обязательства: те, кто поставил оценку 7 или 8, довольны услугой или продуктом и будут отвечать положительно, если их спросят, но не будут делать это с энтузиазмом
  • Недоброжелатели: те, кто поставил от 0 до 6, недовольны услугой или продуктом и будут говорить отрицательно

Исследования показывают высокую корреляцию между этими результатами и последующими устными комментариями. AOC подтвердил, что рейтинги имеют высокую корреляцию с письменными комментариями, которые мы запрашиваем у пользователей в цифровом опросе.

В частном секторе результаты NPS используются как мера лояльности клиентов и будущих покупок. Промоутеры - это лояльные клиенты, а недоброжелатели - это клиенты, которые никогда больше у них не купят. В государственном секторе нет смысла говорить о лояльности клиентов, потому что государственные услуги, как правило, «монополистические» и между государственными администрациями нет конкуренции.

Однако в 2016 году Юхо Хакола из Университета Ювяскюля (Финляндия) опубликовал исследование «Адаптация мышления Net Promoter в организациях государственного сектора», в котором объясняется, как методология NPS может быть применена к государственному сектору.

Прикладное решение

Используйте методологию NPS, адаптированную для государственного сектора, согласно исследованию «Адаптация мышления Net Promoter в организациях государственного сектора”Автор Юхо Хакола, чтобы оценить удовлетворенность граждан использованием цифровых государственных услуг.

Эта адаптация очень проста для понимания и информирует нас о% граждан, которые:

  • Они очень довольны (9-10) и очень хорошо отзываются об услугах.
  • Доволен (8-9) и хорошо отзывается об услуге
  • Недоволен (0-6) и плохо скажет о сервисе

Данная методология была внедрена как для граждан, так и для государственных служащих, пользующихся услугами AOC. Она применялась в условиях, которые значительно облегчили получение большого объема опросов и обеспечение достаточно большой выборки. representaВ частности, мы ежемесячно собираем более 30 000 анкет со всех цифровых сервисов.

Критерии сбора ответов

  • Опросы удовлетворенности представляются в самое «горячее» время процесса и сразу же. Например: при проведении процедуры опрос представляется в конце процедуры.
  • Опросы представлены во всплывающем окне с приглашением принять участие (призыв к действию).
  • Опросы очень краткие. Они длятся в среднем менее 1 минуты и обычно содержат несколько тщательно отобранных вопросов:
    1. NPS, где от 0 до 10 - рекомендация государственной службы.
    2. Открытый вопрос, почему оценка
    3. Спросите, хотите ли вы сделать предложение по улучшению или предложение
  • Опросы не инвазивны. Пользователи, ответившие на опрос конкретной службы, повторно отправляют опрос только через несколько месяцев.

С помощью этой методологии нам удалось собрать важную количественную информацию об удовлетворенности граждан цифровыми государственными услугами. Теперь у нас все еще есть проблемы, которые нужно решить ...

Незавершенные задачи

  1. Проанализируйте огромное количество собранных на данный момент комментариев
    Помимо оценок от 0 до 10, мы получаем около 10 000 ежемесячных комментариев пользователей, которые могут предоставить нам важную качественную информацию, но которую мы не можем проанализировать с помощью человеческих ресурсов. Мы провели пилотный анализ с использованием алгоритмов интерпретации естественного языка для анализа опросов об услугах. eNotum С удовлетворительными результатами, и нам необходимо систематизировать этот подход и распространить его на остальные службы.
  2. У нас нет всей «фотографии»
    Опросы удовлетворенности отправляются только после завершения процесса. Мы не собираем оценки пользователей, которые инициировали действие или процедуру с помощью службы AOC и не смогли ее завершить. Нам еще предстоит изучить, как мы можем обнаружить эти случаи, поскольку совсем непросто узнать, когда это происходит из-за проблемы с обслуживанием или из-за того, что пользователь добровольно отказывается.

Статус проекта

  • В производстве и применяется ко всем цифровым сервисам консорциума AOC.
  • Мы также проводим опросы об удовлетворенности тех, кто посещает конференции AOC и другие мероприятия, в которых мы сотрудничаем.