挑战

如何严格衡量公民使用数字公共服务的满意度。

有问题

通过 AOC 联盟,我们推动制定指标,让政治领导人和公共管理者了解数字管理和开放政府举措的社会回报,从而以系统和严格的方式评估其有效性和效率,以便决策者和公共管理者可以决定优先事项并做出最佳决策。

评估公民满意度的感知非常重要。

鉴于公共行政的最终目标是提供满足公民需求和期望的服务,因此评估他们的满意度非常重要。

但有人衡量吗?

AOC 联盟研究了如何衡量公众对世界各国政府的一般公共服务(不限于数字级别)的满意度。 他还就评估问题联系了参考机构:iValua、巴塞罗那市议会、巴塞罗那省议会、国家公共政策和服务质量评估机构(现已不存在)和国际网站。

结果令人失望:

  • 一般而言,很少有公共行政部门衡量公民的满意度,更不会公开公布结果。
  • 有多种不同的方法来评估公民满意度,这些方法主要用于私营部门。 我们还没有找到任何可以被视为公共部门标准的方法。
  • Diputació de Barcelona 应要求为其市议会提交了一份非常好的报告,名为“市政管理的形象和平衡”。 但他早就停止这样做了。
  • 巴塞罗那市议会使用评估期望的方法进行了出色的市民满意度研究。 这种方法非常先进,但是 AOC 联盟使用起来非常复杂和昂贵,因为它涉及测量使用公共服务之前的期望差异以及随后的结果。
  • 带有一般满意度问题的调查给出的结果不容易解释或比较,而且本身没有什么价值。 例如,获得 7 分(满分 10 分)在某些上下文或问题类型中可能是好的,而在其他情况下可能是坏的。 此外,答案往往是轻浮和不假思索的。
  • 在私营部门,发现世界上主要公司使用的主要方法是 净推荐值(NPS).

NPS 来救援

有许多研究证实,净推荐值 (NPS) 基于特定问题可以很好地衡量口碑。 “您向同事或朋友推荐这项服务的可能性有多大?”. 这个问题具有寻求推荐的心理影响,人们本能地回答更严谨,因为我们不喜欢向亲近的人提出糟糕的推荐。

在 0 到 10 的范围内,考虑以下因素:

  • 发起人: 评分为 9 或 10 的人,对服务或产品非常满意,并会热情主动地谈论它
  • 负债: 给 7 或 8 分的人,对服务或产品感到满意,如果被问到会积极发言,但不会热情地这样做
  • 批评者: 评分在 0 到 6 之间的人,对服务或产品不满意,会说负面的话

研究表明,这些结果与随后的口头评论之间存在高度相关性。 AOC 已验证评级与我们在数字调查中询问用户的书面评论高度相关。

在私营部门,NPS 结果被用作衡量客户忠诚度和未来购买的指标。 促销者是忠诚的客户,而批评者是永远不会再次购买的客户。 在公共部门,谈论客户忠诚度是没有意义的,因为公共服务通常是“垄断的”,公共管理部门之间不存在竞争。

然而,2016 年,于韦斯屈莱大学(芬兰)的 Juho Hakola 发表了题为“在公共部门组织中调整净推动者思维”的研究,解释了如何将 NPS 方法应用于公共部门。

应用解决方案

根据研究使用适用于公共部门的 NPS 方法“在公共部门组织中调整净推荐人思维”作者 Juho Hakola,用于评估公民对数字公共服务使用的满意度。

这种改编很容易理解,并告诉我们以下公民的百分比:

  • 他们非常满意(9-10)并且会说服务很好
  • 满意 (8-9) 并且会说服务很好
  • 不满意 (0-6) 会说服务不好

该方法已为使用 AOC 服务的公民和公职人员实施。 它的应用环境使得获得大量调查变得非常容易,并确保有足够的代表性样本。 具体来说,我们正在收集所有数字服务的 30.000 多个月度调查。

收集答案的标准

  • 满意度调查会在流程中的“热点”时间立即呈现。 例如:在进行程序时,调查会在程序结束时呈现。
  • 调查显示一个弹出窗口,邀请您参与(号召性用语)。
  • 民意调查非常简短。 他们的平均持续时间不到 1 分钟,通常有几个非常精选的问题:
    1. NPS 在哪里它从 0 到 10 评价公共服务的推荐
    2. 为什么估值的悬而未决的问题
    3. 询问您是否想提出改进建议或建议
  • 调查不是侵入性的。 响应特定服务调查的用户直到几个月后才会重新提交调查。

通过这种方法,我们设法收集了有关公民对数字公共服务满意度的重要定量信息。 现在,我们仍然有挑战需要解决

突出的挑战

  1. 分析目前收集到的大量评论
    除了 0 到 10 之间的推荐之外,我们每个月大约有 10.000 条评论,这些评论可以为我们提供重要的定性信息,但我们无法通过人力资源进行分析。 我们已经使用自然语言解释算法进行了分析试点,以分析结果令人满意的 eNotum 服务调查,我们需要将其系统化并外推到其他服务。
  2. 我们没有完整的“照片”
    满意度调查仅在流程完成后提交。 我们不会收集对使用 AOC 服务发起操作或程序但未能完成的用户的评估。 我们还没有探索如何检测这些情况,因为当它由于服务问题或用户自愿放弃而发生时根本不容易知道。

项目状态

  • 生产中 并适用于 AOC 联盟的所有数字服务。
  • 我们还对参加 AOC 会议和我们合作的其他活动的人员进行满意度调查。