算法透明度:对话式聊天机器人

算法透明度:AOC 对话聊天机器人

概述 

AOC 的会话虚拟助理也称为聊天机器人,是为公共雇员和公民提供每周 24 天、每天 7 小时的支持服务,旨在促进数字识别和从透明度门户访问信息的过程,以及改善用户体验并提高事件和查询的自我解决能力。 

该服务以比在网站上搜索信息更容易、更灵活的方式提供与每个用户的具体问题相关的信息。 

用例 

AOC 目前将对话式虚拟助手应用于三个内容领域:

La 是在识别 AOC 的处理和通知服务过程中针对用户提出的最常见问题支持 VALid 服务的聊天机器人。 

La 丽塔 可以在idCAT证书的申请和管理页面找到(https://idcat.cat/)并帮助解决与获取、使用和续订 idCAT 证书相关的最常见疑虑和问题。 

Un 新的聊天机器人 在透明和电子总部门户上,帮助查找用户需要的信息或程序。该项目目前在五个城市处于试点阶段:福内尔斯德拉塞尔瓦、 利亚戈斯特拉、萨里亚德泰尔、托尔德拉和特伦普。 

AOC 聊天机器人能够处理复杂的查询,因为它们使用人工智能算法解释人们的自然语言。

他们的回答基于: 

  1. AOC 支持门户的公开信息(https://www.aoc.cat/suport),以常见问题(FAQ)的形式构建。此信息是手动准备并加载到机器人中的。 
  2. 基于规则的引导对话流的培训。 

对话助理可以自动回答通过网络渠道收到的最常见问题,从而提高加泰罗尼亚开放管理的效率。 

联系信息 

责任机构
加泰罗尼亚开放管理 

联系团队进行询问
创新与数据分会

团队电子邮件
innovacio@aoc.cat  

外部供应商
一百万个机器人,SL 

供应商电子邮件
info@1millionbot.com  

有关系统的更多详细信息 

熟悉系统使用的信息、算法的运行逻辑及其治理。 

数据集 

使用两个主要数据源: 

用于训练算法的数据 

来自 AOC 支持门户的公开信息 (https://www.aoc.cat/suport),它在聊天机器人的内容区域中以问答的形式构建。这些是用户在获得 AOC 用户服务中心 (CAU) 协助时提出的示例问题。 

该信息归 AOC 所有,并根据 Creative Commons CC-Zero 许可证进行共享。未经许可,可能会对其进行复制、修改、分发和重复使用,包括用于商业目的。 

培训材料 不包含个人数据 (未进行数据保护分析的原因) 

信息手动加载到算法系统中。一些示例问题也用于测试模型。 

对话录音 

系统将聊天会话期间提出的问题和给出的答案记录在文件中。服务开发团队定期分析日志以了解服务如何响应用户问题。 

通过分析,确定培训材料和服务提供的答案需要改进的内容领域。分析后,可以重新定义培训材料,可以添加更多示例问题或创建新的引导对话流,以改善服务的用户体验。用户评论还可用于完善答案并添加更多信息。 

计划在机器人的下一版本中,对话日志在分析后将定期自动从系统中删除,但与使用情况相关的报告,如使用率、响应率和其他参数,将继续存储,以便监控长期进展。 

聊天日志归 AOC 所有,但未授权给 AOC。 

数据处理 

系统自动数据处理和推理的运行逻辑基于以下模型和方法: 

模型的架构 

Xatbot 服务基于 Google 的 Dialogflow 技术和托管在 Google Cloud Platform (GCP) 基础设施上的 1MillionBot 管理平台。这些服务器位于欧洲经济区 (EEA) 比利时的 Google Cloud 数据中心。 

该服务使用人工智能算法和机器学习模型来处理自然语言的问题。 

用户通过适用于不同设备(网络、移动设备、平板电脑)的数字界面提出问题 

此外,聊天机器人还支持引导对话流,从而促进查询解决。 

已经实施了一个系统来收集用户的意见并能够评估整个对话的满意度。该信息用于不断改进服务。 

表现 

使用的发展和服务的质量不断得到评估。  

使用统计数据和质量测量定期记录在自动月度报告中。  

质量衡量标准包括与所有问题相比正确答案的数量以及用户对服务做出的直接评论。 

系统的准确度等级为一级 成功率95%以上 (更新于 24 年 5 月 2023 日) 

没有歧视 

为了保证服务使用的平等性,该服务提供加泰罗尼亚语、西班牙语和英语版本。用户可以在对话开始时或随时从机器人菜单中选择语言。 

即使存在拼写和/或语言错误,该服务也能理解自然语言。 

人工监督 

聊天机器人算法直接行动,但受到监视 事后 负责最终决定的工作人员的参与,在运营初期尤为紧张。通过这种方式可以补偿算法的偏差。 

因此,该服务由管理该服务的员工监督: 

  • 一方面,该服务自动识别并收集无法回答的问题。这些问题将发送给 CAU 专家(一级或二级),以制定对话流程,以便下次能够回答这些问题。 
  • 另一方面,监控专家定期监控评论和对话日志,并分析服务使用情况的统计数据。根据这些数据,专家可以识别用户感兴趣的问题,开发新的对话流,并使用新的关键字扩展对话语料库。 

风险管理 

聊天机器人服务从一开始就被定位为“虚拟助手”,以防止用户认为自己正在与人交互。 

聊天机器人服务从不要求提供个人身份信息。然而,如果用户在服务中输入不必要的个人数据,该服务就会涉及与个人数据处理相关的风险。  

为了管理这种风险,专家定期审查对话日志,并删除自动化系统可能遗漏的任何个人数据。 

计划在下一个版本中,该服务将具有自动功能,可以立即从对话日志中删除任何社会安全号码或电子邮件地址。此外,在聊天会话期间,用户可以请求从系统中删除他们的对话,以便输入的信息不能用于向机器人提供信息。

更多信息