算法透明度：具有来自 AOC 的生成式 AI 的聊天机器人

概述 

待解决的问题

• 需要持续的帮助： AOC 用户需要持续的 24/7 支持，但面对面或电话支持不能保证这种完全可用性。
• 查询和事件增加： 数字服务和 AOC 透明门户的使用日益增多，增加了对信息和援助的需求，用户服务中心 (CAU) 每年处理超过 91.000 个请求。 为了有效地管理这种增长并保持 CAU 对公民的承诺，现在是考虑采用有助于优化资源的新工具的好时机。
• 数字鸿沟和搜索困难： 许多用户受到数字和社会鸿沟的影响，通常很难知道要搜索什么或正确解释传统搜索引擎的结果。这可能会导致您的数字体验混乱和沮丧，因此需要更量身定制的支持，以便轻松访问相关信息。

采用的解决方案

• 使用生成式人工智能开发聊天机器人： 为了以可访问且即时的方式促进自我解决查询，创建了基于人工智能的对话助理。这些聊天机器人可以通过使用大量数据和解释自然语言的算法来回答用户最常见的问题。
• 为什么选择生成式人工智能聊天机器人？ AOC 大约十年前开始尝试聊天机器人，并逐步引入它们来改善用户支持。最初，实施了传统的聊天机器人，例如 Paula (21/01/2021)，它为 VÀLid 的识别过程提供支持； Rita (29/04/2021)，帮助获取、使用和更新 idCAT 证书，以及透明度门户的聊天机器人 (19/4/2023)，致力于解决该领域的查询。尽管它们很有用，但这些聊天机器人按照预定义问题和答案的规则和结构化流程进行操作，这需要大量的手动培训，使其实施变得复杂且昂贵，并且还可以相对成功地提供答案。 （请参阅透明度表 AOC 的传统聊天机器人)
  凭借这些经验，AOC 现在致力于开发基于数据和生成式人工智能的新一代聊天机器人，该机器人需要更少的培训，并且可以提供更加量身定制和情境化的响应，从而改善用户体验。此外，该技术允许重新提问，即完成最初的问题，同时保持与之前对话的一致性，而在传统的聊天机器人中，每个问题都被视为第一个问题。

它是写给谁的？

• 使用 AOC 服务的公民，我们将为他们提供方便、快速的 24 小时支持。

用例

具有生成式人工智能的聊天机器人应用于以下 AOC 服务：

• 有效的：帮助公民在 VALid 页面上进行身份验证过程中最常见的查询。
• id猫手机：帮助解决有关获取、使用和续订 Mobile idCat 的疑虑。
• ID猫证书：提供有关获取、使用和续订认证 idCat 的支持。
• 电子诺图：解决电子通知管理方面的疑问并提供支持。
• 它代表了：帮助公民和公司解决对代理和授权委托书的疑虑。 
• 事实：为电子发票的准备和管理提供支持。

埃斯塔图斯

• 自 2024 年 11.575 月起实施并使用，平均每月用户数为 XNUMX 人。 

服务水平协议

• 24 天 7 小时可用，可用性水平达 99,8%。

服务的主要好处

 对于公民：

• 24/7 获取信息： 公民可以随时获得帮助，不受时间限制，有需要时方便解决疑虑。
• 立即响应： 聊天机器人提供即时响应，避免了面对面或电话支持等传统渠道的等待时间。
• 自行解决查询： 用户可以自主解决问题，减少对直接支持的依赖并改善体验。
• 改进的用户体验： 具有生成式人工智能的聊天机器人可以实现更自然、更密切的交互，促进与用户进行真实的“对话”。这些聊天机器人可以适应每个人表达自己的方式，允许他们用自己的话来指定或完善他们的问题。

对于管理：

• 资源优化：聊天机器人处理重复的查询，使员工能够腾出时间来执行更复杂的任务，从而提高时间和资源效率。 
• 降低成本：每次通过聊天机器人进行咨询的成本都比电话支持低得多。
• 提高效率：聊天机器人同时处理多个查询，避免瓶颈并提高响应能力。
• 更少的培训工作量：生成式人工智能聊天机器人需要较少的初始设置和培训，从一般的预训练模型开始，只需进行最少的调整即可。调整过程包括检查和纠正检测到的不正确答案，而不是详尽地对每个答案进行分类和结构。 意图 [1].
• 持续改进服务：对话分析可以识别模式、改进关键领域并根据用户需求调整服务。

联系信息 

有关该服务的更多详细信息 

熟悉系统使用的数据和信息、算法的运行逻辑及其治理。 

数据集 

聊天机器人的知识库基于三个主要来源：

• 常见问题 (FAQ)： 聊天机器人最初使用支持门户上提供的常见问题数据库进行训练。这些常见问题解答收集了公民最常见的问题，并更新了有关该服务的最新信息。
• 重复门票： 聊天机器人还可以通过分析历史支持票来学习，其中包含有关用户的问题、疑问和事件及其解决方法的信息。
• 持续反馈： 聊天机器人系统呈现出一种持续学习的形式，其中每次生成尝试都有一系列通过用户对话来滋养的训练短语。如果有人问了一个新问题，聊天机器人就会尝试在现有的训练短语库中寻找相似之处。如果聊天机器人对这个问题产生了错误的答案，那么在对话审查期间，该短语将包含在相应的尝试中，并且人工智能将生成这些短语的变体以拥有更广泛的知识库。

其他输入数据：

• 用户数据： 不使用任何用户个人数据来训练模型。

关于的考虑 数据处理和保存

数据处理 

系统自动数据处理和推理的运行逻辑基于以下模型和方法： 

用户与聊天机器人交互流程
用户与聊天机器人的交互过程通过可通过网络、手机或平板电脑等设备访问的数字界面进行。用户以文本格式输入问题（“提示”），描述他想要获取的信息。聊天机器人处理此信息并生成文本响应以提供所请求的信息。

服务架构

该服务使用 生成人工智能引擎 [2] 处理自然语言。

• AOC聊天机器人使用的AI引擎是 GPT-4o，来自 OpenAI 公司。
• 使用位于欧洲的 Azure OpenAI 实例。
• 该引擎基于大型语言模型（Large Language Model，LLM）工作，该模型由深度神经网络组成，这些网络使用基本上从互联网（网页、博客、社交网络、科学家文章、书籍）中提取的巨大数据集进行训练。 ， ETC。）

该服务已 由 1MillionBot 改编， 它负责：

• 设计让AI模型能够引导并遵循指示的指令。
• 准备数据集、收集和清理数据，作为检索增强生成（RAG）系统的参考
• 将数据集纳入 1MillionBot 的 RAG 系统，能够使用特定上下文提高答案的质量。
• 测试用例并验证系统处理错误和复杂查询的能力。
• 基于用户交互的模型优化。

该服务的整个基础架构托管在云中 谷歌云平台（GCP）， 特别是位于欧洲经济区 (EEA) 比利时的 Google Cloud 数据中心。该位置确保遵守欧洲隐私和安全法规。

聊天机器人有一个系统来收集用户的意见并能够评估整个对话的满意度。

该架构的主要特点：

• 安全且经过认证的住宿:
  • GCP 安装符合安全标准 ISO 27001 i SOC 2/3，确保基础设施稳健可靠。
  • 提供商的所有基础设施， 1万机器人，包括网络聊天、Millie 平台（前端）以及逻辑和数据（后端），都托管在此环境中。
• 按用例隔离:
  • 服务的每个用例都隔离在特定的网络和开发环境中，避免应用程序之间的干扰并最大限度地提高安全性。
• 受保护的存储:
  • 对话问题和答案存储在 Google Cloud 虚拟机托管的数据库中，这些虚拟机受到高级防火墙和隔离机制的保护。
  • 只能通过后端访问这些数据，确保严格控制。
• 防御攻击:
  • 该系统包含多个安全层，例如：
    • 请求限制器 以防止过载。
    • 严格验证 数据和访问。
    • 专用防火墙 以保护基础设施。

该架构确保了向用户提供优质服务所需的稳健性、安全性和适应性。

算法性能 

成功率91,33%。此费率每月审核一次（最后审核日期：15 年 04 月 2025 日）

人工监督 

聊天机器人的算法系统直接起作用，但它是在 事后监视 负责最终决策的人员的参与，特别是在运营初期加强，以补偿算法偏差并减少错误答案. 聊天机器人的响应是固定的且无法修改。

对聊天机器人的人工监督通过严格且定期的流程确保响应的质量和准确性：

1. 每周评论：专家审查聊天记录以识别不正确的答案。对于检测到的每个错误，都会记录理想答案，并对具有错误答案的用户句子进行重新分类，将它们分配给最合适的生成尝试。
2. 每月分析： 对 150 个随机选择的对话以及那些已被识别为错误的对话进行评估，以检测错误模式并纠正不适当的响应。
3. 尝试管理： 当错误无法通过简单地重新分类句子来修复时，专家会调整现有尝试的提示或创建新的尝试。

该流程将聊天机器人的传统方法与生成式人工智能的灵活性相结合，保证灵活的管理和可靠的服务，满足用户的需求。

系统的监管合规性

该系统不处理个人数据。 即便如此，该系统仍符合现行的数据保护和安全法规。尤其：

• 《通用数据保护条例》(RGPD) 的原则适用：
  • 数据最小化原则：仅收集实现系统目的所需的数据。
  • 目的限制原则：收集的数据仅用于向相关方传达的目的。

• 从技术角度来看，该解决方案符合国家安全计划（ENS）针对低级别系统制定的要求。

✨自愿申请 欧盟人工智能法规（AI 法规） [3]

该系统符合AI法规要求的情况下的要求 风险人工智能系统 有限的 i 无系统风险的生成式人工智能模型。这就是为什么：

• 用户从一开始就被告知他们正在与人工智能进行交互。因此，该服务被称为“AOC 虚拟助理”，而不是个人名称。

• 作为生成式人工智能, AOC 聊天机器人还满足以下要求：
  • 据透露，该内容是由人工智能生成的。
  • 发布训练数据摘要。
  • 有关人工智能模型的信息以清晰易懂的语言提供。
    这个算法透明度表满足了最后两点。
• 这些聊天机器人不受具有系统性风险的生成式人工智能的要求的约束。这意味着不需要通过模型评估或矛盾的测试，也不需要报告能源效率。

它是一个 自动管理操作 (AAA)？ 序号

在这种情况下，AOC 没有法律义务在其网站上发布链接到该服务的 AAA 并附上技术文件（请参阅第 11/203 号皇家法令第 2021 条第 i 款，该法令批准了关于通过电子方式执行和运营公共部门，其中部署了关于公共部门法律制度的第 40/2015 号法律）

风险管理 

知道 更有可能发生的风险 与 基本原则和权利 必须受到保护的因素，以及在每种情况下采取的减轻或最小化这些因素的措施。

A. 平等和不歧视

• 已识别的风险： 结果的偏差、排斥和歧视的风险。
  • GPT-4o 引擎的 LLM 模型构成了 AOC 聊天机器人的基础，并使用来自互联网的大量数据进行了预训练。这些数据包含各种各样的信息，可能包含与性别、种族、语言等相关的偏见。因此，系统可以重现训练数据中存在的判别模式。此外，神经网络的复杂性使得识别和防止这些偏差变得困难。
  • 另一方面，加泰罗尼亚语并不是模型训练中使用的主要语言之一。这可能会导致反应主要使用男性形式，而语言多样性较少，从而影响该语言互动的包容性和丰富性。
• 采取的措施
  • 代表性训练数据：用于进行最终训练和微调聊天机器人的数据都经过精心挑选，以包括不同的人群并避免明显的偏见，以确保响应尽可能具有代表性和公平性。
  • 语言使用上的平等：该服务可以使用加泰罗尼亚语和西班牙语，可以选择在对话开始时选择语言或在使用过程中更改语言。这允许所有用户以他们喜欢的语言与系统交互。
    • 目前，聊天机器人会询问用户希望使用哪种语言提供服务，因为这可以提高答案的准确性。然而，正在进行测试来评估其性能，而无需询问语言。
  • 对语言的宽容解释：该系统旨在理解自然语言，即使存在拼写或语言错误，也确保用户不会因查询中的小错误而受到惩罚。
  • 设计的包容性和多样性：聊天机器人界面的工作已经完成，任何人都可以轻松使用，无论其数字技能水平如何，以确保每个人都可以在没有技术障碍的情况下访问该服务。

B. 数据保护、隐私和选择自由

• 已识别的风险： 可能对隐私造成威胁、第三方滥用个人数据以及丧失选择自由。
  • 该服务从不要求提供个人身份信息。然而，如果用户输入不必要的个人数据，该服务会涉及与个人数据处理相关的风险。
• 采取的措施
  • 为了保护数据和隐私：
    • 提供商 (1MillionBot) 已与欧盟境内数据的位置签署了处理订单。
    • 数据控制者 (AOC) 保证所处理数据的 ARCO 权利（访问、纠正、取消和反对）。
    • 同意和 cookie 均受到管理。
    • 对话日志由专家定期审核，并删除系统未检测到的任何个人数据。
    • 在下一个版本中，将实现一项功能，该功能将自动删除聊天中输入的任何社会安全号码或电子邮件，并且用户将能够请求从系统中删除他们的对话。
    • 用户被告知对话将被保存。如果您不同意，则无法继续。
    • 用户可以删除对话。
  • 保证选择的自由:
    • 我们提供不使用人工智能算法的替代方案来帮助公民，例如电话和电子邮件支持。如果用户特别要求“联系支持”、“与代理交谈”、“我需要更多支持”或类似请求，机器人会自动重定向到 AOC 支持联系页面。此外，聊天机器人位于 AOC 支持门户本身内，您还可以从页脚直接访问“联系支持”选项。

C. 安全性和稳健性

• 已识别的风险： 传播不正确的信息、响应中的错误和不一致、服务不可用以及未经授权的数据访问。
  • 基于神经网络和概率计算的模型很难解释如何达到最终结果，这限制了对生成的响应的控制。此外，生成式人工智能的性质有时可能会导致系统提取超出其特定知识库的信息，包括未经验证的外部来源或数据，这可能会导致断章取义或涉及不属于其领域的主题。 。
  • 为了减轻这些风险，AI引擎必须安装在受控和受保护的环境中，并具有严格的配置和安全性，以确保保护和服务完整性。
• 采取的措施
  • 该系统已安装在一个封闭且安全的环境中，基于经过认证的架构（请参阅该架构的主要特征）。此配置可确保：
    • 鲁棒性和可靠性，保证系统的正确运行。
    • 托管数据的安全性和机密性。
    • 适应性，提供符合用户需求的优质答案。
  • 安全风险分析：AOC 根据加泰罗尼亚网络安全局和国家安全计划 (ENS) 的指导方针进行了安全评估。该系统被归类为低安全级别，并根据此分类实施了具体措施来减轻已发现的风险。具体来说，为了确保 系统的可用性和正确运行：
    • 已与供应商建立了服务级别协议 (SLA)，必须遵守并定期审查该协议，以确保系统容量、可用性和事件管理。
    • 每两周进行一次 ANS 合规报告，以确保服务维持商定的标准。
  • 为了保证权利 真实且充分的信息：应用协议来审查系统，最大限度地减少错误和不一致，并提高响应质量。此外，为了确保在聊天机器人的能力范围内做出响应：
    • 已实施关键字和主题过滤器（例如注册证书、罚款支付、学校预注册等）。这些过滤器会生成“目录之外的尝试”，聊天机器人会通知它没有有关该主题的信息，并建议联系相关管理部门。
    • 该模型专门针对来自 AOC 领域的数据进行训练，尽可能确保信息相关且适合目的。

D. 透明度和可解释性

• 已识别的风险： 用户对结果的不信任、误解（无法理解结果）、误认为这是与人的交互、难以提交投诉或查询所获得的结果
• 采取的措施
  • 明确识别为AI： 从一开始，该服务就以“虚拟助手”的形式出现，以避免对交互的本质产生混淆。
  • 用户同意： 用户会被告知对话将被保存，因此他们可以决定是否继续。
  • 算法透明度表： 它发布在 AOC 网站上，包含以下信息：
    • 待解决的问题
    • 随着AI系统的实施
    • 目标受众
    • 用于训练AI系统的数据
    • 供应商的身份和联系方式
    • 投诉、查询和建议的负责机构和联系地址
  • 轻松访问工作表： 可以从该服务的主页查阅透明度表。

E. 账目保留和可审计性

• 已识别的风险：结果可追溯性有限，缺乏定期验证和审查，即使专家也难以解释模型，缺乏指定的责任。
  • 如果无法准确跟踪响应生成过程、定期验证质量并确保专家也能理解操作，则与生成式人工智能聊天机器人的责任和可审计性相关的风险可能会危及系统的可靠性。这些因素使得对服务进行适当的监督变得困难，并且难以追究错误或不公平决定的责任，从而影响对公共服务的信任。
• 采取的措施
  • 为了确保人工智能系统及其结果的问责制：
    • 质量和影响监控：每两周发布一次报告，其中包含质量和影响指标，以评估服务是否达到既定目标。
  • 为了保证对系统及其结果的责任：
    • 告知谁负责该服务 (AOC) 以及在出现不利影响时提交投诉应遵循的程序。
  • 为了确保可审核性：
    • AOC 保留随时进行额外审核以审查质量指标和服务水平协议 (SLA) 的权利，从而确保对系统可靠性的持续监控。

F. 可持续发展与团结

• 已识别的风险：对环境产生负面影响，由于成本高昂，导致获取该技术的机会不平等。
  • 使用具有生成性人工智能的聊天机器人在可持续性和公平性方面带来了重大挑战。一方面，它对环境的影响很大，因为它需要大量的计算资源来处理和存储数据，这意味着高能耗和二氧化碳排放。另一方面，其实施和维护成本很高，这可能会限制拥有更多资源的组织使用该技术。
• 采取的措施
  • 聊天机器人训练调整和优化 以达到最大效率。研究表明，一次 ChatGPT 查询相当于 10 次 Google 搜索；因此，如果这一点得到证实，与更便宜的方法相比，生成式人工智能的高能源成本可以通过其更高的效率来抵消。
  • 提高使用成本透明度 为更负责任地使用该技术做出贡献。
  • 促进可转移性：AOC 正在努力向加泰罗尼亚地方政府提供聊天机器人作为“交钥匙”服务，以公平的方式促进其使用这项技术。这种可复制性策略将允许采用先进的生成性人工智能，而无需大量投资。

更多信息

• 文章 ”生成式 AI 和 ChatGPT。对大学学习的影响”。作者：克莱门特·纳德乌·坎普鲁比。信号与通信理论系（TSC）。 TALP 和 IDEAI 研究中心。加泰罗尼亚理工大学（UPC）。

[1] Un 意图 指用户向聊天机器人提出问题或查询时的意图或目的。尝试有助于确定该人想要实现的目标，例如获取特定信息、解决问题或完成程序。在传统的聊天机器人中，必须预先定义尝试并进行手动训练，以便聊天机器人能够识别它们并提供适当的响应。相比之下，具有生成式人工智能的聊天机器人可以通过根据对话上下文实时生成响应来更灵活地识别和解释尝试，而无需预先进行详尽的尝试分类。这使得交互更加自然并适应用户的需求。

[2] 的一些主要功能 生成人工智能引擎 是：

• 识别并纠正印刷和拼写错误以改善沟通。
• 检测消息意图，即使是含糊不清的句子或多重含义。
• 保持短期记忆以连接问题并确保答案一致。
• 它会评估可能的答案，选择最好的答案，并为更清晰的对话提供建议。
• 它适应多种语言（加泰罗尼亚语、西班牙语、英语），识别俚语和表情符号。

[3] El 欧洲议会和理事会制定人工智能协调规则并修订欧盟的某些立法法案 (更广为人知的名称是《欧盟人工智能法》或《人工智能法案》）于2年2024月2日生效，并于2026年XNUMX月XNUMX日起适用。