人工智能算法使用的透明度

挑战

如何实现用户对使用数据和人工智能算法的数字政务服务的信任，同时确保其负责任、安全和公平的使用。

问题和当前背景

人工智能 (AI) 已成为我们日常生活中不可或缺的一部分。例如，政府使用它来改善公共服务的可及性和体验、优化流程或管理公共空间。

算法是人工智能系统的基础，对于使用和影响它们的人来说，算法通常就像“黑匣子”。为了防止这种情况发生， 用户可以理解算法是至关重要的，他们可以理解某个决定是如何做出的以及为什么做出这个决定. 就政府而言更是如此，政府只有在与公众之间建立信任时才能发挥作用。一个好的政府必须让所有公民都理解决策的原因，并有可能对它们提出质疑。

在民主政府中，信任是通过众多法律保障来保证的。关于使数字政府服务中使用的人工智能算法透明化的义务，法律确立了个人获得自动决策解释（RGPD）的权利，并规定创建“机制”，以便参与决策的算法-制定考虑透明度和可解释性标准（关于平等待遇和非歧视的综合法 15/2022），但它没有建立任何具体的机制或法律文书来做到这一点它仅提供建议，并由组织自行寻找最适合的工具：

提供有关所使用算法的逻辑以及预期结果的有意义的信息，这些信息清晰且使用易于理解的语言，

让人们理解为什么算法给出了特定的结果，并指出他们可以对其特定决定提出上诉或质疑其一般操作的机构，

将算法开放给民主控制。

鉴于缺乏实现算法透明度的具体机制、技术或方法，AOC 进行了一项研究，以寻找标准化的透明度形式，并优先了解我们应用于数字行政服务的算法

这就是我们提出的算法透明度倡议的来源。

建议的解决方案

人工智能开发和使用的透明度是确保该技术对社会负责任和公平使用的关键问题。

作为实现算法透明度的一种手段，AOC 提出了 在透明门户网站上发布每种算法的易懂报告 应用于数字化管理服务.

该倡议旨在成为以下工具：

帮助人们了解地方政府使用的算法是如何工作的以及它们的目的是什么，

以标准化方式提供显着的透明度并允许不同算法之间的比较，

让每个人都可以轻松发表自己的意见并参与以人为中心的算法的创建。

此外，尽管该计划主要侧重于人工智能系统， 还包括敏感用例中确定性算法的透明度报告，例如用于广泛社会援助的复杂自动化系统，遵循的标准是它们也能对人们产生相关影响。

文件内容

每个算法透明度选项卡包含：

该算法需要解决的问题，
算法特点及其操作的解释，
可能受算法影响的群体，
已进行的风险分析或数据保护影响评估（如适用）以确定算法可能存在的歧视性偏差，
对系统进行安全风险分析，以识别包含该算法的系统的可用性和安全性可能发生的意外情况，
la 风险管理 制定的措施和采取的措施 确保基本权利得到遵守,
当法律要求时，可以对算法的特定决定提出上诉或质疑其一般操作的机构，
负责人和算法供应商的联系方式。

→ 请参阅模型 AOC 算法透明度表（PDF）

文件内容是如何确定的

为了确定算法透明度文件的内容，创新和数据团队在 AOC 法律服务的支持下进行了一项研究，其中包括：

一 现有法规分析 它解决了人工智能算法做出的自动决策的透明度问题，特别关注：

欧洲数据保护条例 (RGPD)
欧洲委员会人工智能使用法规（AI法案）
关于公共部门法律制度 (LRJSP) 的第 40/2015 号法律以及公共部门通过电子方式执行和运作的规定 (RD 203/2021)
关于平等待遇和非歧视的综合法 15/2022

提供指南和指导的文件 实现安全可靠的人工智能。需要注意的是：

可信人工智能伦理指南，来自欧盟委员会人工智能高级专家组（2019 年 XNUMX 月）
欧洲委员会人权事务专员报告“拆箱人工智能：保护人权的 10 个步骤”（2019 年 XNUMX 月）
经合组织人工智能理事会建议的可信人工智能负责任管理原则（2019 年 XNUMX 月）
APDCAT“加泰罗尼亚的自动决策”报告（2020 年 XNUMX 月）
欧洲数字权利宣言和数字十年原则（2023 年 XNUMX 月）
NIST 人工智能风险管理框架工具（2023 年 XNUMX 月）

他们也被探索过 不同主管部门的算法透明度倡议，处于开发阶段。需要注意的是：

阿姆斯特丹市算法登记册 – 已实施
赫尔辛基市人工智能登记册 – 实施
Eurocities 算法透明度标准，基于英国标准 – 已实施
巴塞罗那市议会市政算法登记册
ICT社会健康基金会算法登记册
加泰罗尼亚第三社会部门实体表人工智能算法雷达
加泰罗尼亚政府算法道德工作框架提案

研究结论

欧盟成员国承诺，通过《欧洲数字权利宣言》和《数字十年原则》，确保算法和人工智能的使用具有足够的透明度，并且因为人们在使用这些算法和人工智能时会得到通知并接受培训与他们互动。

为符合公共行政人工智能系统透明度的要求，现行规定根据情况具体规定了必须提供的信息 [1]，但没有为此定义“具体”机制、标准化格式或法律文书；虽然：

《人工智能条例》规定了保存高风险人工智能系统所有相关信息的记录的要求（第17条）；
关于平等待遇和非歧视的综合性第 15/2022 号法律谈到了促进实施“机制”，以便决策所涉及的算法考虑到尽量减少偏见、透明度和交出账目的标准（第 23 条）；
《公共部门通过电子方式执行和运营的条例》规定有义务在其网站上发布自动管理行为 (AAA) 列表（可能涉及也可能不涉及人工智能算法的使用），并附有每个 AAA对其设计和操作的描述（第11条）。

我们探索了欧洲地方和地区政府正在推动的不同举措，以找到一种标准化的方式，使我们能够遵守应用于数字政府服务的人工智能算法的透明度要求。

在探索的所有举措中，根据现行法律义务，我们得出的结论是， 在透明门户网站上发布算法透明度报告 它是 快速简单的解决方案 该 促进遵守条例中规定的透明度要求 i 允许获得用户的信任 在公共行政的人工智能系统中。

这项研究还使我们能够确定基于人工智能的公共服务需要提供哪些相关信息，以便用户了解算法如何做出决策以及这些决策如何得到验证。除此之外，这项研究使我们开发了一种灵活实用的方法来识别和分析与使用人工智能算法相关的最可能的风险 基本权利，并将它们与在每种情况下需要采取的措施联系起来，以保证遵守这些权利。

注重保护基本权利的风险管理方法

为了保证公共服务中人工智能的可靠、道德和安全，AOC 开发了自己的风险管理方法。该方法侧重于保护基本权利，解决可能影响公民的潜在风险，并详细说明如何减轻或最小化这些风险。该方法由三个主要步骤组成，每个步骤都有国际法规和准则的坚实基础。

第 1 步：确定基本原则和受保护的权利
为了确保人工智能尊重民主价值观，我们依赖《欧盟基本权利宪章》，它帮助我们定义可能受到人工智能影响的主要权利和原则。这些都是：
- A) 平等和非歧视
- B) 数据保护和隐私
- C) 安全性和稳健性
- D) 透明度和可解释性
- E) 账目保留和可审计性
- F) 可持续发展和团结
步骤 2：识别相关风险及其与受保护原则和权利的关系
为了识别使用人工智能时最常见的风险，AOC 采用了人工智能风险管理框架（AI RMF 1.0） 来自 NIST，它将潜在风险与上述原则和权利联系起来。这种方法可以确定哪些风险可能危及每个家庭的基本权利，从而有助于预测和管理歧视、隐私或安全等问题。
第三步：确定风险管理措施
为了确定在每种情况下可能更适当和更有效的机制和保障措施，以避免侵犯基本原则和权利，我们依据了《公约》第二章。 可信人工智能的道德准则 欧盟委员会以及最近批准的人工智能法规（从2年8月2026日起强制实施）中，根据人工智能系统的风险水平以及针对某些人工智能系统或模型来确定机制。例如：
- 高风险：符合具体的安全和透明度要求，并有义务在部署系统之前进行与基本权利相关的影响评估（第27条）
- 有限的风险：最低透明度义务，使用户能够做出明智的决策并在与人工智能交互时保持警惕。

这种方法帮助我们维护一个透明、安全并致力于保护基本权利的人工智能系统。

→ 在演示文稿（PPT，7 年 11 月 2024 日）您可以看到 AOC 风险管理方法的三个步骤的汇总表。

已发表的报告：

AOC 对话式聊天机器人 – 发布在 AOC 透明度门户网站上 (26/5/2023)
视频识别获取手机idCat (2/2/2024)
能源贫困报告自动化 (5/2/2024) （该服务不包含人工智能，但由于它是机器人流程自动化 (RPA) 的一个敏感用例，可能对人产生直接影响，因此我们编制了透明度报告。因此，无论算法操作是否基于人工智能，保证其最大程度的透明度、理解和信任都被认为是相关的。）
具有 AOC 生成式 AI 的聊天机器人 – 发布在 AOC 透明度门户网站上 (26/11/2024)

项目状态

生产中。已经发布了四份算法透明度报告。

挑战