谈到人工智能,人们通常会想到算法、自动化、虚拟助手、预测或能够生成文本、对文档进行分类或帮助人们做出决策的工具……
在门户网站上发布全体会议信息 transparència 这看似简单的流程,在公开之前必须经过审核,任何不应公开的个人数据都必须匿名化处理。这就需要根据具体情况,决定哪些信息可以公开,哪些信息需要保护。而这一决定并非总是取决于数据类型,而是取决于数据出现的语境。
这项任务可能涉及大量的人工审核工作,同时也存在出错风险,可能导致个人数据意外泄露。因此,AOC 一直在探索…… 生成式人工智能如何以敏捷可靠的方式帮助实现匿名化解释文档内容,并自动建议哪些信息需要匿名化,但始终由人进行最终监督。
理解上下文的匿名化
所开发解决方案的主要差异化价值在于其能够 解读文档的上下文除了基于预定义模式或实体识别系统检测数据之外。
例如,这可以区分在全体会议上必须公开的民选官员姓名,和出现在其他场合可能需要匿名化的自然人姓名。同样,日期可能是必须公布的机构信息的一部分,也可能是必须受到保护的个人数据。
基于模式或实体识别的解决方案在识别某些类型的数据方面仍然有效。然而,它们并非总能确定特定数据是否应该匿名化,因为这一决定可能取决于数据在文档中的功能。AOC 提案旨在通过结合以下方法减少这种干预: 检测、上下文智能和自动化方面的质量且不丧失对最终决策的人为控制权。
人工智能与人类监督
流程很简单:用户上传会议记录,选择匿名化标准,然后开始分析。系统解读文档并生成匿名化方案。之后,用户可以审核匿名化方案,根据需要进行修改或添加新的方案,然后下载即可发布的文件。
这种人工监督模式使得人工智能的自动化能力得以充分发挥,同时又不取代行政部门的法律标准。该平台还引入了白名单机制,以避免过度匿名化,并配备了可追溯性和可解释性机制,以便对所应用的标准进行审查。
总体准确率达96%。
该概念验证已通过9个市政当局提供的52份文件以及AOC的多项内部测试得到验证。结果显示: 总体准确率 96%也就是说, 系统拟匿名化的大部分数据都能被正确识别。F1 指标结合了准确性和覆盖率(检测所有需要匿名化的数据的能力),超过 90%。
这些结果证实了该方案在技术和功能上的可行性,以及将生成式人工智能与人工监督相结合以减少工作量和意外泄露个人数据的风险的潜力。
迈向未来共享服务
该测试还使我们能够发现需要改进的领域,尤其是在复杂文档的检测覆盖率和解决方案的可扩展性方面。
概念验证阶段现已完成,并验证了该方法的潜力。目前正在洽谈后续项目,将开展范围更广的试点,以便持续改进解决方案,并最终为地方政府提供共享服务。