挑战

如何从数字政府大会的视听内容中提取更多信息和知识，以及如何让用户更容易获得这些信息和知识。

目前的问题

AOC 为促进加泰罗尼亚公共行政部门的数字化转型和创新而组织的会议、研讨会、讲习班和其他信息活动产生了 大量视听内容并不总是能很好地用于提取信息和知识.

疫情加剧了这一事实，迫使我们在一夜之间改变了习惯、作息和生活方式。eres 为了彼此联系，在短时间内，在线活动（会议、研讨会和大会）的数量呈指数级增长，我们现在有大量的视频、语音留言和文本，我们没有时间处理。

除了大流行，还有其他因素加速了事件和活动的数字化进程：

  • 易于访问 会议、舒适度和组织成本的降低得益于更简单的物流。
  • 技术进步使在线用户体验越来越好，允许准确的受众分析和数据控制。
  • 由于避免了与会者的流离失所，减少了碳排放。

如此之多，以至于在 2021 年 数字政府大会 由 AOC 每两年组织一次，它从 100% 面对面变成了混合形式，演讲者和演讲者在舞台上以及虚拟观众。

我们很快意识到，像 YouTube 这样简单的“视频点播”平台不足以充分利用大会前后产生的大量视听内容，也无法让知识更容易获取。此外，收集用户数据及其兴趣也是一大挑战。eres根据您的浏览记录，以便更好地了解您的需求和期望，并重新设计未来活动的内容方案。

因此，我们着手寻找是否有任何工具或市场服务能够使用人工智能技术处理和分析视频、语音笔记和文本，以提取信息和知识，并使 - 最容易获得。

建议的解决方案

应用的解决方案来自 Omnios，这是一家 2019 年诞生于巴塞罗那的加泰罗尼亚科技初创公司，它开发了一种智能信息处理服务，可以让大量视听内容访问； Omnios 的 Winnow: 智能视频点播平台.

什么是温诺？

一个智能视频平台，可帮助您浏览媒体内容。 其中包含的视频和演示文稿使用语音和人识别、文本挖掘和内容分类等人工智能技术进行预处理； 以便从中提取知识并能够在所讨论的概念之间建立关系。

主要功能：

该平台提供：

  • 智能地图 知识的

    上传视频时，系统会自动生成互动地图。 这些地图是内容的提取，既可以用来比较每个演讲者所说的内容，也可以通过比较视频和主题来进行导航。 圆圈的大小基本上取决于概念在视频中出现的频率和重要性，箭头表示说话者和概念之间的直接关系。 地图可以根据 关键词 | 品牌或实体 | 地点 | 人们

什么是 Winnow 知识图谱？

交互式图表有助于理解 Winnow 自动从其处理的内容（视频和演示文稿）中提取的知识。 该系统了解不同论文之间的相互关系，找到概念和人之间的联系，并探索新的和更深层次的联系。

它还提供：

  • Un 智能搜索引擎 通过关键词搜索，可以找到讨论特定主题的确切时刻，从而节省在视频中不感兴趣的部分进行搜索的时间。eres快乐。
  • 说话人的语音识别： 使用人工智能，该平台能够在任何给定时刻识别谁在说话，这允许对语音进行分段并将每个片段分配给特定的人。
  • 下载成绩单 不同语言的视频。 La plataforma té la capacitat d'entendre el vídeo o nota de veu i permet descarregar tota la transcripció en català, castella i anglès, en format de document o bé mitjançant subtítols。
  • 分类 智能所有视频和自动“标记”。
  • 内容和用户分析 （由谷歌分析）：它们可用于根据用户的导航更好地了解用户； 了解他们的要求和要求。

概念验证和试点

AOC 联盟启动了一个试点项目，以测试将人工智能应用于 CGD2021 的视听内容的优势和好处，同时使用 Winnow 服务处理来自大会的视频和演示文稿。

共处理了 162 个内容，包括会议视频（80 个）和 pdf 格式的演示文稿支持文件。

2021年11月25日，通过CGD 2021平台启用了对Winnow服务的访问，该平台运行了6个月。

结果

在试点运行期间，他们访问了平台 167 个独立用户，考虑到注册参加大会的人数为 2.000 人，这个数字并不大。

El 查看的内容数量 已经从 354.

El 图一 展示了 Winnow 平台的访问权限一经发布，第一天就有 150 个独立用户使用它，总共达到 874访问 在前三个月。

图一

Al 图一 我们可以看到，用户浏览平台的平均时间约为 4 分钟。由此信息可以确认，优化视频搜索时间和减少用户空闲时间的目标已经实现，因为用户能够直接找到他们感兴趣的视频。eres他们身体健康，并且能够迅速找到包含相关信息的关键点。

图一

El 图一 显示使用过平台搜索栏的用户数量。

图一

Les paraules clau que més s’han buscat a través de la barra de cerca intel·ligent han anat canviant amb el temps. Durant els 3 primers mesos del pilot la paraula més buscada va ser “intel·ligència artificial». Al final del pilot la paraula més buscada ha estat «dades».

结论

获得的指标表明，将人工智能应用于事件的多媒体内容允许：

  • 促进内容内的导航，让用户快速找到他们正在寻找的内容
  • 自动化视听内容中的摘要
  • 收集用户数据，分析用户行为，了解用户兴趣。eresSOS

但是，托管内容的平台也必须对每个人都易于访问，无论他们是想要再次观看特定视频的人，还是无法参加大会并想要也不想“智能”观看的人。

在我们的案例中，必须记录对 Winnow 平台的访问（应开发者初创公司 Omnios 的要求），我们认为这不鼓励使用该服务，因为人们不记得密码，即使他们知道密码也不记得 内容可在 Youtube 上找到，一个人人都知道的易于访问的网站。

我们在从大会的视听内容中提取知识时遇到的另一个障碍是语言。 大会的主要语言是加泰罗尼亚语，但 Winnow 平台仍在改进该语言的自然语言解释算法。 我们已经能够验证英语和西班牙语的词典和分类法更加发达。

因此，Winnow 服务的试点体验是积极的，但由于缺乏加泰罗尼亚语的拍摄素材以及该服务的使用有限，我们无法收集到足够的用户数据，从而对他们的行为进行详尽的分析，以了解他们的需求和兴趣。eres紧急求助，并能够重新设计下一届 2023 年数字政府大会的内容方案。

项目状态

试点完成。

更多信息