冠捷

挑战

如何从数字政府大会的视听内容中提取更多信息和知识，以及如何让用户更容易获得这些信息和知识。

目前的问题

AOC 为促进加泰罗尼亚公共行政部门的数字化转型和创新而组织的会议、研讨会、讲习班和其他信息活动产生了 大量视听内容并不总是能很好地用于提取信息和知识.

大流行迫使我们在一夜之间改变我们的习惯、惯例和交往方式，从而加剧了这一事实，因此，在很短的时间内，排队的活动（会议、会议和大会）的数量成倍增加，现在我们有大量没有时间处理的视频、语音笔记和文本。

除了大流行，还有其他因素加速了事件和活动的数字化进程：

  • 易于访问 会议、舒适度和组织成本的降低得益于更简单的物流。
  • 技术进步使在线用户体验越来越好，允许准确的受众分析和数据控制。
  • 由于避免了与会者的流离失所，减少了碳排放。

如此之多，以至于在 2021 年 数字政府大会 由 AOC 每两年组织一次，它从 100% 面对面变成了混合形式，演讲者和演讲者在舞台上以及虚拟观众。

我们立即意识到，一个简单的“视频点播”平台，如 YouTube，不足以利用大会之前、期间和之后产生的大量视听内容，也不足以让更容易获得的知识. 还有一个挑战是根据他们的浏览收集用户的数据和他们的兴趣，以便更好地了解他们的需求和期望，并能够为未来的活动重新设计内容程序。

因此，我们着手寻找是否有任何工具或市场服务能够使用人工智能技术处理和分析视频、语音笔记和文本，以提取信息和知识，并使 - 最容易获得。

建议的解决方案

应用的解决方案来自 Omnios，这是一家 2019 年诞生于巴塞罗那的加泰罗尼亚科技初创公司，它开发了一种智能信息处理服务，可以让大量视听内容访问； Omnios 的 Winnow: 智能视频点播平台.

什么是温诺？

一个智能视频平台，可帮助您浏览媒体内容。 其中包含的视频和演示文稿使用语音和人识别、文本挖掘和内容分类等人工智能技术进行预处理； 以便从中提取知识并能够在所讨论的概念之间建立关系。

主要功能：

该平台提供：

  • 智能地图 知识的

    上传视频时，系统会自动生成互动地图。 这些地图是内容的提取，既可以用来比较每个演讲者所说的内容，也可以通过比较视频和主题来进行导航。 圆圈的大小基本上取决于概念在视频中出现的频率和重要性，箭头表示说话者和概念之间的直接关系。 地图可以根据 关键词 | 品牌或实体 | 地点 | 人们

什么是 Winnow 知识图谱？

交互式图表有助于理解 Winnow 自动从其处理的内容（视频和演示文稿）中提取的知识。 该系统了解不同论文之间的相互关系，找到概念和人之间的联系，并探索新的和更深层次的联系。

它还提供：

  • Un 智能搜索引擎 能够通过关键字搜索讨论特定主题的确切时刻，从而节省在不感兴趣的视频部分搜索的空闲时间。
  • 说话人的语音识别： 使用人工智能，该平台能够在任何给定时刻识别谁在说话，这允许对语音进行分段并将每个片段分配给特定的人。
  • 下载成绩单 不同语言的视频。 La plataforma té la capacitat d'entendre el vídeo o nota de veu i permet descarregar tota la transcripció en català, castella i anglès, en format de document o bé mitjançant subtítols。
  • 分类 智能所有视频和自动“标记”。
  • 内容和用户分析 （由谷歌分析）：它们可用于根据用户的导航更好地了解用户； 了解他们的要求和要求。

概念验证和试点

AOC 联盟启动了一个试点项目，以测试将人工智能应用于 CGD2021 的视听内容的优势和好处，同时使用 Winnow 服务处理来自大会的视频和演示文稿。

共处理了 162 个内容，包括会议视频（80 个）和 pdf 格式的演示文稿支持文件。

25 年 11 月 2021 日，通过 CGD 2021 平台 已运行 6 个月。

结果

在试点运行期间，他们访问了平台 167 个独立用户，考虑到注册参加大会的人数为 2.000 人，这个数字并不大。

El 查看的内容数量 已经从 354.

El 图一 展示了 Winnow 平台的访问权限一经发布，第一天就有 150 个独立用户使用它，总共达到 874访问 在前三个月。

图一

Al 图一 我们可以观察到用户浏览平台的平均时间约为 4 分钟。 有了这些信息，我们可以确认尽可能优化视频中的搜索时间并减少空闲时间的目标已经实现，因为用户直接转到他们感兴趣的视频并设法转到包含相关信息的点迅速地。

图一

El 图一 显示使用过平台搜索栏的用户数量。

图一

通过智能搜索栏搜索最多的关键字随着时间的推移而变化。 在试点的前 3 个月，搜索最多的词是“人工智能”。 在试点结束时，搜索最多的词是“数据”。

结论

获得的指标表明，将人工智能应用于事件的多媒体内容允许：

  • 促进内容内的导航，让用户快速找到他们正在寻找的内容
  • 自动化视听内容中的摘要
  • 收集用户数据以分析他们的行为并了解他们的兴趣

但是，托管内容的平台也必须对每个人都易于访问，无论他们是想要再次观看特定视频的人，还是无法参加大会并想要也不想“智能”观看的人。

在我们的案例中，必须记录对 Winnow 平台的访问（应开发者初创公司 Omnios 的要求），我们认为这不鼓励使用该服务，因为人们不记得密码，即使他们知道密码也不记得 内容可在 Youtube 上找到，一个人人都知道的易于访问的网站。

我们在从大会的视听内容中提取知识时遇到的另一个障碍是语言。 大会的主要语言是加泰罗尼亚语，但 Winnow 平台仍在改进该语言的自然语言解释算法。 我们已经能够验证英语和西班牙语的词典和分类法更加发达。

因此，Winnow 服务的试点体验是积极的，但由于缺乏加泰罗尼亚语拍摄和很少使用该服务，我们无法从用户那里收集到足够的数据来全面分析他们的行为为了了解他们的需求和兴趣，并能够重新设计下一届 2023 年数字政府大会的内容计划。

项目状态

试点完成

更多信息