元数据:解释数据的数据

市议会可能掌握大量数据:人口登记、档案、税收、许可证、设施、合同、活动、事件、社会救助、投诉、补贴或预算信息。但为什么仅仅拥有数据是不够的呢?因为拥有数据并不一定意味着能够充分理解数据。

假设我们找到一个名为“listat_final.xlsx”的文件。它究竟包含什么内容?版本是否正确?是谁创建的?上次更新时间是什么时候?数据来源是什么?可以共享吗?包含个人数据吗?对制作报告有用吗?可以发布吗?数据完整吗?

如果我们无法回答这些问题,虽然我们拥有数据,但却缺乏足够的背景信息来自信地使用这些数据。这时,元数据就派上了用场。简而言之,元数据就是解释数据本身的数据。

什么是元数据?

元数据是描述性信息,可以帮助我们理解一段数据或一组数据。例如,如果我们有一组关于市政设施的数据,元数据可以告诉我们:

  • 数据集的名称是什么?
  • 它包含什么?
  • 哪个部门负责这项工作?
  • 谁负责更新?
  • 它位于哪个系统或文件中;
  • 它多久更新一次?
  • 如果其中包含个人或敏感数据;
  • 是否可以与其他政府部门共享;
  • 是否可以作为开放数据发布;
  • 它的质量水平如何?
  • 它适用于哪些用途?
  • 它有哪些局限性?

这些信息看似非常基础,但却至关重要。如果没有元数据,数据就难以查找、难以解读,也难以重复使用。

一个非常简单的例子

设想一份市政设施清单。该清单可能包含设施名称、地址、设施类型、开放时间、负责部门以及维修状况。然而,如果没有元数据,则可能立即产生疑问:

  • 这份清单是否仅包含对公众开放的设施,还是也包括内部使用的建筑物?
  • 它是否包括由实体管理的设施?
  • 地址是否标准化了?
  • 信息是否最新?
  • 谁来确认某个设施是否仍然处于运行状态?
  • 这些信息能否在市政网站上公布?
  • 它对制定维护计划有用吗?
  • 能否与能源消耗数据进行交叉验证?

元数据有助于回答这些问题。它提供背景信息、评判标准和置信度。

Les metadades no són només per a informàtics

人们通常认为元数据是一个技术性课题,但实际上它对任何从事市政信息工作的人都很有用。

  • 对于秘书工作而言,它们可以帮助了解哪组数据与某个流程或文件相关。
  • 在干预方面,它们可以帮助确定经济数据的来源。
  • 对于社会服务机构而言,它们可以帮助了解哪些数据是敏感数据以及需要采取哪些保护措施。
  • 对于城市规划而言,它们可以帮助了解领土数据是否是最新的,以及如何利用这些数据。
  • 为了吸引公民的注意力,它们可以帮助提供更连贯的信息。
  • 每一个 transparència可以帮助您了解哪些数据可以发布以及在什么条件下可以发布。
  • 对于信息通信技术领域或技术提供商而言,它们可以帮助集成系统并避免混淆。

因此,元数据是服务功能知识与技术信息管理之间的桥梁。

它们为什么重要?

通常,数据信息掌握在少数人手中。有人知道哪个文件才是正确的,有人知道文件何时更新,有人知道哪个应用程序包含有效信息,有人知道哪些数据可以发送给其他部门,有人知道去年的报告是如何生成的。这些知识非常宝贵,但也十分脆弱。

如果信息没有至少进行记录,那么随着人员变动、退休、离职、供应商变更或内部重组,这些信息就可能丢失。元数据有助于将这些非正式知识转化为共享知识。它不必很复杂。小型市政机构可以从一个非常简单的表格开始,用于记录主要数据集。

目标不是记录一切,而是避免重要信息仅仅依赖于特定个人的记忆或经验。

哪些最基本的元数据是有用的?

首先,您无需描述所有技术细节。您可以从一组最基本、最实用的元数据开始。

例如:

  • 数据集名称。
  • 简要描述。
  • 负责区域或服务。
  • 推荐人或角色。
  • Sistema, aplicació o fitxer on es troba.
  • 主要目的。
  • 更新频率。
  • 它包含的数据类型。
  • 是否存在个人或敏感数据。
  • 感知质量水平。
  • 主要已知问题。
  • 可能的内部用途。
  • 可以分享或发布。

这些元数据已经能够帮助我们回答一些非常重要的问题:我们拥有什么信息、谁知道这些信息、这些信息在哪里、这些信息是否可靠、这些信息是否可以重复使用以及这些信息是否需要特殊保护。这是一个简单却非常强大的基础。

元数据与质量:一枚硬币的两面

元数据还有助于提高数据质量。如果我们知道数据集的负责人,就能更容易地纠正错误。如果我们知道数据集的更新频率,就能发现过时的信息。如果我们知道数据集的局限性,就能避免将其用于不恰当的用途。如果我们知道数据集的来源,就能检验其可靠性。

Per exemple, un indicador sobre activitats municipals pot semblar correcte, però si no sabem si totes les àrees registren les activitats amb el mateix criteri, el resultat pot ser enganyós. Les metadades no garanteixen automàticament que una dada sigui bona, però ajuden a entendre fins a quin punt hi podem confiar. També ajuden a evitar un problema molt habitual: utilitzar una dada fora de context.

元数据和 transparència

市议会发布信息时,确保信息易于理解至关重要。仅仅发布表格、文件或数据集是不够的,还需要解释其含义。 representa它来自哪个时期,如何编制,更新频率如何,以及可能存在哪些局限性。这在以下领域尤为重要: transparència 以及开放数据。

缺乏元数据的开放数据难以重用,容易造成混淆或误解。相反,描述完善的数据则便于公民、企业、机构、记者、研究人员或其他管理部门理解和正确使用。因此,元数据也是一种问责工具。

元数据和互操作性

元数据对于行政部门间的信息共享至关重要。当数据需要在市议会、省议会、地区议会、加泰罗尼亚自治区政府或国家政府之间流通时,必须了解数据的含义、格式、标识符、质量等级以及适用的限制。

如果没有元数据,数据共享最终可能会变成不安全、低效或难以自动化的交换。而元数据则有助于实现互操作性:使系统和组织能够以一致的方式理解和使用信息。

这是减轻行政负担、避免向公民索取政府已经掌握的文件或信息的关键。

元数据和人工智能

人们越来越多地谈论人工智能在公共服务领域的应用。但任何人工智能工具都需要描述完善的数据。仅仅拥有大量数据是不够的。我们需要知道数据代表什么,数据来自哪里,数据是否完整,是否是最新的,是否存在偏见,是否包含个人数据,数据是否可以用于特定目的以及如何保证其安全性。

元数据是负责任地使用人工智能的基础组成部分。如果没有元数据,就很难判断某条数据是否适合用于训练模型、构建指标、自动分类或辅助决策。因此,现在就开始使用元数据,有助于市政当局更好地为未来数据的高级应用做好准备。

DCAT-AP-ES。更好地描述市政数据

当市议会开始编制数据清单时,可以使用一个非常简单的表格:数据集名称、描述、负责区域、源系统、更新频率、敏感性、感知质量和可能的用途。

这是非常好的第一步。但如果我们希望这些信息能够在不同部门之间共享、比较、发布或重复使用,那么这些元数据必须遵循通用模型。

这正是 DCAT-AP-ES 能发挥巨大价值的地方。

DCAT-AP-ES 是一种元数据规范,旨在以统一的方式描述公共数据目录。简单来说,它提供了一种通用的方法,用于解释数据集是什么、由谁发布、包含哪些内容、如何访问、以何种格式提供、遵循何种许可协议以及需要了解哪些补充信息。

这对于地方政府尤其有用,因为它避免了市政数据被孤立地描述,或每个市政当局采用不同的描述标准。如果许多地方政府遵循相同的模型来描述其数据,那么在超市政目录中查找、理解、比较和整合这些数据,以及重复利用这些数据来生成服务、指标或开放数据,将会变得更加容易。

例如,DCAT-AP-ES有助于区分数据目录、数据集以及该数据集的不同可用形式。一个市议会可能拥有一个关于市政设施的数据集,并以多种格式提供:CSV、Excel、API 或网页视图。元数据使我们能够解释所有这些版本都对应于同一个数据集,但每个版本都是不同的分发方式。

它还有助于规范非常重要的信息:标题、描述、负责机构、主题、关键词、更新频率、地域覆盖范围、格式、许可、访问条件或下载链接。

对于小型城镇委员会而言,这并不意味着必须学习复杂的技术标准。这意味着,在定义本地数据的最低限度和通用清单时,可以考虑到其未来与DCAT-AP-ES的兼容性。因此,今天收集在简单表格中的信息,明天就可以用于构建数据目录、发布开放数据或与其他平台共享元数据。

智慧地方政府网络的作用

小型市政当局无需自行定义所需的元数据或收集方式。智慧地方政府网络可以通过其工作组发挥价值,帮助建立地方政府的最低限度通用数据清单,并在该清单中建立一套共享的核心元数据。

这样一来,所有本地实体都可以按照类似的标准描述其数据:名称、描述、责任方、来源系统、用途、更新频率、质量、敏感性、限制和重用潜力。

工作组还将能够帮助制定通用的元数据管理模型,以适应地方实体的实际情况,尤其适用于技术能力较弱的市政当局。

此外,该网络还将协助识别或共享技术解决方案,使地方政府无需自行开发数据记录工具。这些解决方案应简单易用、可重复使用,旨在简化清单和元数据的维护工作。

该网络可以推广具体的用例,以展示元数据的价值:准备开放数据、构建通用指标、提高注册质量、组织设备数据、促进互操作性或准备有保障的人工智能项目。

AOC 和本地世界数据空间

本地世界数据空间旨在通过共享标准、模型、服务和解决方案,帮助本地实体更好地利用数据。

在此背景下,元数据至关重要。没有元数据,就没有有效的清单;没有有效的清单,就难以进行数据治理;而没有数据治理,就难以实现更智能、更安全、更主动的服务。

AOC 联盟与省议会、县议会、Localret 和其他地方参与者合作,可以促进通用模型和工具的建立,帮助市议会更好地描述他们已有的数据。

这对于需要简单、适度和共享解决方案的小型市政当局来说尤其重要。

解释数据,这样你才能相信它。

Les metadades poden semblar un detall tècnic, però són una condició bàsica per confiar en les dades. Ens ajuden a saber què tenim, on és, qui ho coneix, com s’actualitza, quina qualitat té, com es pot utilitzar i quines garanties necessita. Per això, les metadades són molt més que una descripció. Són una eina per preservar coneixement, reduir errors, millorar la transparència促进互操作性并为数据的新用途做好准备。

因为当我们能更好地解释数据时,就能更好地利用数据。而当我们能更好地利用数据时,就能提供更好的公共服务。

发表于