第35问:什么是元数据管理?

元数据是企业中的重要数据类型,对元数据进行管理是企业在数字化转型中的重要数据工作内容。到底什么是元数据?元数据管理的主要工作方式和目标又是什么呢?

1. 元数据的定义

元数据(Metadata)是关于数据的组织、数据域,及其关系的信息。简单讲,元数据是描述数据的数据。所有关于数据本身的特征、内涵、标准、管理活动,以及使用方式的相关信息,都可以用元数据进行表示和记录。元数据一般大致可为三类:业务元数据、技术元数据和操作元数据。

其中,业务元数据的主要作用是描述数据的业务含义、业务规则等,同时也描述数据治理相关的详细信息。通过准确、清晰地定义业务元数据,可以让企业内部用户对数据达成一致性的理解和认知,降低数据沟通阻力,规范数据使用行为,为数据分析和数据应用提供全方位的框架和模型支撑。

根据DAMA的数据管理体系,业务元数据包括主题域、概念、实体、属性的非技术名称和定义、属性的数据类型和其他特征(如:范围描述、计算公式、算法、业务规则)、有效的阈值及其定义等。

技术元数据的主要作用是对数据的结构化定义描述,提供有关数据的技术细节、存储数据的系统以及在系统内核系统之间数据流转过程的信息。技术元数据方便计算机或数据库对数据进行识别、存储、传输和交换。在计算机环境中,技术元数据的典型表现形式有物理数据库表名和字段名、字段属性、数据库对象的属性、文件格式、数据压缩类型、物理数据模型、数据的“增删改查”规则、ETL作业的详细信息、SQL脚本信息等。

技术元数据可以同时服务于开发人员和业务人员。对于开发人员,技术元数据提供的数据存储和数据结构信息为系统应用开发和系统集成奠定重要基础;对于业务人员,技术元数据可以辅助梳理数据对象之间的关系,让业务人员快速查找目标数据,并对数据的来源和去向展开定向分析。

操作元数据的主要作用是描述数据的操作属性,定义了处理和访问数据的活动细节。操作元数据可以为企业的数据安全管理提供重要的信息能力保障。常见的操作元数据包括数据的所有者、使用者、访问方式、访问时间、访问限制、访问权限、数据处理结果、数据处理日志,以及数据归档相关信息等。

图29. 业务元数据和技术元数据

2. 元数据的管理目标

元数据管理活动主要有四个方面的管理目标:

一是建立数据指标解释体系。对企业中的元数据进行采集和维护,通过元数据准确定义数据对象、数据对象关系、数据对象活动。元数据可以为数据提供业务上和解释和技术上的定义,方便用户理解数据、使用数据,保证用户对企业的数据资源看得懂、取得到、用得准。同时,元数据可以帮助技术人员在统一的IT技术框架下完成数据交互任务的系统开发,保证系统中应用程序对数据流的准确传输和语义理解。

二是强化数据对象溯源能力。元数据描述了数据与数据之间的关系,能够准确定义数据在不同系统之间以及各系统内的信息“流转”链路。元数据是对数据对象进行溯源的重要信息基础,可以帮助数据分析人员解释数据异动的根本原因,同时,也对数据治理工作提供重要的技术参考,聚焦企业的核心权威数据源,更有效地在“源端”管控数据质量。此外,沿着数据传播链路信息,能够客观分析数据对业务的影响,准确预测数据变化的方向和程度,提高数据资产的评估与管理水平。

三是健全数据风险管理机制。首先,元数据定义了数据的信息质量标准,通过使用元数据对业务系统中的数据分门别类进行管理,建立报警、监控机制,主动发现并管控数据质量问题,有效提高数据的完整性和准确性等质量指标。此外,基于操作元数据,可以对数据资源的访问记录进行存储和分析,预警异常的数据操作行为,提示不合规的数据使用现象,及时发现并数据管理风险漏洞,提高数据安全管理水平。

3. 元数据的管理内容

企业的元数据管理具体分为以下几个方面内容:

(1)制度保障

企业高层管理者为元数据管理提供强有力的支持,并制定相应的规章制度进行保障。制度保障是元数据管理持续推进的重要工作动力。

(2)流程规范

目的是制定企业范围内数据的变更管理流程,保证信息系统中包括元数据的数据内容与管理规范、数据标准的总体一致性。

(3)技术工具

进行元数据管理,离不开技术与工具的支持。选用合适的工具,能让元数据管理更加轻松便捷。一个相对系统化的元数据管理工具主要包括以下功能模块:

元数据获取模块:各个阶段的数据元信息需要进行收集、存储和输出,以便于后续处理和管理。通过元数据管理工具,这些数据元信息可以通过自动获取和手工获取两种主要方式进行获取。

元数据存储模块:主要功能是存储元数据以及元模型。

元数据功能模块:该模块支撑元数据的基础操作,包括元数据的查询、新增、修改和删除等管理操作。其次,该模块支撑对元数据的分析功能,帮助用户查询数据对象的基本信息,提高用户对企业数据资产的管理与评价能力,具体涉及到业务指标的一致性分析、数据血缘分析、数据影响分析等。

(4)运营维护

定期地从企业的经营活动以及业务系统中捕获元数据信息,对元数据进行系统的管理和维护,定期分发和交付元数据。元数据的采集可以使用适配器、扫描仪、网桥应用程序。对元数据存储库的扫描有两种不同方式,即专用接口或半专用接口。

DAMA的数据管理体系指出,元数据的主要获取来源包括:应用程序中的元数据存储库、业务术语表、BI工具、配置管理工具、数据字典、数据集成工具、数据库管理和系统目录、数据映射管理工具、数据质量工具、字典和目录、事件消息工具、建模工具和存储库、参考数据库、服务注册等。从不同渠道获取的元数据信息将采用元数据管理工具整合,进行统一建模和管理维护。