第36问:什么是主数据管理?

在数字化企业中,主数据是区别于日常一般交易数据的非常重要的数据类型,经常被看做是企业的核心数据资产。很多企业将主数据作为特殊的数据类型开展专项管理工作,定义专有的数据管理方法,开发垂直的数据管理工具,并对相应的数据管理活动进行持续的评价和优化。下面将对什么是主数据,以及主数据管理的目标和内容进行介绍。

1. 主数据的定义

主数据(MD,Master Data)是指在系统之间进行共享的有关业务实体的数据。通过主数据描述的业务实体为数字化的业务交易过程和数据分析,提供了重要的上下文信息。常见的主数据类型主要包括:

客户数据,主要描述客户的基本信息、联系方式、兴趣偏好、信用等级、行为特征等;产品数据,主要描述产品的基本分类、参数规格、销售价格、供应商信息、功能特征等;供应商数据,主要描述供应商的工商信息、联系方式、地址信息、合同信息等;资产数据,主要描述组织资产的类型、功能、状态、所有单位等;人员数据,主要描述员工的个人信息、岗位职责、组织关系、工作履历、培训记录、绩效评估等。

首先,主数据为描述企业经营活动的交易数据提供关键的基础信息,有助于对业务数据进行查询、处理,以及监控;此外,主数据为分析数据提供主要的数据统计分析维度,是对数据进行分组和归类关键依据;元数据和参考数据与主数据的关系主要体现在数据内容的标准化定义和规范方面,确保主数据被不同系统引用和操作的准确性和一致性。

和其他数据类型区分,并理解主数据的内涵,可以从其三个主要特性出发:关键性、共享性、稳定性。关键性是指主数据包含组织内最关键的业务实体信息,如组织、资产、供应商等,几乎贯穿于所有核心业务的数据逻辑处理过程,没有主数据,企业无法完成基本的在线事务处理操作;共享性,是指主数据在组织内的多个部门、系统、业务主题、业务过程中被共享和使用,具有“牵一发动全身”的特殊地位;稳定性,是指由于主数据对企业的数据活动影响很大,因此在一段时期内相对应当保持稳定,具有更长的数据生命周期,与交易数据相比变更频率较低。

2. 主数据的管理目标

高质量的主数据依赖于围绕主数据构建的流程、系统和管理要求,通过对主数据进行有效管理和应用,可以达到如下管理目标:

一是提升效率,通过共享的方式统一数据标准,避免系统间因数据不一致的问题产生时间成本和沟通成本,提高对关键数据访问的一致性和准确性;二是消除冗余,对于不同系统中的主数据仅存储一次,避免同样的数据在不同的部门中多次重复积累,减低数据存储成本和管理运营成本;三是提高协同,实现组织部门之间的数据共享和业务协同,促进以主数据实体为中心的数据融合与分析实践,加强数据应用创新的形式广度与内容深度。

通过主数据管理成熟度模型,可以客观评价企业主数据管理的综合实践水平。IBM提出的主数据评估模型包括Level0到Level5,几个主要层级,介绍如下:

Level0:没有实施任何主数据管理。在该阶段,企业各个应用中的数据之间不进行任何形式的共享,每个系统独立维护属于自己的关键数据列表,整个企业中没有数据定义元素存在。

Level1:提供列表。该阶段的特点是,企业通过手工的方式维护一个逻辑或物理的列表来管理和维护主数据。当不同的系统需要使用到主数据资源时,需要访问该列表来获得。高度手工的列表管理方式导致在业务规则发生变化时,列表中的数据容易产生错误和相关质量问题,同时数据的维护成本也非常高昂。

Level2:同等访问。Level 2与Level 1相比,引入了对主数据的自动管理方式,提高了对主数据的管理和维护效率。在特定的数据标准基础上,各个业务系统可以在线访问存储在主数据主机上的信息来分享企业的主数据资源。

Level3:集中总线处理。和Level2相比,存储在主数据主机上的数据真正地整合到了一起,企业中的主数据打破了组织维度方面的边界,让各个系统都能够在统一的数据标准下建立和维护主数据。

Level4:业务规则和政策支持。该阶段实现了主数据业务规则的集中管理,并与各类业务流程进行有效集成。该阶段的特点是,当某个特定的业务系统变更了主数据的基本信息,总线系统通过和一个可信系统进行协商,使得该变更在企业“全局”进行生效。

Level5:企业数据集中。在该阶段,主数据和应用数据之间没有明显的分隔,他们是一体的,即所有的应用系统通过统一管理的主数据集成在一起。Level5的效果是拥有一个集成、同步的主数据系统架构,当一个系统变更了某个主数据的信息时,公司内所有的系统将实时反映这个信息变化。

3. 主数据的管理内容

主数据管理的主要工作内容包括:筹建主数据工作项目团队,确定主数据的项目目标和范围,制定主数据管理的相关项目计划;制定主数据标准体系,如数据标准、管理标准、服务标准等,之后基于这些标准对存量的主数据进行收集、清洗、整合,发布标准化的主数据信息;进行主数据管理平台建设,在平台上管理主数据模型,实现主数据的创建、变更、审核等基本内容运维功能,同时构建需对外提供的主数据变更、订阅、查询、同步、分发、通知等核心的技术服务;将主数据标准与现行业务融合,推动相应的业务流程变更,同时,将各业务系统与主数据管理平台进行集中对接,最终实现主数据在多个系统之间的共享和统一,为主数据的长效治理提供基础保障。

图30. 主数据管理功能体系

在构建主数据管理平台时,可以采用多种有效的技术架构,例如集中式架构、分布式架构、注册中心架构及混合架构等。

在集中式架构中,所有的主数据都存储在一个中心数据库中。企业各个业务系统通过API或其他集成技术访问和更新这个中心数据库这种架构便于实现数据的一致性和标准化,但可能存在性能瓶颈和单点故障的风险;

分布式架构中,主数据分布在多个数据库或系统中,这些数据库或系统可能位于不同的地理位置。数据通过数据集成技术(如ETL或消息队列)在各个节点之间同步。这种架构具有较高的可扩展性和容错能力,但实现数据的一致性和标准化较为复杂;

在注册中心架构中,主数据依然存储在各个业务系统中,而MDM平台只维护一个包含数据索引和映射关系的注册中心。这种架构避免了数据迁移和同步的复杂性,但需要实时查询和整合多个数据源,可能影响数据访问的性能;

混合架构结合了集中式、分布式和注册中心架构的优点,以满足企业的不同需求和场景。例如,对于关键和公共的主数据,可以采用集中式存储和管理;而对于分散和敏感的主数据,可以采用分布式存储和注册中心管理。

在对存量的主数据进行治理时,保证主数据内容的权威性是主数据管理中要考虑的关键因素。当企业中多个业务数据源都在使用主数据,可以通过数据血缘分析的方式,溯源到最上游的核心数据源,梳理主数据在系统环境中的信息流转路径,并以此为基础“对齐”不同业务系统所引用的主数据字段信息,保证各业务系统所引用主数据的准确性、可用性,和一致性。

实体解析,是指判断两个主数据实例是否代表同一个业务实体,例如,判断两套业务系统的不同编码体系下的供应商编号是否指代同一个物理上的供应商对象。实体解析可以通过规则匹配的方法自动确认,也可以采用线下人工确认审核的方式持续优化。在实体解析的基础上,可以对主数据的实例条目进行合并、去重,并对实体属性进行更新和拓展。