元数据管理，企业数据治理的基石

　　在企业架构体系中，数据架构始终是企业架构的核心组成部分，其中数据架构的元数据管理又是核心中的核心，那么元数据到底是什么？元数据应该如何治理？如何评估元数据的价值？这些问题成为企业管理者摆在眼前的难题。
　　下滑阅读本文，系统了解元数据管理，提升企业数据质量 ↓↓
　　— 01 —
　　认识元数据
　　元数据解释
　　信通院发布的《数据资产实践白皮书》指出：元数据（Metadata）是指描述数据的数据。元数据管理（Meta Data Management） 是数据资产管理的重要基础，是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。元数据贯穿数据资产管理的全流程，是支撑数据资源化和数据资产化的核心。
　　首先，元数据从业务视角和管理视角出发，通过定义业务元数据和管理元数据，增强了业务人员和管理人员对于数据的理解与认识。
　　其次，技术元数据通过自动从数据仓库、大数据平台、ETL中解析存储和 流转过程，追踪和记录数据血缘关系，及时发现数据模型变更的影响，有效识别变更的潜在风险。
　　最后，元数据可作为自动化维护数据资产目录、数据服务目录的有效工具，是企业数据资产归类，数据检索的必备途径。
　　元数据分类
　　元数据可以分为业务元数据、技术元数据、管理元数据。通过各类元数据的关联，建立逻辑实体与物理实体的对应关系以及业务属性和表字段的对应关系。数据管理人员可以对数据的管理、流程以及权限进行有效的管理。
　　业务元数据：包括了主题和概念领域、实体及属性的业务名称和业务定义，属性的数据类型和其他特性、范围描述、计算公式、算法和业务规则，以及有效值域及其定义。
　　技术元数据：为开发人员和技术用户提供了系统信息。包括物理数据库表名和字段名、字段属性、其他数据库对象的属性和数据存储特性。操作元数据主要满足于IT运维用户的需求。比如数据迁移、数据源和目标系统信息、批处理程序、任务频率、调度异常处理、备份与恢复信息、归档规则和使用等信息。
　　管理元数据：关于数据管理专员，监督制度流程和责任分配的数据。数据管理人员可以对数据的管理、流程以及权限进行有效的管理。
　　元数据的作用
　　元数据作为企业最重要的数据，其重要程度不言而喻，元数据管理作用主要体现在如下两点：
　　作用一：作为数据的索引，快速查找数据。
　　这好比置身于浩瀚的图书馆中，在没有一个分类编码的标准、书籍随便存放的情况下，要迅速找到一本书简直难于登天，单靠图书管理员很难统计每类书的数量和存放位置。而中图目录信息索引可以解决这个繁杂的问题，每上架一本图书，图书的目录、书名、作者或整理、主题、简介和篇幅等信息就会被登记，并根据这些信息，管理员将图书放到对应位置。
　　让查找和使用变得高效
　　元数据的管理与图书目录的管理有异曲同工之妙，能够快速地发挥数据价值，推动企业数据资产变现。
　　作用二：建立元数据的知识图谱，精准找出元数据关联关系，快速发现和解决问题。
　　通过元数据管理工具，将有关联关系的元数据进行解析，建立有效的血缘关系。当数据出故障便于数据运维人员快速进行回溯，短时间发现问题原因。
　　作用三：总览数据资产，数据情况一目了然。
　　元数据管理解决了如何将业务系统中的数据分门别类地进行管理的问题，公司有哪些数据，在哪里可以找到这些数据，能用这些数据干什么，都能通过元数据管理平台快速、清晰地解决。
　　— 02 —
　　企业元数据管理面临的问题
　　随着企业规模的不断发展与壮大，在企业的数据资产管理中，会面临着数据架构失控、元数据管理混乱、数据增长无序等问题，集中体现在以下四点：
　　1. 系统变更频繁，没有完整的规划、积木式、烟囱式建设。
　　2. 传统企业数据资产问题归根结底是缺少统一的组织、流程、制度的管控，很容易引起数据孤岛问题。
　　3. 数据存储易，查询难，数据并没有作为资产沉淀为企业带来价值。
　　4. 元数据的变动后，对系统影响范围和大小无法预知，等数据出问题后才能响应。
　　— 03 —
　　北明数科-元数据管理体系
　　北明数科在结合政务以及企业的优秀经验，建立了一套成熟的元数据管理体系。
　　主要模块：元模型管理--元数据采集--元数据编目--数据地图--数据血缘--元数据版本--元数据流程管理，还包括数据溯源、全链路监控等功能。
　　元模型管理
　　作为元数据的抽象，通过对元数据的结构和语义的定义快速匹配不同的业务和技术场景，通过设计好的元模型会在平台自动转化为数据开发人员元数据定义的模板，保证设计和开发的一致性。
　　元模型管理模块提供内置关系型数据库、非关系型数据库等技术元数据和业务规则、业务建模等业务元数据，符合企业数据仓库环境的各类元数据管理模型。元模型可由用户自定义扩展，满足客户化元数据的需求。
　　元模型管理
　　元数据采集
　　支持对结构化、非结构化数据源的同步，支持用户通过配置定时任务自动采集与手动导入的方式，将不同系统的元数据进行统一的汇总和管理。
　　帮助用户快速对数仓中数据资产进行元数据采集、任务调度管理和结果查看
　　元数据编目
　　支持对元数据按照主题、层级以及部门进行单个或者批量编目。将元数据转变为易于理解的资产，供不同的数据使用方去调用。
　　元数据编目内置按照主题、部门进行编目。同时用户可以自己定义元数据分类的方式。同时支持自定义拖拽、批量编目、流程快速审批等功能，辅助用户快速进行元数据的编目，减少编码的复杂度。
　　元数据编目
　　数据地图
　　数据地图是对整个数据中台内的数据进行统一查询、管理的＂地图＂，数据地图主要面向数据开发者，汇聚用户所有数据信息，通过元数据信息收集、数据血缘探查、数据权限申请授权等手段，帮助数据中心专有云完成数据信息的收集和管理，解决＂有哪些数据可用＂、＂到哪里可以找到数据＂的难题，让用户找到数据、读懂数据、消费数据，致力于为用户提供高效率的数据消费产品。
　　数据地图
　　数据血缘分析
　　血缘分析指的是获取到数据的血缘关系，以历史事实的方式记录数据的来源、处理过程等。依赖血缘分析，快速定位问题。血缘分析基于公司自研的解析引擎，对数据的链路进行全方位的分析和快速查询。不但能够提供从汇聚到开发以及数据应用和分享整个链路体系的数据流向和各个节点的数据详细信息展示，精准到字段级别；而且提升数据查询效率，将查询时间控制在毫秒级别。
　　表级别血缘
　　字段级别血缘
　　元数据版本管理
　　在每一次对于元数据的修改，都会打包生成一个版本，以便日后对存异的或错误的元数据进行追溯，可以通过数据地图查看每次版本的修改信息，以及各个版本对应的原始数据详情。
　　元数据版本管理
　　元数据流程管理
　　元数据管理作为数据资产最重要的一个环节，元数据的变更会直接影响到数据采集、数据质量等模块。元数据的采集和变更都会经过如下流程，才能正式做上线操作。
　　1. 提出元数据新增需求《元数据变更审批表》。
　　2. 审批方受理新增需求，判断是否采集元数据，新增元数据是否受理。
　　3. 元数据实施方对元数据采集方案及计划确定。
　　4. 根据方案整理出对下游系统影响分析，明确影响范围。
　　5. 元数据上线审核通过，并做好版本管理。
　　元数据流程管理
　　— 04 —
　　元数据管理-路线图
　　从L0-L4五个元数据管理目标，主要分为基础平台构建到价值实现五个逐级递进的过程：元数据管理平台的构建--元数据的集中化管理--元数据自动管理--版本管理--价值实现。从下到上元数据的智能程度越来越高，其对应发挥的价值也也越来越大。
　　元数据管理路线图
　　— 05 —
　　总述
　　在大数据时代的背景下，数据即资产，元数据实现了信息的描述和分类的格式化，从而为机器处理创造了可能，它能帮助企业更好地对数据资产进行管理，理清数据之间的关系。元数据管理是企业提升数据质量的基础，也是企业数据治理中的关键环节。
　　北明数科 拥有丰富的元数据管理经验，在国资监管、大型央企项目都经历过打磨，并在华为FI、腾讯TBDS等大型数据集群上处理百万级别的元数据管理。为客户进行数据治理、数据资产管理提供了重要的支撑能力。
　　进入北明数科官网，了解数据中台更多详细内容，预约免费演示！
　　企业数字化转型需求洞察，这5点说明白了
　　北明数科入选数据中台TOP50：助力企业通过数据+业务，实现1+1＞2
　　集团类数据资产管理平台建设，北明数科数据中台这样做