以航空大数据为例，一窥企业数据架构规划和治理之道

作者介绍

刘庆会，主要负责普元大数据治理产品的实施，十年大型企业信息数据治理架构设计与建设经验，为多家大型金融机构、企业设计与规划数据管理整体框架和项目实施。对数据行业有着深入的研究和洞察，并在企业信息化平台建设、数据治理及大数据平台建设有着丰富经验。

声明：本文转自EAWorld（eaworld）公众号，经平台授权转载。

目录大纲：

1、航空业数据治理现状

2、航空业大数据治理的三个发展趋势

3、规划企业数据架构的两种模式

4、规划企业数据架构的三个关键技术

5、总结

一、航空业数据治理现状

目前航空行业数据治理已经逐步开展起来，驱动航空行业开展数据治理工作的因素与证券、银行、通信领域不同。证券行业有证监会33条规定，银行业有银监会要求在2017年7月份开始实施报送数据标准化规范要求，这些外在监管要求促使了证券、银行必须开展数据治理方面的建设。而促使航空行业开展数据治理的主要因素是客户倒逼企业在做，服务行业现在都在做客户精准营销，航空业也不例外。

这些年航空公司的信息化快速发展，积累了很多有价值的数据。但拥有数据，并不意味着拥有数据资产。

如何将企业的数据转化为数据资产？我们知道企业在日常运营过程中产生的数据，只是一些原材料，存在不可知、不可信、不可取等问题。要想将其转化为数据资产，需要借助大数据治理打通数据和信息的通道，从而为挖掘数据价值、业务创新提供决策支持，以满足客户的个性化服务的要求。

通过对国内两家大型航空公司数据治理项目的实施以及中小航空公司数据治理的交流探讨，笔者总结出航空数据现状总体面临着散、乱、难问题，数据资产分布散、数据定义乱、数据管理难，这使得航空业大数据治理呈现出三个趋势。

二、航空业大数据治理的三个发展趋势

趋势1：集中管理企业数据资产

针对分散在企业各个系统的数据资产，对企业数据资产进行盘点，实现对数据资产的统一集中管理。管理的内容包DB数据资产、接口数据资产、报表数据资产、指标标准和企业数据模型等。

趋势2：提升企业数据洞察能力

通过数据治理构建数据洞察能力趋势，举个例子说：小张是销售部门的数据分析员，现在需要做一个2017年“春运”的市场和销售情况分析。他知道需要航班日期、起落机场、机型、收入、成本等这些基本数据，并且这些基础数据来源于航班运控系统。但他想分析中加入航油、腹舱货运，天气对航班的影响。这些数据有没有？从哪里取？连他这个老员工都不清楚，就更不用说新员工了。

通过大数据治理，提升企业对数据资产洞察能力，可以快速定位到需要的数据。

趋势3：规划企业数据架构

简单来说，数据架构就是“人对企业业务的表达、记录，并转化为计算机可处理的格式”，是连接数据与信息的桥梁，部分航空公司为了适应这个趋势，专门成立了数据架构部，负责建立维护管理企业整体数据架构。

我们认为企业的数据架构，主要有三个组件构成，分别是数据标准、企业模型和数据存储结构，如下图所示：

标准在最上层，是总体纲领，企业模型在中层，最下层是数据资源存储结构，层次是这样划分的。但在实际建立的过程中，是一个由下而上的方式，通常是在现有数据存储结构的基础上，设计企业数据模型，然后归并数据项，形成数据标准。

通过大数据治理，可以规划统一、标准的数据架构，为企业信息化建设提供规范和标准，使得在业务层和应用层之间，做各个操作型应用的设计、开发；在各个操作型应用和数据层之间，做业务系统数据结构的设计以及数据集成；在分析型应用和数据层之间，做数据获取、分析，从而指导规范企业信息化建设。

三、规划企业数据架构的两种模式

规划企业数据架构，通常有两种典型的模式：

 

模式一：从技术到业务，也可以称为Bottom-up模式。典型特征是先定义主题域，在从现有操作性数据结构出发，通过调研和访谈，规划数据架构，实现数据到信息的打通。

模式二：从业务到技术，也可以称为Top-Down模式。特征是以业务流程为主线，串联业务单元、业务环节、业务活动。分析业务活动所需的实体、属性。通过调研访谈，确认最终业务用户的数据需求和KPI绩效考核标准。整合在一起，再结合现有的数据结构，规划企业数据架构，实现数据到信息的打通。

两种工作模式没有好坏之分，需要根据企业的数据现状，采用适合自身的工作模式。

从技术到业务模式的经典案例

借助数据治理工具，实现对企业数据资产的盘点，盘点数据资产管理的对象包括数据从业务系统到数据仓库、集市、报表的流转加工关系。盘点的范围是以数仓为核心，构建业务系统到数仓、数仓到数据分析应用的全链路数据资产盘点。

在数据资产盘点的基础参考同业案例或经验，划分数据主题域。在项目中我们借鉴达美航空经验确定了13个数据主题域，同时又分析了数仓的模型中2000多个实体，对现有系统的数据结构进行调研确认，从而构建了企业数据模型。

在企业数据模型的基础上，对数据项进行归并、指标口径的标准化，抽象出数据标准层，形成统一数据架构，提升数据服务能力。

从业务到技术模式的经典案例

模式一以现有企业信息化系统数据结构为基础。模式二以业务流程切入，以业务环节中的获取信息为基础，汇总企业数据项的信息。

下图是某航空公司飞机运行生命周期管理业务流程。从规划发展部做飞机引进计划，到飞机投入运营，再到飞机退出，每个业务环节都会产生业务数据。在梳理的工程中，会从业务部门收集业务流程的各环节涉及的数据集和数据项信息。

然后对数据项进行整合，按照数据项使用的热度，频率、关联度等，整合数据项、代码、指标度量、维度等，在结合（国际/国内）同业经验，形成某业务域的数据架构。

在构建企业统一数据架构过程中会遇到各种问题，在关于设备主题域数据项制定的过程中，就发现了一个飞机号B5917，却存在三个不同的叫法，有的系统叫飞机尾号、有的叫飞机号，还有的叫飞机设备尾号。总之，各系统存在数据项业务含义不统一的地方。在梳理过程中要弄清楚数据的来源，来源不唯一的情况下还要从业务角度划分数据的责任方。最终确定统一的名称和业务含义。

下图是我们在某航空公司构建数据标准示例，我们可以看到，航空业数据标准主要包括指标标准、业务术语、基础编码和数据项。

四、规划企业数据架构的三个关键技术

通过合理规划企业的数据架构，可以打通数据与信息的通道。这里列出了3个关键技术，来帮助企业快速合理地规划企业数据架构，实现数据到信息的转换。

关键技术1：自动化数据资产收集技术

通过自动化数据资产收集，需要完成以下几件事：

• 梳理全企业数据架构，对企业的数据模型、数据关系、数据处理有清晰化的认识；
  

• 对数据资产形成统一的自动化管理，形成企业的元数据库；

• 对企业数据资产形成多种视图，使数据资产能够对不同用户，有不同视角的展示。

从一定程度上来说，元数据采集的全面性和准确性决定了自动化数据资产收集的成败，是否能够对大数据、数据仓库、关系型/非关系型数据库、数据模型、主流ETL工具等实现自动化的元数据采集是关键。

关键技术2：数据资产自动分类实现技术

通过元数据聚类能力，形成资产密度分类，结合已有的的模型体系进行归类和整合。将收集的元数据分类归集到信息模型上，形成多维度的、完整的模型体系，从而贯通业务技术。这里面需要元数据产品具备自动化的分类引擎以及可扩展的元模型管理能力。

关键技术3：数据资产质量自动监控技术

数据资产质量自动监控，要求能够从数据的准确性、完整性、及时性、一致性等六性的维度，对数据资产的质量进行管理，从数据问题定义、问题发现、问题处理、问题跟踪和问题评估统计5个环节，构建资产质量的闭环管理流程。

五、总结

航空数据现状总体面临着数据资产分布散、数据定义乱、数据管理难等常见问题，集中管理数据资产、提升企业数据洞察能力、规划企业数据架构是航空业应用大数据治理的三大趋势。

其实不只在航空行业，各个行业在将企业数据转化为数据资产的过程中，打通数据与信息的通道都是关键的一环。通过自动化收集、自动化分类、自动化数据质量监控等技术手段，可以辅助企业规划统一、标准的数据架构，最终为数据转化为信息（数据资产）提供可靠、可行的途径。

近期热文

终于有人把云计算、大数据和人工智能讲明白了！

当云服务融入分布式缓存系统架构，会擦出怎样的火花？

上云三部曲：集团支付平台数据架构最佳实践

远离温水煮青蛙，新的一年做个有规划的技术人

应对Hadoop集群数据疯长，这里祭出了4个治理对策

最新活动

运维技术沙龙（广州站）

（点此链接或图片了解更多详情）

大数据与机器学习技术沙龙（上海站）

（点此链接或图片了解更多详情）

2018 Gdevops全球敏捷运维峰会（成都站）

（点此链接或图片了解更多详情）