【工业大数据】工业大数据漫谈：实时数据库与时序数据库

在工业大数据数据库存储领域，除了传统的关系型数据库和分布式数据库以外，还有一种类型的数据库是非常常用，而且是非常有必要的，就是实时数据库和时序数据库。

实时数据库诞生于美国，主要是因为现代工业制造流程及大规模工业自动化的发展，导致大量的测量数据需要集成和存储，而采用关系数据库难以满足速度和容量的要求，因此在80年代中期，开始诞生了适用于工业监控领域的实时数据库。

实时数据库其实并不单单只是一个数据库，而是一个系统，包括对各类工业接口的数据采集，海量监测数据的压缩、存储及检索，基于监测数据的反馈及控制功能等。

实时数据库的出现，主要是为了解决当时关系型数据库不太擅长的领域，包括：

工业监控数据要求采集速度和响应速度均是毫秒级的，一个大型企业几万甚至几十万监测点都是常有的事情，这么大容量的高频数据，如果用关系数据库进行存储，由于关系库本身设计的理念，导致它很难进行每秒几十万的数据的读写操作，而实时数据库通过转为快速读写设计的时标型数据结构、高频缓存等技术，可以实现海量数据的实时读写操作。

由于数据采集是海量的监控数据，那么如果用传统数据库进行存储，将会占用大量的存储空间，如果我们用关系数据库保存10000个监测点，每个监测点每秒钟采集一次双精度数的数据，即使不考虑索引等因素，也需要5-6T的存储空间，这里还不包括存储跟监测点相关的时间等因素，如果都包括，再建立索引，则需要15T-20T的存储空间。实时数据库采用了专门的压缩算法，包括哈佛曼算法、旋转门算法以及一些二次压缩算法，压缩比普遍能够达到30:1左右，再加上对于时间及索引的特殊处理，存储量能够缩小到关系库的1/40，因此，上面的例子只需要500G的空间就能够进行有效存储了。

由于历史和垄断的原因，目前工业通讯、传输的协议种类繁多，实时库一般都集成了大量的工业协议接口，可以对各种类型的工业协议进行解析和传输。同时，随着实时数据库的发展，接口软件部分也慢慢被独立出来，即可以与实时数据库核心集中部署在1台计算机上，也可以单独部署在接口机上，从而提供了更好的可扩展性和稳定性。

实时数据库一般都提供下行控制接口，并且是高速写出。写的效率严重依赖于接口通讯效率和执行机构。因此，实时数据库大都是从工控软件厂商发展而来的，他们就有丰富的工业控制写入的经验。即便如此，毕竟工业系统对时序有严格的要求，而数据库从读到写，会出现时滞，因此，实时数据库一般不适宜对快速开关量的控制。

在云计算的时代，实时数据库的一些缺点就慢慢的显露出来了。

首先，由于实时数据库是基于时标进行处理的，就导致它只能简单的使用时间段进行查询和检索，当然，各大厂商也开发了许多工具，但无论如何检索的丰富性不能和关系库比拟。

其次，由于实时库都是出售给大型工业企业的，因此价格昂贵，在物联网时代，对于中小工业企业来说，是个不小的成本。

再次，传统实时库在部署时不够方便灵活，传输也更多的考虑工业网络，甚少考虑互联网的情况，不太适应当下云计算环境的部署。

这个时候，新兴的时序数据库就出现了。时序数据库在2017年火了起来，出现了大量的开源和商业产品，时序数据库就是存放时序数据的数据库，并且需要支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。时序数据库其实主要是实时数据库的数据存储部分，但是，由于它采用了新的技术，极大地扩展了数据的容量，除了数据点和时间戳之外，还提供标签和内容等对数据的描述，并且提供各种聚合查询，弥补了实时库的缺陷。

但是，时序数据库不提供工业接口、下行控制等功能，这些都需要开发人员自行开发，或者将原有的接口与时序库对接。

当然，不管是实时数据库还是时序数据库，都在飞速发展中，双方一定会互相借鉴，互相学习，会提供更好、更多的产品供工业大数据使用。

实时数据库架构图

　　真正的分布式数据库。数据服务器、Web服务器、设备驱动、人机界面、实用工具可任意组合，分别运行在相同或不同机器上。实时数据，历史数据，过程报警，事件等作为整个系统的共有资源，可为其他客户端和数据库共享。

紫金桥实时数据库是一个性能好、容量大、可靠性高、安全性强的分布式实时数据库平台。适用于数据存储、生产管理、先进控制、优化控制、流程模拟等应用，是企业信息化的桥梁，可以提高工厂管控一体化水平，有效降低企业成本。其主要功能特点如下：

全新的点组态架构

为实现分布式点组态的目标，紫金桥实时数据库抛弃了积累十余年的点组态架构，采用全新的4层架构。依托全新的架构，点组态系统实现了功能上的重大突破。

数据库实时配置

在全新架构的支撑下，点组态系统实现了实时配置远程数据库的功能。通过选择数据源的方式，可以在本地实时数据库系统完成对指定数据源中点信息的配置。

独创的组织架构

点组态的组织机构是一个真正意义上的自定义组织机构，工程师可以按照需要任意组织层级关系，并且可以通过移动的方式改变层级关系。

优化的点组态人机界面

支持组织机构显示和维护，增加大量批量操作，提供不只一种的点信息显示方式，优化界面布局和显示效果。

升级的点信息导出导入

支持组织机构多结点导出导入，增加辅助操作，提供多文档同时导出导入。

新增的数据显示功能

为了使用户更直观的通过组织机构方式查看点的实时信息，紫金桥实时数据库新增的数据显示功能，用户可以通过全新的界面查看数据点的实时信息。

关系数据库通讯新方式--数据抽取

紫金桥实时数据库推出一种与关系数据库通讯的新方式：数据抽取。数据抽取模块，将多个关系型数据库中的数据按预先配置的抽取策略抽取到紫金桥历史数据库。

升级的脚本调试器

紫金桥实时数据库提供了功能强大的脚本功能，与此匹配的是升级后的脚本调试器。升级后的脚本调试器增加了全局查找功能，提高脚本的纠错效率。

向导式组态

针对用户的实际需求，将一系列常见功能如：历史查询、报警查询、关系库查询等模块化，并以向导的方式实现一键组态。

图形模板——新技术

使用事先定义的数据处理方式或外观展现形式，在运行时根据指定的输入数据，动态生成实例对象。为批量组态提供方便，并提高工程的灵活性。

多实例启动：独立运行

不同工程可以在同一计算机上独立运行，每个工程具有完整的运行系统，并且几乎具备了单工程独立运行的所有功能。

　　高性能历史存储

　长时间、高分辨率历史存储。历史保存时间可以精确到1毫秒，高效的数据存储算法，不但让你快速存取数据，而且能够进行快速历史数据插值。

　　分布式结构

　真正的分布式数据库。数据服务器、Web服务器、设备驱动、人机界面、实用工具可任意组合，分别运行在相同或不同机器上。实时数据，历史数据，过程报警，事件等作为整个系统的共有资源，可为其他客户端和数据库共享。

　　超大数据容量

　支持百万点的大型分布式实时数据库满足异地分布式的数据采集需求

　　内部仪表

　　数据库以内部仪表的形式表示各种运算功能，组态方便，层次清晰，便于调试、维护。

　　断点续传

　　当网络出现通讯故障，底层服务器仍能保存数据；通信恢复后，下级服务器能够自动将暂存的故障时段的所有数据上传到上级服务器。利用自恢复功能，保证全部数据不会因为局部故障而丢失，为连续的历史存储提供了坚实、可靠的基础。

　　多人协同开发

　　支持多人同时开发同一工程，任一工程师可以在任意地点开发整个工程的一部分，大大缩短了项目的完成时间

　　多节点冗余备份

　　支持双机/多机热备份，支持IO冗余、主机冗余、通讯冗余，系统可以智能检测不同类型的故障并自动进行响应的操作，确保系统安全可靠运行。

　　事故追忆功能

　　对与事件相关点的历史状态进行详实记录，以便事后对事件产生原因进行分析。事件的种类、数量、关联点、事件发生前后时间范围等都可以自由指定。

　　物料平衡

　　实时计算装置的投入产出数据、收率数据、损失数据,并可以对装置班、日、月平衡数据进行统计、汇总，能够准确反映整个生产过程物料移动情况。

　　班组考核

　　通过工艺重要参数的追踪，发现操作的潜在问题，产生指导性信息、并能对各个班组的操作水平进行评估、考核。

　　统计分析

　　统计过程控制（Statistical Process Control）SPC是质量管理的有力工具，它可以保持生产线稳定，减少质量波动，提高产品质量。数据库内置SPC点，可以提供多种控制图和分析数据，全程监控产品质量。

　　在线修改，远程维护

　　可在线修改数据库组态内容，组态完后，不必重新启动数据库，就可以将组态内容下装到数据库中。另外不必要到数据库所在机器，在远程就可以进行数据库组态。

　　多进程与多线程

　　采用多进程与多线程设计模式，系统更稳定。数据库、设备驱动、网络通信、实用工具、人机界面等程序分别是不同进程。由于进程运行在独立的地址空间中，一个程序的错误不会影响到另一个程序。同时可以将不同进程放到不同机器中，从而更合理的分配机器负荷，将重要的控制运算功能放到更为安全的机器上。同时，因为每个程序功能较单一，结构清晰，独立性强，调试和维护更加方便，因此能够更好的保证数据的实时性和可靠性，适合于大型应用。

　　多种开放接口

　　用户可以通过系统提供的API接口，COM控件，OPC服务器、DDE服务器与数据库进行通讯。

　　数据转储：与关系型数据库无缝连接

　　通过简单组态即可完成与关系数据库双向数据交换，也可以利用紫金桥脚本实现更复杂的数据库操作、也可以通过SQL功能块实现事件驱动式的数据交互。

　　其他实用工具

　　系统还提供了许多其他工具，如查询工具、过程趋势统计分析工具、数据浏览器、系统监控台等等。