一种用于智能工厂的实时数据库系统架构

技术领域

本发明属于智能制造技术领域，具体涉及一种用于智能工厂的实时数据库系统架构。

背景技术

在中国电子技术标准化研究院于2016颁布的智能制造能力成熟度白皮书中，将智能制造的能力成熟度模型划分为已规划级、规范级、集成级、优化级、引领级共五个等级。在第二级规范级的定义：在这个级别下，企业已经形成了智能制造的绘画，对支撑核心业务的设备和系统进行投资，通过技术改造，是的设备具备数据采集和通信的能力，实现了覆盖核心业务重要环节的自动化、数字化升级。通过制定标准化的接口和数据格式，部分支撑生产作业的信息系统能够实现内部集成，数据和信息在业务内部实现共享，企业开始迈进智能制造的门槛。

在第三级集成级中提到：能够实现设计、生产、销售、物流、服务等核心业务件的信息系统集成，开始聚焦工厂范围内数据的共享，企业已完成了智能化提升的准备工作。

在第四级优化级中提到：实现了工厂级的数字建模，并开始对人员、装备、产品、环境所采集到的数据以及生产过程中所形成的数据进行分析，通过知识库、专家库等优化生产工艺和业务流程，能够实现信息世界与物理世界互动。

在第五级引领级中提到：引领级是智能制造能力建设的最高程度，在这个级别下，数据的分析使用已贯穿企业的方方面面。

由以上阐述可见，工厂数据的采集、处理、分析、应用、服务能力是智能制造升级的前提保障，是实现智能工厂的关键环节。

对于现代工业企业，如何能获得工厂生产现场的各类数据，服务于生产、研发、销售、经营等活动的分析与决策，是智能工厂建设的关键。在智能工厂所关注的各项资源中，生产车间数据是重要资源，如果不能解决生产过程数据实时有效上传、高效处理、全面服务的问题，将无法及时、全面的掌握生产、库存、物流、设备等情况，提升资源利用率和生产可靠性，从而增强企业的核心竞争力，达成智能工厂的目标。

目前常用的实时数据库系统主要有商用系统和定制化系统两类，商用的实时数据库系统主要包括：美国OSI Software公司的PI实时数据库系统，其是基于C/S、B/S结构的商品化软件应用平台，目前是全世界装机量最多的实时数据库系统。Wonderware的InSQLServer，是一种面向工厂的高性能的实时关系型数据库。InSQL集成了微软公司的MS SQLServer并对其进行了的扩展，不仅具有高速的数据采集速度，高效数据压缩和数据存储等实时数据库性能，而且可以集成事件、概要、生产和配置等一般存于关系型数据库中的工厂数据。随着我国的战略发展，也陆续涌现出一些有代表性国产的实时数据库，例如：上海麦杰科技的openPlant，力控的pSpace,中国科学院软件研究所的Agilor实时数据库系统等。

工业领域内较多的是采用商用的系统，商用系统有着技术成熟、部署快捷、使用稳定等优点，但实际应用中，因各类工厂的生产特点不同、工厂设备、环境、物流等差别很大、存在大量的非标设备与非标系统，采用商用的实时数据库系统往往存在以下不足：

(1)为适合大多数用户的需求，商业软件通常提供的是标准化的接口，但对非标设备和系统的接口存在兼容性问题。

(2)商业软件往往包含大量臃肿和不必要的组件或功能，对硬件配置要求较高，不能充分利用硬件资源。

(3)采用商业软件最终可能会导致企业过度依赖于供应商，被锁定在一个封闭的系统中。

(4)商业软件也存在实施部署、运行维护、二次开发、版本升级等问题，同样对用户有人员培训、人员储备要求。

(5)商业软件往往价格较高，尤其在工厂的数据量不大的情况下，性价比较低。

而在常规的定制类的数据库系统方面，由于没有统一的集成框架、标准指导系统设计与开发，开发者往往从用户数据业务现实需求出发，进行系统设计与搭建，受限于开发者的经验和水平，定制开发的系统往往只解决到局部的问题，对数据的采集、处理、存储、分析缺乏系统性、安全性、整体性的考量。

发明内容

针对上述问题，本发明提供了一种用于智能工厂的实时数据库系统架构。本发明针对智能工厂的普遍数据采集、处理、存储、服务模式，采用模块化的结构，降低系统内业务耦合度，可支持开发者快速搭建实时数据库系统。

本发明通过下述技术方案实现：

一种用于智能工厂的实时数据库系统架构，包括高可靠实时数据采存中间件、数据库集群、数据服务层、数据库系统运行管理模块和数据库系统安全管理模块；

其中，所述高可靠实时数据采存中间件作为所述实时数据库系统架构的底层，用于从不同数据源实时采集智能工厂生产制造相关数据；

所述数据服务层作为所述实时数据库系统架构的顶层，用于将经过高可靠实时数据采存中间件、数据库集群、数据服务层、数据库系统运行管理模块和数据库系统安全管理模块处理、抽取、存储、分析后的数据输出给数据应用层，供各类智能工厂信息化系统使用。

优选的，本发明的高可靠实时数据采存中间件支持多级分布式部署结构，保证数据的统一、同步和准确更新，单个采存中间件节点读写采用多线程读写。

优选的，本发明的高可靠实时数据采存中间件包括点配置单元、数据驱动与接口单元、数据缓存单元和数据入库单元；

其中，所述数据驱动与接口单元为了建立与不同数据源之间的通讯，集成了多种工业数据驱动和多种接口协议，以实时获取不同数据源的数据；

所述点配置单元将采集对象与数据点进行关联，通过其内置的逻辑分组结构实现数据的层次化管理；

所述数据缓存单元采用服务程序定时读取未处理的写入失败日志，发现有写入失败数据时，则将这些数据写入数据中心的主从数据库，如果写入成功则删除日志或将日志装置变为已处理；如果写入失败则不进行操作，等待下一次处理；

所述数据入库单元将采集到的全部实时数据存储到所述数据库集群的实时数据库中。

优选的，本发明的实时数据存储过程具体包括：

将数据缓存到数据队列中；

将新插入数据与上一条数据进行对比，数据不一致时，则将新插入数据更新到上一条数据的队列中；

将更新后的数据写入实时数据库缓存队列中，实时数据库内嵌高效压缩算法，将缓存队列中数据进行高效压缩并进行存储。

优选的，本发明的数据库集群包括实时数据库、历史数据库、报警数据库和分析数据库；

所述高可靠实时数据采存中间件采集的实时数据直接存储到所述实时数据库中，实时数据持久化后存储到所述历史数据库中，再根据数据性质或数据处理分别存入所述分析数据和所述报警数据库。

优选的，本发明的数据库系统运行管理模块包括数据管理单元、采集网络健康监控单元、数据报警单元、历史数据检索和报告单元、数据标准化单元；

所述数据管理单元提供对智能工厂多维度的运行数据、状态数据的管理，提供数据查询、数据处理和数据导出的功能，支持同一测点在不同时间段或不同测点数据的对比显示，支持数据预警范围设定；

所述采集网络健康监控单元实现实时数据传输过程IT基础设施的关键状态监控，具备数据上报功能，实现与其他业务系统的数据交互；

所述数据报警单元通过创建分层的信息树，显示整个报警结构以及特定监控点，当发现超出正常参数范围的事件时，实现数据报警；

所述历史数据检索和报告单元通过对检索的历史数据执行统计分析，生成数据分析报告；

所述数据标准化单元包括兼容智能工厂各类原始采集数据的读取接口、统一的计算参数配置、标准化的计算公式、自定义计算公式和可视化输出文件格式配置。

优选的，本发明的数据服务层实现对内外部系统用户提供数据服务。

优选的，本发明的数据库系统安全管理模块实现所述高可靠实时数据采存中间件、数据库集群、数据服务层、数据库运行管理模块的综合安全管理，包括数据库访问权限认证单元、数据安全策略单元、敏感数据安全保护单元、数据备份与恢复单元；

所述数据库访问权限认证单元提供传统的自主访问控制机制和强制访问控制；

所述数据安全策略单元实现包括对数据库中数据的修改权限控制以及数据加密功能；

所述敏感数据安全保护单元用于实现对敏感数据的安全管理；

所述数据备份与恢复单元用于执行数据库完全备份和数据库恢复。

优选的，本发明的数据源包括仓储控制系统数据、物流调度系统数据、产线控制系统数据、检验仪器设备数据、安全防范系统数据、环境监测系统数据。

优选的，本发明的数据应用层可采用B/S架构或C/S架构的智能工厂应用系统。

本发明具有如下的优点和有益效果：

本发明将为智能工厂的构建提供数据基础，特别是通过实时数据的采集、处理、存储、转发、管理、安全等多业务实现模块化集成，支持开发者快速实现系统、完整的系统设计、开发，并且根据不同智能工厂的业务、数据特点，对其重点、核心系统模块进行针对性强化，以适应不同智能工厂的数据采集、处理、服务的需求。本发明采用模块化设计，提高了通用性和互换性，缩短系统故障修复时间，在扩展性上可对薄弱环节进行针对性完善和优化。

本发明采用实时数据库技术，可应用于智能工厂生产制造过程中的人员、设备、物料、工艺、环境、质量、物流等全链路数据的实时采集、处理、存储，并可提供定制化的数据服务。实现数据的充分利用，有效的推动生产、研发、市场、经营等数字化应用，为实现智能工厂构建坚实的基础。

相较于商用数据库系统，本发明提出的系统架构能够定制和修改源代码，具备更加丰富的系统灵活性和环境适应性。本发明的系统架构可实现与商业软件实时数据库系统核心性能指标和主要性能相当，且可进行迭代优化升级。

本发明提出的系统架构在第三方接口方面支持与数据库、各类接口联动，可在源代码级进行接口定制，为上层应用系统提供更好的支持。

本发明有更好的成本优势，只重点开发用户需要的业务功能，在软件上节省下的开支可以在其他地方进行投资。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明的系统架构示意图。

图2为本发明的实时数据采存数据流。

图3为本发明的数据缓存流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

现有的传统工厂实时数据库系统架构存在扩展性不足、数据采集类型不全面、尤其是数据实时性不高、采集的数据未进行有效的清洗、抽取、管理、不能及时提供准确全面的数据服务等问题。无法实时、完整链接工厂生产制造过程中的人员、设备、物料、工艺、环境、质量、物流等数据，支撑生产管理、研发、服务等数字化业务，成为工厂数字化、智能化升级的一大障碍。

本实施例提供了一种用于智能工厂的实时数据库系统架构，本实施例将传统的数据采集系统架构进行完善和扩展，将系统分解为高可靠实时数据采存中间件、数据库集群、数据服务、数据库系统运行管理、数据库系统安全管理等模块，保证数据实时性的同时，提供高扩展性，支持数据管理与数据服务的可配置化，并提供数据安全性保障。可为智能工厂快速定制数据库系统，提供全方位的数据采集、存储、处理、服务等业务。

具体如图1所示，本实施例的系统架构主要由高可靠实时数据采存中间件、数据库集群、数据服务层、数据库系统运行管理模块和数据库系统安全管理模块。

其中，数据来源层做为实时数据库系统的数据输入，输入数据经实时数据库系统处理、抽取、存储、分析后输出给数据应用层，供各类智能工厂信息化系统使用。

数据来源层是数据库管理系统的数据输入，包含智能工厂生产制造的核心要素，主要包括仓储控制系统数据、物流调度系统数据、产线控制系统数据、检验仪器设备数据、安全防范系统数据、环境监测系统数据、以及其他数据源。此处各类系统不仅指狭义的软件系统，也指包括硬件、软件等设施设备实现某类特定功能的集成系统。

数据应用层是通过WebAPI、WebSocket、MQTT等接口方式获取数据库系统输出的数据，可构建采用B/S架构的智能工厂应用系统，例如生产运行管理系统、仓储运行管理系统、质量运行管理系统、安全环保管理系统等；亦可构建采用C/S架构的具有高实时性的应用系统，例如现场作业系统、安全监控系统、设备监控系统等。

本实施例的高可靠实时数据采存中间件位于系统架构的最底层，包含数据采集、数据低延时发布、数据缓存等功能。中间件支持多级分布式部署，各节点间以专用连接作为通讯链路，以快速搭建分布式架构。

采存中间件采集的各类系统布置分散、接口协议不同且数据规模不一，采存中间件支持分布式部署结构，并可保证数据的统一、同步、准确更新，单个采存中间件节点读写采用多线程读写。

采存中间件具有数据缓存的功能，当出现网络中断、中心机房服务器升级或维护需要离线时，不影响实时数据采集，具备一定的数据缓冲时间。当数据链路恢复时，缓存的可自动上传至实时数据库中，实时数据采存数据流如图2 所示。

采存中间件可由C++编程语言实现，数据获取、传输、存储采用低时延设计。本实施例的采存中间件主要包括点配置单元、数据驱动与接口单元、数据缓存单元等。

数据驱动与接口单元：为了建立与数据来源层系统、设备之间的通讯，采存中间件为为每种不同的系统、设备安装驱动程序以便建立起合适的通讯，包括三菱、倍福、西门子等多种工业数据驱动。包括Modbus、OPC UA/DA、IEC 104、WebService、WebAPI、MQTT等多种接口协议。

点配置单元：实现接入数据点创建、编辑、删除等操作，实现数据库系统所有采集数据点名称、数值、计量单位、转换名称等数据的管理。支持将采集对象与数据点进行关联，通过其内置的逻辑分组结构实现数据的层次化管理，对采集对象进行重新分组。支持设定数据值报警规则，进行报警属性设置，包含状态翻转报警、数据值超限报警，多个数据值复合报警。

数据缓存单元：采存中间件具有数据缓存的功能，以应对当出现网络中断、中心机房服务器升级或维护需要离线时等情况，采用一个专门的后台服务处理这些信息，服务程序定时读取未处理的写入失败日志，发现有写入失败数据时，尝试将这些数据写入数据中心的主从数据库，如果写入成功则删除日志或将日志状态变为已处理，如果写入失败则不进行操作，等待下一次处理，如图3所示。

数据入库单元：采集到的全部实时数据都存入数据库集群的实时数据库中，实时数据库选用Influx DB。采存中间件通过驱动或接口获取实时数据后，首先将数据缓存到数据队列中，将新插入数据与上一条数据进行对比，数据不一致时，将新数据更新到上一条数据的队列中，之后将数据写入实时数据库缓存队列中，实时数据库内嵌高效数据压缩算法，将缓存队列中数据进行高效压缩，并进行存储。

本实施例的数据库集群包括实时数据库、历史数据库、报警数据库和分析数据库等类型数据库。从数据处理逻辑上来说：通过数据采存中间件采集的实时数据直接存入实时数据库，实时数据持久化后存入历史数据库，再根据数据性质或数据处理分别存入分析数据库、报警数据库等各类数据库。从数据库类别上可主要分为实时数据库、关系数据库两大类。

实时数据是一种时间序列型数据，采用时序数据库Influx DB进行存储，数据库支持的数据格式至少可以包含以下四种：Int、Float、String、Bool。数据库支持数据二次过滤和数据压缩，数据存储效率高、磁盘占用空间小，恢复精度好，针对时间戳、布尔量、整型值、浮点数和字符串等类型数据存储时，可根据不同的数据类型来选择不同的压缩算法。

将采集的实时数据存入本地暂存并转发至SQL Server、Oracle、My SQL、达梦等关系数据库中的原始数值表中形成历史数据库。关系数据库实现对分析数据、报警数据的存储，同时实现对工厂运行管理数据、制造过程管理数据、维护管理数据、仓储物流数据、标准化数据等历史数据的存储。

本实施例的数据库系统运行管理模块主要对智能工厂各类数据实施有效管理，满足对这些数据存储、处理、分析的需求，主要包括数据管理单元、采集网络健康监控单元、数据报警单元、历史数据检索和报告单元、数据标准化单元。数据库系统运行管理模块采用C#进行开发，信息录入、信息获取、后台数据管理、数据处理服务、WebAPI接口等可与智能工厂已有的信息系统标准框架集成。

数据管理单元提供对工厂多维度的运行数据、状态数据的管理，提供数据查询、数据处理及数据导出功能，支持同一测点在不同时间段或不同测点数据的对比显示，支持设定数据预警范围设定等。

采集网络健康监控单元实现实时数据传输过程IT基础设施的关键状态监控，消除或尽量降低因为断电、基础设施故障以及性能问题所带来的数据损失，具备数据上报功能，实现与其他业务系统的数据交互。

数据报警单元通过创建分层的信息树，显示整个报警结构以及特定监控点，当发现超出正常参数范围的事件时，实现数据报警。

历史数据检索和报告单元通过对检索的历史数据执行求和、求平均值、均方差或其他统计分析计算，生成数据分析报告。

数据标准化单元包括兼容工厂各原始采集数据的读取接口、统一的计算参数配置、标准化的计算公式、自定义计算公式和可视化输出文件格式配置等，满足智能工厂多类型的数据处理。

本实施例的数据服务层实现对内外部系统用户提供数据服务。数据服务层采用C#进行开发，包括实时数据服务单元、历史数据服务单元、数据统计分析单元和实时数据抽取单元等。

实时数据服务单元可根据外部系统的数据内容、格式、接口要求，设计数据服务接口为相关数据应用系统提供数据服务。将实时数据进行SOA服务化封装，以数据服务形式提供实时数据查询、实时数据写入等功能。根据智能工厂各类业务系统数据接口特点，可提供多种类型的数据服务接口，包含RESTful 接口(WebAPI)、WebSocket(SignalR)、MQTT等方式。

历史数据服务单元采用RESTful风格的WebAPI接口来完成。根据服务调用者对数据的增删改查需求，数据服务提供相应的Get、Post、Put、Delete方法，服务接口的实现需要提供权限认证，只有通过认证的用户才能调用接口。

数据统计分析服务单元根据不同的数据统计分析需求，定义一系列接口完成各类数据的统计分析。由于统计分析功能需要对大量的数据查询、计算，耗时长，并且对历史数据的分析统计结果不会变化，所以可以用专门的统计分析服务来完成这一功能。

实时数据抽取单元可以在高可靠实时数据采存中间件中实现，也可以使用后台服务定时从实时数据库中抽取。如果在采存中间件中实现，时间间隔、数据项等信息在点配置中指定。如果使用后台服务实现，则可以定义一系列的数据抽取方法(可扩展)，然后按各自指定的时间间隔执行这些方法，完成数据的抽取和存储。

本实施例的数据库系统安全管理模块采用C++进行开发，实现高可靠采存中间件、数据库集群、数据服务、数据库运行管理模块的综合安全管理，主要包括数据库访问权限认证单元、数据安全策略单元、敏感数据安全保护单元、数据备份与恢复单元等。

数据库访问权限认证单元提供传统的自主访问控制机制和强制访问控制，前者由数据对象(客体)的属主或者系统管理员负责管理它的访问保护策略，后者主要对用户和客体添加安全标记完成。

数据安全策略单元主要实现包括对数据库中数据的修改权限控制以及数据加密功能。

敏感数据安全保护单元包括但不限于实现如下功能：口令、密钥、证书、会话标识、License、隐私数据、授权凭据等。对于敏感数据采用加密、细粒度权限和审计三种方式加强管理。

数据备份与恢复单元通过执行数据库完全备份，数据库的恢复方法，根据不同的需要常采用三种恢复手段：数据库级的恢复、表空间(Tablespace)的恢复、数据文件的恢复。

在常规的定制类的数据库系统方面，由于没有统一的集成框架、标准指导系统开发，开发者往往从用户数据业务现实需求出发，进行系统设计与搭建，受限于开发者的经验和水平，定制开发的系统往往只解决到局部的问题。例如同样实现数据的采集、存储、服务功能，在本实施例提供的系统架构下，融入了数据库安全管理、数据库运行管理等模块，并在数据库系统内实现对数据的处理、分析、抽取等工作，可在有效保证数据安全的前提下，更好的为业务系统提供更加高效、高质量的数据支持服务。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。