法律状态公告日
法律状态信息
法律状态
2019-10-08
授权
授权
2017-11-07
实质审查的生效 IPC(主分类):G01D21/02 申请日:20170503
实质审查的生效
2017-10-10
公开
公开
技术领域
本发明涉及安全监测技术领域，特别是一种南水北调工程安全数据异常模式发现方法及系统。
背景技术
南水北调中线干线工程是缓解京、津、冀、豫等北部地区水资源短缺紧张，优化我国水资源配置的一项战略性基础设施工程。该工程南起湖北丹江口水库，直达北京的团城湖和天津市外环河，工程全长1432km，是世界上最大的跨流域调水工程。南水北调中线干线工程沿线地质及气象条件的复杂性使南水北调工程安全受到严峻挑战。为保障工程安全，目前南水北调工程沿线已布设传感器六万多个，用于实时采集工程安全数据，达到全时段、全方位了解工程安全的目的。然而，传感器采集的海量数据同样存在数据量大但信息量小的问题，如何从海量数据中分析挖掘出有价值信息，并预测数据变化趋势，对保证南水北调中线干线工程安全具有重要意义。
目前，在利用多传感器对南水北调中线干线进行工程安全数据采集、分析、预警和决策的工作中还存在一些问题，包括：
1) 在传感和通信系统中，工作环境的复杂性导致监测数据存在大量缺失及异常现象；
2) 传统的基于水利工程机理分析的模型能够针对简单状况下的工程实体进行机理分析，但在分析处理复杂问题时有一定的局限性。同时，机理模型在使用过程中通常需要对数据有一定的要求或假设，而模型本身也必须有明确的数学形式。但真实世界数据的分布通常较为复杂，很难做出任何假定。
3) 传统数理统计方法通过对工程安全数据的分析，能够得到工程安全数据的产生机理，但对监测数据本身没有预测能力。
从以上存在的实际问题出发，本发明选取南水北调中线干线中的典型建筑物为研究对象，针对同一建筑物的多类型传感器探测数据，针对多类型，多维度南水北调工程安全监测数据，进行数据预处理、数据建模、数据预测和工程安全数据预警等问题进行研究。
发明内容
鉴于此，本发明提供一种南水北调工程安全数据异常模式发现方法及系统，围绕传感器安全阈值确定、监测数据预测和异常模式发现机制构建三个方面，展开基于“自助法”的传感器安全阈值计算、基于机器学习和多模型方法的监测数据预测、基于智能信息处理的异常模式发现机制构建的研究，为南水北调工程安全异常模式发现提供科学的理论依据和辅助决策。
为了达到上述目的，本发明是通过以下技术方案实现的：
本发明提供一种南水北调工程安全数据异常模式发现方法，包括： 将传感器进行分组； 确定每个传感器的安全阈值； 确定每组传感器的既定阀值； 判断任一传感器收到数据是否超出该传感器的安全阈值：若不超过安全阈值，则记录该数据；若超过安全阈值，则判断该传感器为发生异常，并进行下一步； 判断该传感器所在组内所发生异常的传感器比率是否超过既定阀值：若超过既定阀值，则进行报警；若不超过既定阀值，则对该传感器数据进行预测，并重新确定该传感器的安全阈值。
进一步地，将传感器进行分组，包括： 根据传感器的时空序列对传感器进行自动聚类分组。
进一步地，确定每个传感器的安全阈值，包括： 对每个传感器的数据样本进行抽样； 对抽样样本进行计算得到各个传感器的置信区间，即传感器的安全阈值。
进一步地，确定每组传感器的既定阀值，包括： 预先设定每组传感器中发生异常的传感器的比例上限，超出上限即超出既定阀值。
进一步地，重新确定该传感器的安全阈值，包括： 建立该传感器与该传感器所在组传感器的数据的非线性回归模型； 利用非线性回归模型对该传感器的数据进行预测；根据预测结果重新确定该传感器的安全阈值。
进一步地，重新确定该传感器的安全阈值之后，还包括： 根据重新确定的传感器安全阈值对该传感器所收到的数据进行判断：若不超过新的安全阈值，则记录该数据；若超过新的安全阈值，则判断该传感器为发生异常，并在该传感器所在组内进行判断是否超出既定阀值。
本发明还提供一种南水北调工程安全数据异常模式发现系统，包括： 多个传感器，用于收集工程安全数据； 传感器分组模块，用于将传感器进行分组； 安全阈值确定模块，用于确定每个传感器的安全阈值； 既定阀值确定模块，用于确定每组传感器的既定阀值； 第一判断模块，用于判断传感器收到数据是否超出该传感器的安全阈值； 第二判断模块，用于判断每组传感器内所发生异常的传感器比率是否超过既定阀值。
进一步地，所述传感器分组模块根据传感器的时空序列对传感器进行自动聚类分组。
进一步地，还包括： 安全阈值重新确定模块，用于利用非线性回归模型对该传感器的数据进行预测，并根据预测结果重新确定该传感器的安全阈值。
本发明提供一种南水北调工程安全数据异常模式发现方法，具有如下有益效果：
本发明方法将机器学习、复杂系统参数估计、时-空序列挖掘方法交叉聚集于“时空序列智能聚类”、“时空序列参数预测”、“时空序列异常模式发现”等复杂前沿科学问题，最终完成南水北调工程安全异常模式预警。既体现了现代机器学习方法与复杂系统参数估计的深度交叉和融合，更是试图通过现代计算机智能方法解决时空序列的精确预测与序列异常模式发现的大胆尝试，本发明方法的优点主要体现在以下几个方面：
1.基于时空序列挖掘理论，研究时空序列自适应分割方法和序列聚类方法，完成监测传感器的自动分组；
2.摆脱传统机理模型在数据处理之前需要建立多个假设和精确数据模型的约束，拓宽水利信息数据处理方法。仅关注原始监测数据本身的数据特点，利用高维数据回归分析理论和现代机器学习方法，构建时空序列参数间的关联模型，达到对时空序列参数精确预测的目标；
3.深化现代智能信息处理方法融合复杂系统参数估计技术，构建时空序列异常模式发现方法，完成对南水北调工程安全及时预警的目标。
南水北调工程安全数据异常模式发现系统的有益效果与南水北调工程安全数据异常模式发现方法类似，不再赘述。
附图说明
图1为本发明实施例所提供的南水北调工程安全数据异常模式发现方法的流程示意图；
图2为本发明实施例所提供的南水北调工程安全数据异常模式发现系统的结构框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合具体情况说明本发明的示例性实施例：
本发明提供一种南水北调工程安全数据异常模式发现方法，主要包括以下步骤：
将传感器进行分组；
确定每个传感器的安全阈值；
确定每组传感器的既定阀值；
判断任一传感器收到数据是否超出该传感器的安全阈值：若不超过安全阈值，则记录该数据；若超过安全阈值，则判断该传感器为发生异常，并进行下一步；
判断该传感器所在组内所发生异常的传感器比率是否超过既定阀值：若超过既定阀值，则进行报警；若不超过既定阀值，则对该传感器数据进行预测，并重新确定该传感器的安全阈值。
请参考图1，图1为本发明实施例所提供的南水北调工程安全数据异常模式发现方法的流程示意图；本实施例提供一种南水北调工程安全数据异常模式发现方法，具体包括以下步骤：
步骤S101、根据传感器的时空序列对传感器进行自动聚类分组。基于时空序列挖掘理论，研究时空序列自适应分割方法和序列聚类方法，对监测传感器进行自动分组。
步骤S102、确定每个传感器的安全阈值。对每个传感器的数据样本进行抽样；对抽样样本进行计算得到各个传感器的置信区间，即传感器的安全阈值。
在本实施例中，针对南水北调工程安全监测数据，利用“自助法”对数据样本进行有放回的随机抽样100次，每次抽样样本规模为单个传感器监测总数据量的60%，然后对100个抽样样本进行计算得到各个传感器的置信区间，建立传感器安全阈值区间，为下一步的数据异常模式发现提供判断依据。
作为一种可实施方式，在计算置信区间时，置信度选取为95%。
步骤S103、确定每组传感器的既定阀值。预先设定每组传感器中发生异常的传感器的比例上限，超出上限即超出既定阀值。
步骤S104、判断任一传感器收到数据是否超出该传感器的安全阈值：若不超过安全阈值，则记录该数据，即按正常数据处理；若超过安全阈值，则判断该传感器为发生异常，并进行下一步；
步骤S105、判断该传感器所在组内所发生异常的传感器比率是否超过既定阀值：若超过既定阀值，则进行报警；若不超过既定阀值，则进行下一步。
步骤S106、建立该传感器与该传感器所在组传感器的数据的非线性回归模型；
步骤S107、利用非线性回归模型对该传感器的数据进行预测；
步骤S108、根据预测结果重新确定该传感器的安全阈值。
步骤S109、根据重新确定的传感器安全阈值对该传感器所收到的数据进行判断：若不超过新的安全阈值，则记录该数据；若超过新的安全阈值，则判断该传感器为发生异常，并在该传感器所在组内进行判断是否超出既定阀值。
利用“自助法”得到各个传感器的安全阈值；当有新的数据来临，首先判断是否超出了传感器安全阈值，如果没有，则按照正常数据处理，如果超出了安全阈值，则选择与当前传感器聚类为同组的传感器组进行考察；对于相关传感器组，如果该时间段内，该组中发生异常的传感器比率大于既定阀值，则进行工程级报警；如果该事件段内相关传感器组中发生异常的传感器比率小于既定阀值，则利用机器学习方法建立当前传感器与相关传感器组之间的非线性回归模型，并利用传感器组的监测数据对当前传感器数据进行预测，并生成该时刻下的数据安全空间；在新的安全区间下，如果该传感器的当前监测值存在于新的安全区间中，则作为正常数据处理，否则进行传感器级别报警。
本发明实施例还提供一种南水北调工程安全数据异常模式发现系统，包括：
多个传感器，用于收集工程安全数据；
传感器分组模块，用于将传感器进行分组；
安全阈值确定模块，用于确定每个传感器的安全阈值；
既定阀值确定模块，用于确定每组传感器的既定阀值；
第一判断模块，用于判断传感器收到数据是否超出该传感器的安全阈值；
第二判断模块，用于判断每组传感器内所发生异常的传感器比率是否超过既定阀值。
进一步地，所述传感器分组模块根据传感器的时空序列对传感器进行自动聚类分组。
进一步地，还包括：
安全阈值重新确定模块，用于利用非线性回归模型对该传感器的数据进行预测，并根据预测结果重新确定该传感器的安全阈值。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的具体实施方式进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
机译： 网络安全系统中的模式发现方法及系统
机译： 网络安全系统中的模式发现方法及系统
机译： 通过分析已知和/或未知网络安全威胁的形态来检测数据异常的系统和方法
