基于场景识别的违章作业行为检测方法及系统

技术领域

本发明属于计算机图形识别技术领域，更具体地，涉及一种基于场景识别的违章作业行为检测方法及系统。

背景技术

石油钻井等工矿企业的作业场景中，违章作业行为是造成事故的直接原因之一。从监管的角度来看，作业行为的常规监管包括现场管理和通过视频监控远程管理。随着计算机视觉技术发展，采用视频分析技术，对作业行为进行监管，及时发现其中的违章作业行为，成为更加有效的管理方式。

视频违章识别的基础技术包括视觉目标的识别和视觉目标状态的识别，视觉目标是针对视频中与作业场景相关的目标，包括人或者人体的组成部分，现场的装备和使用的工具等。目标的识别可以采用深度学习的技术，通过人为标定的数据集来训练模型，从而可以从视频中框选出特定的目标并给出目标所属的类别，目前业界有很多支持目标检测的框架，例如YOLO和SSD等。

然而，对于视觉目标状态的识别，有些目标状态具有明显的特征，可以通过深度学习等方法来判别目标状态的存在，但部分状态不存在明显的可视化特征，但又对视频识别中的违章和隐患识别非常关键，进而导致现有的违章作业行为检测方法不适用于目标对象状态无法直接确定的场景。

发明内容

本发明的目的在于解决现有的违章作业行为检测方法不适用于目标对象状态无法直接确定的场景。

为了实现上述目的，本发明提供了一种基于场景识别的违章作业行为检测方法及系统。

根据本发明的第一方面，提供了一种基于场景识别的违章作业行为检测方法。

本发明的基于场景识别的违章作业行为检测方法包括以下步骤：

判断目标作业区域的当前帧场景是否属于预定作业类型的一个作业周期所对应的前序帧场景；

响应于所述当前帧场景属于所述前序帧场景的判断结果，判断目标作业区域的后续帧场景中是否先后出现预定违章作业行为所对应的帧场景和所述一个作业周期所对应的后序帧场景，所述预定违章作业行为与所述预定作业类型相对应；

响应于所述后续帧场景中先后出现预定违章作业行为所对应的帧场景和所述一个作业周期所对应的后序帧场景的判断结果，判定上一作业周期中存在违章作业行为。

作为优选的是，在所述判断目标作业区域的当前帧场景是否属于预定作业类型的一个作业周期所对应的前序帧场景的步骤之前，所述违章作业行为检测方法还包括：

获取目标作业区域的单帧图像。

作为优选的是，在所述获取目标作业区域的单帧图像的步骤之后，所述违章作业行为检测方法还包括：

根据获取的目标作业区域的单帧图像确定目标作业区域内的预定目标对象之间的相对位置关系。

作为优选的是，在所述根据获取的目标作业区域的单帧图像确定目标作业区域内的预定目标对象之间的相对位置关系的步骤之后，所述违章作业行为检测方法还包括：

根据确定的目标作业区域内的预定目标对象之间的相对位置关系确定目标作业区域的帧场景类别。

作为优选的是，所述目标作业区域的帧场景类别包括预定作业类型的一个作业周期所对应的前序帧场景、中间帧场景和后序帧场景；

所述中间帧场景包括预定违章作业行为所对应的帧场景。

根据本发明的第二方面，提供了一种基于场景识别的违章作业行为检测系统。

本发明的基于场景识别的违章作业行为检测系统包括：

场景比对模块，用于判断目标作业区域的当前帧场景是否属于预定作业类型的一个作业周期所对应的前序帧场景；

场景监测模块，用于响应于所述当前帧场景属于所述前序帧场景的判断结果，判断目标作业区域的后续帧场景中是否先后出现预定违章作业行为所对应的帧场景和所述一个作业周期所对应的后序帧场景，所述预定违章作业行为与所述预定作业类型相对应；

违章作业行为判定模块，用于响应于所述后续帧场景中先后出现预定违章作业行为所对应的帧场景和所述一个作业周期所对应的后序帧场景的判断结果，判定上一作业周期中存在违章作业行为。

作为优选的是，所述违章作业行为检测系统还包括：

图像获取模块，用于获取目标作业区域的单帧图像。

作为优选的是，所述违章作业行为检测系统还包括：

相对位置关系确定模块，用于根据获取的目标作业区域的单帧图像确定目标作业区域内的预定目标对象之间的相对位置关系。

作为优选的是，所述违章作业行为检测系统还包括：

场景类别确定模块，用于根据根据确定的目标作业区域内的预定目标对象之间的相对位置关系确定目标作业区域的帧场景类别。

作为优选的是，所述目标作业区域的帧场景类别包括预定作业类型的一个作业周期所对应的前序帧场景、中间帧场景和后序帧场景；

所述中间帧场景包括预定违章作业行为所对应的帧场景。

本发明的有益效果在于：

本发明的基于场景识别的违章作业行为检测方法，基于对目标作业区域的连续帧场景进行识别的方式，间接地确定目标作业区域的目标对象是否处于作业状态，从而对目标对象的一个作业周期中的违章作业行为进行检测。由此可知，本发明的基于场景识别的违章作业行为检测方法适用于目标对象状态无法直接确定的场景。

本发明的基于场景识别的违章作业行为检测系统与上述基于场景识别的违章作业行为检测方法属于一个总的发明构思，故与上述基于场景识别的违章作业行为检测方法具有相同的有益效果。

本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明的实施例的基于场景识别的违章作业行为检测方法的实现流程图。

图2示出了根据本发明的实施例的基于场景识别的违章作业行为检测系统的结构框图。

图3示出了根据本发明的实施例的液气大钳不在位的场景图。

图4示出了根据本发明的实施例的液气大钳在位的场景图。

具体实施方式

下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

实施例：图1示出了根据本发明的实施例的基于场景识别的违章作业行为检测方法的实现流程图。参照图1，本实施例的基于场景识别的违章作业行为检测方法包括以下步骤：

判断目标作业区域的当前帧场景是否属于预定作业类型的一个作业周期所对应的前序帧场景；

响应于所述当前帧场景属于所述前序帧场景的判断结果，判断目标作业区域的后续帧场景中是否先后出现预定违章作业行为所对应的帧场景和所述一个作业周期所对应的后序帧场景，所述预定违章作业行为与所述预定作业类型相对应；

响应于所述后续帧场景中先后出现预定违章作业行为所对应的帧场景和所述一个作业周期所对应的后序帧场景的判断结果，判定上一作业周期中存在违章作业行为。

本实施例中，在所述判断目标作业区域的当前帧场景是否属于预定作业类型的一个作业周期所对应的前序帧场景的步骤之前，还包括：

获取目标作业区域的单帧图像。

本实施例中，在所述获取目标作业区域的单帧图像的步骤之后，还包括：

根据获取的目标作业区域的单帧图像确定目标作业区域内的预定目标对象之间的相对位置关系。

本实施例中，在所述根据获取的目标作业区域的单帧图像确定目标作业区域内的预定目标对象之间的相对位置关系的步骤之后，还包括：

根据确定的目标作业区域内的预定目标对象之间的相对位置关系确定目标作业区域的帧场景类别。

本实施例中，所述目标作业区域的帧场景类别包括预定作业类型的一个作业周期所对应的前序帧场景、中间帧场景和后序帧场景；

所述中间帧场景包括预定违章作业行为所对应的帧场景。

相应地，本实施例还提出了一种基于场景识别的违章作业行为检测系统。

图2示出了示出了根据本发明的实施例的基于场景识别的违章作业行为检测系统的结构框图。参照图2，本实施例的基于场景识别的违章作业行为检测系统包括以下功能模块：

场景比对模块，用于判断目标作业区域的当前帧场景是否属于预定作业类型的一个作业周期所对应的前序帧场景；

场景监测模块，用于响应于所述当前帧场景属于所述前序帧场景的判断结果，判断目标作业区域的后续帧场景中是否先后出现预定违章作业行为所对应的帧场景和所述一个作业周期所对应的后序帧场景，所述预定违章作业行为与所述预定作业类型相对应；

违章作业行为判定模块，用于响应于所述后续帧场景中先后出现预定违章作业行为所对应的帧场景和所述一个作业周期所对应的后序帧场景的判断结果，判定上一作业周期中存在违章作业行为。

本实施例的基于场景识别的违章作业行为检测系统还包括：

图像获取模块，用于获取目标作业区域的单帧图像。

本实施例的基于场景识别的违章作业行为检测系统还包括：

相对位置关系确定模块，用于根据获取的目标作业区域的单帧图像确定目标作业区域内的预定目标对象之间的相对位置关系。

本实施例的基于场景识别的违章作业行为检测系统还包括：

场景类别确定模块，用于根据根据确定的目标作业区域内的预定目标对象之间的相对位置关系确定目标作业区域的帧场景类别。

本实施例中，所述目标作业区域的帧场景类别包括预定作业类型的一个作业周期所对应的前序帧场景、中间帧场景和后序帧场景；

所述中间帧场景包括预定违章作业行为所对应的帧场景。

以下对本实施例进行更为详细的说明：

本实施例针对涉及到场景状态的违章行为判别，所述的场景状态包括设备、工具等的独立或者组合状态，而场景状态存在时序上的迁移，存在至少三个概念：前序状态、当前状态、后续状态，一般来说，本实施例适用于当前状态较难检测，而前序、后续状态相对容易检测的违章类型中。违章可能指在当前状态下特定的人的行为或物的存在属于禁止，或者特定的当前状态自身就属于违章。具体来说，本实施例的违章作业行为检测方法包括：

步骤A、根据目标检测的结果，判别目标物之间所在的方位，确定前序状态是否成立。如果成立，则启动违章检测；

步骤B、如果违章涉及到特定人的行为或物的存在，则需要根据违章的类型属于在位禁止或者缺位禁止，确定是否存在违章；

步骤C、监控后续状态的所依赖的目标以及目标物之间的方位关系，确定后续状态是否成立。如果成立，并根据步骤B所判别的违章是否存在，共同决定是否发生违章；

步骤D、如果后续状态没有发生，需要监控是否回到了原始状态，或者是继续等待。

例如在石油钻井中，钻台面场景中一项违章是在起下钻过程中使用液气大钳对钻具进行紧扣或松扣，液气大钳的钳框门应当关闭，如果钳框没有关闭，可能导致里面的泥浆或者其他物件被甩出来，从而造成损害。这里的视觉目标是液气大钳，所关注的状态为液气大钳是否在进行紧扣和卸扣，只有在紧扣或卸扣时，钳框门未关闭才属于违章。但从视觉可见的角度，紧扣和卸扣关联液气大钳的钳盘转动，但由于摄像头视角一般是从较低的角度拍摄，钳盘被液气大钳的外包围挡住，基本看不见，不能直接来检测钳盘的转动。

因此，本实施例考虑从间接的角度来判别液气大钳的紧扣和卸扣状态，液气大钳紧扣的过程是这样的，首先液气大钳在偏离转盘的一侧，一般在视频画面的右侧，然后液气大钳移动到转盘上方，卡住钻具，进行紧扣或者卸扣，最后，液气大钳离开转盘上方回到原位。也就是说，液气大钳从离开原位到回到原位，中间会有卸扣和松扣的过程，在这个过程中只要检测到液气大钳的钳框有过关闭，就认为不违章，反过来，将认为是违章。液气大钳不在位的场景如图3所示，此时液气大钳在转盘的右边。液气大钳在位场景如图4所示，此时液气大钳在转盘的正上方。液气大钳在正上方时，钳框门应该有关闭的状态。

类似地，另外一个违章项与B型吊钳相关，即吊钳拉紧后人未离开危险区域，B型吊钳拉紧需要根据拉线的绷紧程度来识别，但拉线的绷紧程度没有计算机可以明确识别的外部特征，因此需要间接地判断。B型吊钳的作用与液气大钳类似，其状态变化也包括三个，原位->在位->原位，首先B型吊钳离开原位，到转盘上方，到回到原位，这个过程中应该存在绷紧的状态，此时如果检测不到无人的场景，就认为违章。

本实施例利用计算机视觉通过深度学习，对状态不存在明显的可视化特征，通过间接状态判别方法判别目标状态,从而识别出是否存在违章。视觉目标的状态的识别是违章识别的重要基础，一个运转的机器与一个静止的机器其安全边界是不一样的，视觉目标的状态的不同，有些存在明显的视觉特征，可以采用类似目标检测的方法，检测是否存在带有状态关联的特征，从而识别目标状态，而有些视觉特征不明显，难以直接检测，例如隐藏的设备内部的状态，或者是无明显外在特征的状态。甚至有一些从人的角度看来很容易识别，但计算机却难以识别的状态，例如设备或工具的转动，因为计算机是从静态的逐帧图片进行判别，而转动的设备在帧间无明显差异，导致状态识别困难。

本实施例提出的方法，通过作业的时序关系分析，间接获得状态变化的关系，从而提供一种违章检测的通用方法。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。