一种应用视频数据分析处理技术的船舶智慧监管系统

技术领域

本发明涉及船舶监管设备技术领域，尤其涉及一种应用视频数据分析处理技术的船舶智慧监管系统。

背景技术

航运是现代贸易活动的重要手段，航运的基本方式通过水路运送人或货物。一般来说水路运输的所需时间较长，但成本较为低廉，且水路运输每次航程能运送大量货物，而空运和陆运每次的负载数量则相对较少。因此在国际贸易上，水路运输是较为普遍的运送方式。随着电子商务的活跃，全球贸易量得到了显著的提高，货物运输业也因此得到大发展，在货物运输总量中，通过海运方式进行贸易的占比达到80％以上。

目前对于船舶的监管主要依靠AIS（船舶自动识别系统）、VTS（船舶交通管理系统）和视频监控系统。AIS（船舶自动识别系统）主要用于船舶数据采集，成本一般，AIS注册信息受人为因素影响，无法主动感知船舶状态，存在局限，且当船舶AIS异常逃避监管时，不能及时感知，无法追溯；VTS（船舶交通管理系统）主要用于船舶定位管理，提供安全航行信息，但建设成本、要求高、盲区大；视频监控系统，可能存在漏看、回溯查看流程复杂、紧急事件处理不及时等问题。而当监管部门对于船舶位置、船名等信息接收延时，船舶在航道内的位置不确定，摄像头在航道内的位置不恰当，对航道内船舶的信息获取较少，无法实现实时监管，导致无法对航道内船舶进行有效监控。

鉴于上述问题的存在，本发明人基于从事此类产品工程应用多年丰富的实务经验及专业知识，积极加以研究创新，以期创设一种应用视频数据分析处理技术的船舶智慧监管系统，使其更具有实用性。

发明内容

本发明所要解决的技术问题是：提供一种应用视频数据分析处理技术的船舶智慧监管系统，以解决背景技术中的问题。

为了达到上述目的，本发明所采用的技术方案是：一种应用视频数据分析处理技术的船舶智慧监管系统，包括：

监控摄像模组，安装于内河航道一侧的岸基上，用于对定点航段过往的船舶进行实时视频图像抓拍，获取视频数据；

雷达设备组，安装于内河航道一侧的岸基上，用于引导夜晚条件下定点航段过往船舶的视频抓拍，并通过实时检测船舶流量和航向，获取文本数据；

数据处理单元，基于主动学习的模型训练方法对视频数据的样本进行分析，构建算法模型；

后台管理终端，通过算法模型输出的结构化数据，并结合文本数据对指定船只的综合情况进行分析；

展示单元，用于对实时视频、告警详情以及告警统计进行可视化展示；

其中，在对定点航段内过往的船舶进行视频数据采集前，针对每一个安装位置的摄像头，独立的进行安装位置是否恰当的判断，具体判断步骤如下：

确定定点航段内的主航道：在设定时间段内，指定摄像头在对航段内过往的船舶进行图像采集过程中，当对单一船舶所采集的图像在连续B帧中，所占像素与图像总像素的比值波动变化趋于零时，记录此时船舶在图像中的所占像素与图像总像素的比值为A；

记录所述设定时间段内，经过指定摄像头的所有船舶的对应比值分别为A

计算S

构建C：

其中，

对比输出的评定参数C与特定阈值，判断设定范围内的摄像头安装位置是否恰当。

进一步地，对比所述主航道与当前航段的设定航道，所述主航道在设定航道允许的偏航范围内。

进一步地，所述评定参数C与特定阈值的对比过程为：

若评定参数C大于特定阈值，则设定范围内的摄像头安装位置恰当，继续对下一个安装位置的摄像头进行安装位置的判断；

若评定参数C小于或等于特定阈值，则设定范围内的摄像头安装位置不恰当，沿定点航段的截面方向对摄像头的位置进行调整，继续对比评定参数C与特定阈值，直至完成所有摄像头安装位置是否恰当的判断。

进一步地，所述文本数据还包括交通局接口传输的数据，其与设置在航道的激光雷达实时检测到的船舶流量和航向结合，为后期船只归档提供数据基础。

进一步地，所述监控摄像模组包括全景摄像头和特写摄像头；

通过激光雷达对过往船舶进行检测，以触发全景摄像头、特写摄像头对船舶进行抓拍，分别获取全景图像与船艏、船舯、船艉特写图像。

进一步地，算法模型基于视频数据而输出结构化数据对指定船只的综合情况进行分析，具体包括船只归档统计分析、船只运行状态、航次情况及报警情况。

进一步地，所述后台管理终端，用于接收来自算法模型的结构化数据，进行结构化的数据处理，其包括用户权限管理模块、设备管理模块、视频监控模块、报警管理模块、登陆管理模块和船只管理模块；

其中，在后台管理终端进行操作过程中，进行日志记录以及权限控制。

进一步地，所述后台管理终端内设独立的后端系统，用于对可视化子系统的页面进行数据访问，独立的后端系统不能直接访问底层的数据库，只能通过系统的内部RPC协议与管理子系统进行通信，获取数据。

进一步地，还包括夜晚补光系统，用于定点航段或卡口水域的大区域模组阵列补光和大区域外跟踪追光。

本发明的有益效果为：本发明通过对摄像头位置进行精准调整，有效地解决传统巡航过程中无法对航道内过往船舶进行全面有效监控的问题，保证了对过往船舶全面进行图像的采集，提高了船舶的信息完整性，全方位提高了定点航道上业务的监管服务效能和执法效能，做到了精准执法，智慧执法，高效执法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中应用视频数据分析处理技术的船舶智慧监管系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示本发明公开了一种应用视频数据分析处理技术的船舶智慧监管系统，包括：

监控摄像模组，安装于内河航道一侧的岸基上，用于对定点航段过往的船舶进行实时视频图像抓拍，获取视频数据；

雷达设备组，安装于内河航道一侧的岸基上，用于引导夜晚条件下定点航段过往船舶的视频抓拍，并通过实时检测船舶流量和航向，获取文本数据；

数据处理单元，基于主动学习的模型训练方法对视频数据的样本进行分析，构建算法模型；

后台管理终端，通过算法模型输出的结构化数据，并结合文本数据对指定船只的综合情况进行分析；

展示单元，用于对实时视频、告警详情以及告警统计进行可视化展示；

其中，在对定点航段内过往的船舶进行视频数据采集前，针对每一个安装位置的摄像头，独立的进行安装位置是否恰当的判断，具体判断步骤如下：

在设定时间段内，指定摄像头在对航段内过往的船舶进行图像采集过程中，当对单一船舶所采集的图像在连续B帧中，所占像素与图像总像素的比值波动变化趋于零时，记录此时船舶在图像中的所占像素与图像总像素的比值为A；

记录设定时间段内，经过指定摄像头的所有船舶的对应比值分别为A

计算S

构建C：

其中，

对比输出的评定参数C与特定阈值，判断设定范围内的摄像头安装位置是否恰当。

本发明通过对摄像头位置进行精准调整，有效地解决传统巡航过程中无法对航道内过往船舶进行全面有效监控的问题，保证了对过往船舶全面进行图像的采集，提高了船舶的信息完整性，全方位提高了定点航道上业务的监管服务效能和执法效能，做到了精准执法，智慧执法，高效执法。

各船舶在定点航段内行驶过程中，第一种情况当摄像头拍摄的船舶从图像中的边缘进入并从边缘出去，且在图像的中间阶段船舶所占像素与图像总像素的比例出现1:1时，则船舶距离摄像头的距离太近，此时需要对摄像头的位置进行调整；第二种情况是当摄像头拍摄的船舶从图像中间出现，且船舶所占像素与图像总像素的比例逐渐变大，直至最后呈1:1，此时需要对摄像头的拍摄角度进行调整；以上两种均不在本发明的考虑范围内。

在河流航运领域，由于船舶在航道内的位置不确定、船舶吃水受载重影响、丰水枯水期变化、船名易受遮挡、河流气象水文条件等许多实际情况，使得在航道监管中很难实现及时触发、有效抓拍，以及全天时、全天候的监管，因此，为了保证在不同环境下能够取得较佳的图像信息，监控摄像模组为红外摄像头、星光摄像头、光电摄像头和黑光摄像头中的至少一种；雷达设备组为相控阵雷达、固态雷达、静态雷达和/或光电雷达。

监控摄像模组和雷达设备组设置在航道卡口一侧的岸基上，其监控摄像头和雷达的机身不会移动，而摄像头会自动跟着目标转动，并自动调焦，用于航道卡口区段内船舶漏拍时的补拍或重点关注船舶的全程联动跟踪记录，以及必要时对航道卡口内时况的录像。

首先在河流的河道截面选择若干个架设点，用于放置监控摄像模组和雷达设备组，而雷达设备组在架设时，受雷达工作特性的影响，雷达架设高度需要保证整个航道在雷达信号的覆盖范围内，从而实现对河流航道内所有船舶进行主动探测、定位与跟踪。而在摄像头进行夜间抓拍时，必要时增加夜晚补光系统，用于定点航段或卡口水域的大区域模组阵列补光和大区域外跟踪追光。

X-Brain为人工智能技术落地应用的全流程提供了完整方案，实现了样本自动采集标注，模型训练，模型发布部署，零代码应用开发的完整闭环。X-Brain为AI+行业自动训练平台，其采用小样本训练结合主动学习的训练模式可以最大限度减少样本的数量，同时采用智能标注结合非监督学习来减少样本的标注量。由于训练所需样本减少，降低了对算力的要求，其算法包括：船只吃水状态、船只轨迹分析、船只环保监测分析、船只违停事件分析、船只异常行为分析、河岸垃圾堆放分析、河岸绿化植被破坏分析、河道人员游泳分析、河岸人员垂钓分析、河道气象监测分析、船只污染水域分析、船只类型识别分析、船只危化品运输识别分析、船只碰撞识别分析、船只倾覆识别分析等15个。

本发明中摄像头在拍摄船舶过程中，当船舶距离摄像头较远时，摄像头可利用自身调焦功能实现远距离的视频采集，而当船舶距离较近时，通过对比主航道与当前航道的设定航道，使主航道在设定航道允许的偏离范围内，限定了船舶与主航道的最大偏离距离，从而便于控制摄像头的拍摄距离，减少安装调试难度。

摄像头在调整安装位置时，通过对比评定参数C与特定阈值，来获取摄像头恰当安装位置，从而保证能够对航道内的过往船舶进行全面监控，具体地，评定参数C与特定阈值的对比过程为：

若评定参数C大于特定阈值，则设定范围内的摄像头安装位置恰当，继续对下一个安装位置的摄像头进行安装位置的判断；

若评定参数C小于或等于特定阈值，则设定范围内的摄像头安装位置不恰当，沿定点航段的截面方向对摄像头的位置进行调整，继续对比评定参数C与特定阈值，直至完成所有摄像头安装位置是否恰当的判断。

在对特定阈值进行取值时，存在以下实施方式：在摄像头的采集范围内确定能够接受的偏离主航道的最远的航道，将该航道作为可检测的极限位置，且在该航道内，确定一可作为参照的船舶，拍摄船舶完全进入图像采集范围时，在图像中所占像素与图像总像素的比值，将该比值作为设定阈值。其中，作为参照的船舶，往往是经过采集范围中体积较为平均的船舶；而当摄像头的型号一定时，采集范围必然是一定的，因此可获得定值的设定阈值。

船舶在进入航道前，对于已提前执行预报关的船舶，文本数据还包括交通局接口传输的数据，其与设置在航道的激光雷达实时检测到的船舶流量和航向结合，为后期船只归档提供数据基础，使其在预报关及航迹追踪的情况下，可以免除中途站的抽查，以减少资源浪费，交通局接口传输的数据为监管部门所需的船舶位置、船名等信息。

对于走私等行为，仅仅从预报关的船舶信息难以很好的做全面监管，因为，为了提高船舶在航行轨迹内的监管效果，监控摄像模组包括全景摄像头和特写摄像头；通过激光雷达对过往船舶进行检测，以触发全景摄像头、特写摄像头对船舶进行抓拍，分别获取全景图像与船艏、船舯、船艉特写图像。激光雷达、全景摄像头和特写摄像头用于实现多环境下的混合抓拍以及多种智能识别，同时对监管平台提供抓拍的图片和视频数据。

算法模型基于视频数据而输出结构化数据对指定船只的综合情况进行分析，具体包括船只归档统计分析、船只运行状态、航次情况及报警情况。当船舶在非预设停泊区、船舶申报区出现航速为“0”的情况时，发送停航警示信息至监管部门的交互终端，并调取停航船舶的文本数据，从文本数据中得到历史警示信息，根据历史警示信息在GIS地图上标注停航警示位置分布，当船舶途径历史停航区域时，发送预警提示至监管部门的交互终端，从而进一步提示监管人员对该船舶的关注，结合船舶和船员信用信息、报关信息，提前预测船舶是否存在异常或风险的可能性，从而对任意停靠的船舶进行及时有效监管，大大提高了船舶管理的效率。

本发明优选实施例中，后台管理终端用于接收来自算法模型的结构化数据，进行结构化的数据处理，其包括用户权限管理模块、设备管理模块、视频监控模块、报警管理模块、登陆管理模块和船只管理模块；其中，在后台管理终端进行操作过程中，进行日志记录以及权限控制。

在上述实施例基础上，为了降低监管部门的交互终端的动态风险，保证监管的安全可靠性，后台管理终端内设独立的后端系统，用于对可视化子系统的页面进行数据访问，独立的后端系统不能直接访问底层的数据库，只能通过系统的内部RPC协议与管理子系统进行通信，并获取数据。

本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。