一种号灯自动识别及两船会遇态势感知方法

技术领域

本发明涉及海上智能信息感知技术领域，尤其涉及种号灯自动识别及两船会遇态势感知方法。

背景技术

目前国内外关于号灯信息感知的研究主要集中在两方面，一种是基于人眼看到号灯后根据模型得出对应的船舶信息，这种方法集中在观察到号灯后的船舶状态识别。另一种是将船舶周围环境因素的影响作为输入，根据模型给出号灯的可识别性，这种方法主要用于判断海上光污染对于号灯可识别性的影响。以上两种有关号灯的研究均未涉及号灯的直接识别，即不依靠人仅通过计算机来直接检测和识别号灯的存在及其颜色。但是在智能船场景感知的研究中，号灯的检测与识别需要通过计算机来完成，即对摄像机拍摄的可见光图像，利用图像处理与分析的方法进行号灯的识别，并根据号灯识别结果自动判断本船与目标船的会遇态势。现有技术中主要依赖驾驶员来肉眼识别号灯的存在和位置，然后主观判断是哪种会遇局面，对驾驶员视力、注意力和航行经验要求较高，且判别的准确度不高。

虽现有技术中也出现了利用图像处理与分析的方法对进行号灯的识别的技术，如采用双目彩色相机的测距原理，预判出他船在时间之后与无人船的相对位置关系等识别技术。但是该技术对号灯的识别检测方法存在以下缺点：

一是直接将采集的图像整体从RGB颜色空间转换到HSV颜色空间，但是RGB到HSV的转换是一种非线性的操作，整个图像都进行颜色空间转换是无法达到实时效果的；

二是仅仅使用号灯的颜色特征进行号灯的识别，但是在实际操作中，不首先检测到号灯在图像中的区域的话，无法准确判断号灯的具体区域；

三是无法预判目标船与本船交叉相遇态势的变化趋势，缺乏制定避让策略的预判数据支撑。

发明内容

本发明提供一种号灯自动识别及两船会遇态势感知方法，以克服上述技术问题。

本发明一种号灯自动识别及两船会遇态势感知方法，包括：利用影像采集设备获取监控区域内的海上视频信息；将所述海上视频信息中的全部单帧图像转换为灰度图像，对所述灰度图像进行阈值分割后得到号灯的轮廓矢量图；通过所述轮廓矢量图判定号灯在所述单帧图像中的候选区域；将所述候选区域内图像的RGB颜色空间转换为HSV颜色空间；创建号灯图像数据集，根据号灯图像数据集得到预设号灯HSV阈值区间；通过将所述候选区域内图像的H、S、V值与所述预设号灯HSV阈值区间比对判断所述号灯的颜色类型；根据目标船的所述号灯的颜色类型判别目标船与本船的会遇态势，并预测两船交叉相遇态势的变化趋势。

进一步地，所述通过所述轮廓矢量图判定号灯在所述单帧图像中的候选区域，包括：

遍历所有所述轮廓矢量图，通过判定所述轮廓矢量图的外接矩形圆形度和外接矩形面积是否符合公式(1)确定号灯在图像中的候选区域

判定条件公式(1)为：

式中，F

进一步地，所述创建号灯图像数据集，根据号灯图像数据集得到预设号灯HSV阈值区间，包括：

拍摄不同海上场景下的所述号灯图像，构建号灯图像数据集；

将所述号灯图像数据集中图像的号灯所在区域裁剪，并对裁剪后的图像按照红、绿、白颜色进行分类；

将分类后的图像按照公式(2)由RGB颜色空间转换为HSV颜色空间，并统计每幅图像的H、S、V值，公式(2)为：

式中，H表示色调，S表示饱和度，V表示明度；R表示红色，G表示绿色，B表示蓝色；

根据统计的所述H、S、V值数据制作三分量分布曲线图；

根据三分量分布曲线图，得到红、绿、白三种颜色号灯各自对应的预设号灯HSV阈值区间。

进一步地，所述红、绿、白三种颜色号灯的H、S、V阈值区间分别为：

红色号灯的H阈值区间为[0°，31°]∪[169°，180°]，S阈值区间为[99，255]，V阈值区间为[91，220]；绿色号灯的H阈值区间为[55°，96°]，S阈值区间为[4，220]，V阈值区间为[46，255]；白色号灯的H阈值区间为[0°，180°]，S阈值区间为[0，98]，V阈值区间为[221，255]。

进一步地，根据目标船的所述号灯的颜色类型判别目标船与本船的会遇态势，包括：若识别到目标船的白色号灯亮，且红、绿色号灯不亮，判断为目标船与本船处于追越态势；若识别到目标船的红、绿、白色号灯全部亮，判断为目标船与本船处于对遇态势；若识别到目标船的红、绿色号灯中任意一个亮，判断为目标船与本船处于交叉相遇态势。

进一步地，号灯，包括：一盏红色舷灯、一盏绿色舷灯及两盏白色桅灯；获取所述海上视频信息的第一帧图像，计算亮的舷灯相对于两盏桅灯的水平位置变量LOS；所述水平位置变量LOS的值为1或0；若LOS的值为1时，预测为目标船与本船当前处于小角度交叉相遇态势；若LOS的值为0时，根据两盏桅灯之间水平距离的变化趋势和舷灯相对于两盏桅灯的相对位置，预测目标船和本船交叉相遇态势的变化趋势。

进一步地，若LOS的值为1，预测为目标船与本船当前处于小角度交叉相遇态势之后，还包括：

计算所述海上视频信息的第一帧图像之后的连续n帧图像中两盏桅灯之间水平距离HD所构成的向量vector_AF1；

根据所述vector_AF1计算一阶导数dev_AF1；

判断一阶导数dev_AF1是否大于0，若dev_AF1大于0，目标船相对于本船在向垂直交叉相遇态势转变；若dev_AF1小于0，目标船相对于本船在向对遇态势转变。

进一步地，若LOS的值为0时，根据两盏桅灯之间水平距离的变化趋势和舷灯相对于两盏桅灯的相对位置，预测目标船和本船交叉相遇态势的变化趋势，包括：计算所述海上视频信息的第一帧图像之后的连续n帧图像中两盏桅灯之间水平距离HD所构成的向量vector_AF2；计算第n帧图像之后的连续m帧图像中后桅灯和舷灯的水平距离HD(x

本发明无需图形加速卡，离线计算出不同号灯的H、S、V三分量区分阈值后即可在线实时进行视频监测，对于仅占图像五万分之一大小的极小号灯目标具有很好的识别性。本发明基于HSV颜色空间和轮廓圆形度判断算法可以实现海上号灯的实时检测，适用于不同的航行场景和环境。本发明解决了夜间无法直接基于视觉判断出目标船与本船具体的交叉会遇类型的问题，在准确的判断出当前本船与目标船的会遇态势后，还可以预测接下来两船会遇态势的变化趋势，为本船避让策略提供了数据支撑。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图；

图2是本发明的号灯检测识别流程图；

图3是本发明号灯图像最大化类间方差法处理结果图；

图4是本发明号灯图像轮廓检测的曲线结果图；

图5是本发明红色绿色白色号灯的H分量分布曲线图；

图6是本发明红色绿色白色号灯的S分量分布曲线图；

图7是本发明红色绿色白色号灯的V分量分布曲线图；

图8是本发明号灯检测识别结果图；

图9是本发明三种交叉会遇类型的判定流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，本实施例提供了一种号灯自动识别及两船会遇态势感知方法，包括：

步骤101：利用影像采集设备获取监控区域内的海上视频信息；

具体而言，船上四周都装有可见光摄像头，摄像头获取监控区域内的海上视频信息后传输驾驶台的信息处理系统。

步骤102：将所述海上视频信息中的全部单帧图像转换为灰度图像，对所述灰度图像进行阈值分割后得到号灯的轮廓矢量图；

具体而言，(1)将海上可见光摄像头获取的视频流的单帧图像依次转换到灰度图像，得到二值化图像；

(2)根据号灯所在区域和背景具有明显亮度差别的特征，使用最大类间方差法对图像进行阈值分割，得到如图3所示的号灯的前景图像；

(3)对上一步得到的前景图像进行轮廓检测，得到含有号灯边缘的一系列的点构成的曲线，即轮廓矢量图，如图4所示，存储在由轮廓构成的向量vector1中；

步骤103：通过所述轮廓矢量图判定号灯在所述单帧图像中的候选区域；

具体而言，遍历向量vector1中所有的轮廓矢量图，进行外接矩形圆形度和外接矩形面积的双重判定，判定条件如式(1)所示，对不符合判定条件的轮廓进行删除，得到由号灯所在候选区域构成的轮廓向量vector2。

式中，F

步骤104：将所述候选区域内图像的RGB颜色空间转换为HSV颜色空间；创建号灯图像数据集，根据号灯图像数据集得到预设号灯HSV阈值区间；通过将所述候选区域内图像的H、S、V值与所述预设号灯HSV阈值区间比对判断所述号灯的颜色类型；

具体而言，在检测到号灯之后，将vector2中所有轮廓所在的候选区域由RGB颜色空间转换至HSV颜色空间，遍历每个候选区域，对每个候选区域都生成三个与之相同分辨率的颜色掩膜，分别用来记录感兴趣区域中每个像素点的HSV值是否在红绿白三种颜色的HSV变量阈值区间内。若原候选区域中该像素点的HSV值在红色号灯的HSV阈值区间内，则红色掩膜上该像素点的值就为255，否则为0。绿色和白色掩膜上像素值的确定方法如上。其中红绿白三色号灯的HSV变量阈值区间的获得方法如下:

(1)使用彩色相机拍摄大量不同场景、不同光照条件、不同时间段以及不同角度的海上号灯图像，构建号灯图像数据集；

(2)对数据集中的图像进行号灯所在区域的裁剪，将得到的仅含号灯的图像进行分类，得到红色、绿色和白色号灯数据集；裁剪是使用Win10自带的绘图软件将号灯所在区域剪切。

(3)将上一步骤中得到的图像全部由RGB颜色空间转换到HSV颜色空间，分别统计红色、绿色和白色号灯数据集中每幅图像的H、S、V值。从RGB彩色空间到HSV颜色空间的转换如下(2)式所示：

式中，H表示色调，S表示饱和度，V表示明度；R表示红色，G表示绿色，B表示蓝色；

(4)将上一步骤中统计的数据制作成三分量分布曲线图，如图5、图6和图7所示。

(5)根据三分量分布曲线图即得到在HSV颜色空间中，红绿白三种预设号灯HSV阈值区间。红、绿、白三种颜色号灯的H、S、V阈值区间如表1所示：

表1

(6)统计三张掩膜中值为255的像素数，数值最大的掩膜所代表的颜色即为该号灯的颜色，最后在图像上画出检测到的号灯位置并标记该号灯的颜色。

步骤105：根据目标船的所述号灯的颜色类型判别目标船与本船的会遇态势，并预测两船交叉相遇态势的变化趋势。

具体而言，如图9所示，在视频流中对连续帧的号灯识别结果判断时，号灯具有特定的水平光弧范围，若识别到目标船的红、绿、白色号灯全部亮，判断为目标船与本船处于对遇态势；若识别到目标船的红、绿色号灯中任意一个亮，判断为目标船与本船处于交叉相遇态势。预测交叉相遇态势的变化趋势的步骤如下：

(1)获取第一帧图像计算舷灯相对于两盏桅灯的水平位置变量LOS。

(2)当LOS为1即舷灯在两个桅灯外侧或舷灯与后桅灯在同一水平位置时，目标船与本船当前处于小角度交叉相遇态势，计算接下来连续n帧图像中两盏桅灯之间水平距离HD，构成向量vector_AF1。

(2.1)计算vector_AF的一阶导数dev_AF1，若dev_AF1大于0，则目标船相对于本船在向垂直交叉相遇态势转变，若dev_AF1小于0，则目标船相对于本船在向对遇态势转变。

(3)当LOS为0即舷灯在两盏桅灯中间时，计算接下来连续n帧图像中两盏桅灯之间水平距离HD构成向量vector_AF2，计算接下来连续n帧图像中后桅灯和舷灯的水平距离HD(x

(3.1)计算vector_AF2的一阶导数dev_AF2和二阶导数dev2_AF2，计算vector_AS1的一阶导数dev_AS1。

(3.2)当dev_AF2大于0时，若dev_AS1大于0，则目标船与本船当前为小角度交叉相遇，且在向垂直交叉相遇态势转变，否则目标船与本船当前处于大角度交叉相遇态势，且在向垂直交叉相遇态势转变。

(3.3)当dev_AF2等于0且dev2_AF2不等于0时，目标船与本船当前为垂直交叉相遇态势。

(3.4)当dev_AF2小于0时，若dev_AS1小于0，则目标船与本船当前处于小角度交叉相遇态势，否则目标船与本船当前处于大角度交叉相遇态势，且在向追越态势转变。

整体有益效果：

1、本发明基于HSV颜色空间和轮廓圆形度判断算法可以实现海上号灯的实时检测，适用于不同的航行场景和环境。

2、本发明无需图形加速卡，检测与识别速度大于30帧/秒，大于等于输入采集的帧率，满足实时性的要求，离线计算出不同号灯的H、S、V三分量区分阈值后即可在线实时进行视频监测，对于仅占图像五万分之一大小的极小号灯目标具有很好的识别性。

3、本发明解决了夜间无法直接基于视觉判断出目标船与本船具体的交叉会遇类型的问题，在准确的判断出当前本船与目标船的会遇态势后，还可以预测接下来两船会遇态势的变化趋势，为本船采取何种避让行动提供了重要决策依据。

4、本发明通过对采集到的号灯数据进行HSV颜色信息统计，得出了号灯的最佳HSV颜色分割阈值区间。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。