一种复杂光线条件下的绿色场地中白线提取方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种复杂光线条件下的绿色场地中白线提取方法。

背景技术

在机器人足球比赛中，需要通过机器人自带的摄像头采集图片识别绿色球场的白线，实现对机器人的定位。

传统的绿色场地白线提取方法是按照标准的灰度转换公式将彩色图片转换为灰度图，然后采用二值化方法提取出白色部分，最后对白色部分采用霍夫变化提取直线。这种方法在光线较好的条件下有不错的提取效果，但是在复杂光线特别是逆光条件下，白线会变得很淡且与背景颜色相近，这大大提高了白线的提取难度。传统的白线提取方法不能对这些白线实现有效的识别和提取。

发明内容

本发明的目的在于针对现有技术的不足，提供一种复杂光线条件下的绿色场地中白线提取方法。本发明可以适应各种复杂的光线环境，实现对白线的有效提取。

本发明的上述目的通过以下技术方案得以实施的：一种复杂光线条件下的绿色场地中白线提取方法，包括如下步骤：

S1、获取图片并统一图片尺寸，然后进行完美反射白平衡、亮度均一化和双边滤波处理；

S2、保留步骤S1处理后的图片中绿色场地部分，并将其余部分设为白色；

S3、根据步骤S2处理后的图片中的白色信息转换成灰度图分离出图片的白色部分，并采用双边滤波和高斯滤波进行平滑处理；

S4、增加步骤S3处理后的图片中白色部分的对比度；

S5、对步骤S4处理后的图片进行腐蚀、膨胀、均值滤波和高斯滤波操作；

S6、采用canny边缘检测对步骤S5得到的图片进行白线双边的检测；

S7、利用白线的双边互相平行的特点实现对白线的识别，并计算白线的中心线；

S8、采用霍夫直线检测方法实现对白线的提取。

进一步地，所述步骤S2中，对步骤S1处理后的图片，计算每个像素点绿色通道占所有通道的占比，对占比超过设定的占比阈值的像素点进行膨胀、腐蚀操作后，绘制凸包络线，根据该凸包络线保留图片中绿色场地部分，并将其余部分设为白色。

进一步地，所述步骤S3中，根据图片中的白色信息转换成灰度图分离出图片的白色部分，具体为：

式中，gray为灰度图中的灰度值，r为图片红色通道数值，b为图片蓝色通道数值，g为图片绿色通道数值。

进一步地，所述步骤S4中，首先寻找灰度图中的白线区域，然后按比例扩大中心点灰度值与设定邻域内平均灰度的差值，具体为：

img_out(w,h)=img_in(w,h)+max(0,(img_ave(w,h)-img_in(w,h)-val_th))*k

其中，img_out(w,h)为白线区域(w,h)像素点的输出值，img_in(w,h)为(w,h)像素点的原灰度值，img_ave(w,h)为(w,h)像素设定邻域内的平均灰度值，val_th为灰度阈值，k为放大比例。

进一步地，所述设定邻域为以(w,h)像素点为中心的5*5区域。

进一步地，所述步骤S7包括以下子步骤：

S7.1、将canny边缘检测得到的边缘点按照连续性进行分组，每一段连续的边缘点为一组，然后对每组连续边缘点进行遍历，以每个边缘点为中心判断相邻7个点是否为直线；

S7.2、当步骤S7.1判断是直线时，以相应7个点的两个端点和中心点为起点，按照灰度图的梯度方向进行一定范围的搜索，寻找梯度方向上的canny边缘点并判断其所在的边缘线是否与起点处的直线平行；

S7.3、步骤S7.2判断两线平行则说明是白线两边的平行边缘线，通过计算两条边缘线的中心线表示白线。

进一步地，所述步骤S7.1中，直线的判断标准为|α

进一步地，所述步骤S7.2中，平行的判断标准为|α-β|；其中，α为起点处直线方向角，β为搜索得到的直线方向角；|α-β|小于设定的平行阈值则为平行，否则为不平行。

进一步地，所述步骤S7.2中，搜索的范围为20个像素。

进一步地，所述步骤S8具体为：采用短直线拟合，将步骤S7得到的各组中心线中距离和斜率差小于指定距离阈值和斜率阈值的短直线进行聚类，并采用最小二乘法拟合出直线，实现对白线的提取。

本发明的有益效果是：本发明对相机获取的图像数据进行预处理，提高算法对不同尺寸和不同光线条件下图像数据的适应程度；利用白色的三个通道色差小的特点设计了白色分离公式，能明显提高白线和背景的区分；通过白色增强可以再次提高白线的对比度，有效增加对不明显白线的检测率；多次多尺度的腐蚀与膨胀可以使白线更加连续，通过均值滤波和高斯滤波可以使图片更加平滑，有利于canny边缘检测的效果；通过白线识别算法，可以准确的计算出白线的中心线，并能够有效去除杂线。本发明可提高对复杂光线条件下不明显白线的提取效果，降低由噪声导致的白线误检率。

附图说明

图1为本发明一种复杂光线条件下的绿色场地中白线提取方法流程图；

图2为不同光线条件下采集图；其中，（a）为逆光，（b）为白线不明显，（c）为光线良好，（d）为颜色发生偏移；

图3为图2各图对应的白色分离、白色加强后的效果图；其中，（a）对应逆光，（b）对应白线不明显，（c）对应光线良好，（d）对应颜色发生偏移；

图4为图3各图对应的canny边缘检测后的结果图；其中，（a）对应逆光，（b）对应白线不明显，（c）对应光线良好，（d）对应颜色发生偏移；

图5为图4各图对应的白线双线检测后中线的提取结果图；其中，（a）对应逆光，（b）对应白线不明显，（c）对应光线良好，（d）对应颜色发生偏移；

图6为图5各图对应的霍夫直线检测结果图；其中，（a）对应逆光，（b）对应白线不明显，（c）对应光线良好，（d）对应颜色发生偏移。

具体实施方式

如图1所示，本发明一种复杂光线条件下的绿色场地中白线提取方法，包括以下步骤：

S1、使用相机获取图像数据，将图片尺寸进行统一化处理，并进行完美反射白平衡、亮度均一化和双边滤波处理；

优选地，在步骤S1中，对相机获取的图像数据进行预处理，提高算法对不同尺寸和不同光线条件下图像数据的适应程度，具体包括：

通过尺寸统一化处理将图片处理为固定尺寸，提高整个处理算法对不同尺寸的适应能力；对图片采用完美反射白平衡处理和亮度均一化处理，使得图片各个部分的亮度一致，减少光线不均匀对处理效果的影响；采用双边滤波方法进行处理，使图片平滑的同时保留了图片的边缘信息；其中，亮度均一化公式为：

Result=I-R

式中，Result为均一化结果，I为原图矩阵，R为亮度矩阵。其中亮度矩阵R采用分割区域计算平均亮度并进行双线性差值的方法，具体为：a、将图片分割为n*m个区域；b、计算每个区域的平均亮度，作为区域中心点的亮度值；c、采用双线性差值方法对非区域中心点位置赋值。

S2、通过绿色通道数值的占比提取出绿色场地，并通过多次膨胀、腐蚀及凸包络线绘制方法实现绿色场地提取；

优选地，在步骤S2中，计算绿色通道在所有通道中的占比grad，将超过设定的占比阈值（0.5~0.6）的绿色部分像素点提取出来，其计算公式为：

grad=g/（r+g+b）

其中，r、g、b是红绿蓝三个通道的值；对提取的绿色部分像素点进行多次膨胀、腐蚀后，绘制凸包络线，根据该凸包络线保留步骤S1处理后的图片中的绿色场地部分，其余部分设为白色。

S3、白色分离，通过设计公式，将彩色图按照白色部分计算得到灰度图，并进行双边滤波、高斯滤波进行平滑处理；

优选地，在步骤S3中，对步骤S2处理后的彩色图片进行白色分离，通过设计公式将彩图按照白色信息计算得到灰度图，并进行平滑处理。具体为：

式中，gray为计算得到的灰度值，r为红色通道数值，b为蓝色通道数值，g为绿色通道数值。

在复杂光线条件下白线不明显，直接采用默认的灰度转换公式不能明显区分白线和背景，影响后续效果。因此利用白色的三个通道色差小的特点设计了白色分离公式，能明显提高白线和背景的区分。

采用设计的白色提取公式得到的灰度图会有很多噪点，因此采用双边滤波和高斯滤波进行去噪处理。

S4、白色增强，通过设计公式增加图片中白色部分的对比度，提高对白线的检测能力；

优选地，在步骤S4中，进行白色增强处理，通过设计公式增加图片中白色部分的对比度，提高对白线的检测能力，具体为：

首先通过彩色图片寻找白线区域，然后在灰度图中借鉴区域二值化的思想，按比例扩大中心点灰度值与5*5区域平均灰度的差值。具体公式为：

img_out(w,h)=img_in(w,h)+max(0,(img_ave(w,h)-img_in(w,h)-val_th))*k

其中，img_out(w,h)为(w,h)像素点的输出值，img_in(w,h)为(w,h)像素点的原值，img_ave(w,h)为(w,h)像素周围(5*5)区域的平均值，val_th为阈值，k为放大比例。

通过白色增强可以再次提高白线的对比度，有效增加对不明显白线的检测率。

S5、通过腐蚀、膨胀、均值滤波、高斯滤波等操作，使得图片中的白线更加连续，同时让图片更加平滑，有利于提高canny算法对白线边缘的检测效果；

优选地，在步骤S5中，利用腐蚀、膨胀、均值滤波、高斯滤波等操作对图片进行处理。其中多次多尺度的腐蚀与膨胀可以使白线更加连续，通过均值滤波和高斯滤波可以使图片更加平滑，有利于canny边缘检测的效果。

腐蚀公式为：

膨胀公式为：

均值滤波公式为：

高斯核表达式为：

其中，dst(x,y)为腐蚀膨胀处理结果，(x,y)为像素点坐标，(x’,y’)为像素偏移值，src为原始图；g(x,y)为滤波后的结果，M为区域内像素点的个数；G(x,y)表示高斯滤波结果，σ为标准差，(x

S6、通过canny边缘检测实现对白线双边的检测；

优选地，在步骤S6中，采用canny边缘检测实现对白线双边的检测。利用canny边缘检测相比传统的二值化方法有更好的白线检测效果，对于检测不明显的白线有更大的优势。

S7、利用白线的双边互相平行的特点实现对白线的识别，并计算白线的中心线；

优选地，在步骤S7中，利用白线的双边互相平行的特点实现对白线的识别，并计算白线的中心线。具体为：

S7.1、首先将canny算法得到的连续边缘点进行分组，然后对每组边缘点进行遍历，判断连续7个点是否为直线。直线的判断标准为|α

S7.2、当判断为直线后，以两个端点和中心点为起点，按照灰度图的梯度方向进行一定范围的索引，寻找梯度方向上canny边缘点并判断其所在的边缘线是否与原直线平行。如果平行则判断这是白线两边的平行边缘线，并计算中心位置。平行的判断标准为|α-β|；其中，α为起点处直线方向角，β为搜索得到的直线方向角；|α-β|小于设定的平行阈值则为平行，否则为不平行。

S7.3、通过白线识别算法，可以准确的计算出白线的中心线，并能够有效去除杂线。

S8、采用霍夫直线检测方法实现对白线的提取；

优选地，在步骤S8中，利用霍夫直线检测方法实现对白线的提取。具体为：

利用霍夫直线检测方法对白线中心线进行直线提取，本发明采用的是短直线拟合，然后通过短直线之间的距离、斜率等信息进行合并，最终获得精准的直线数据，实现对白线的提取。其中，对于直线表达式：y=kx+b，斜率k与截距b计算公式为：

其中，

实施例1

本实施例中，以双目相机获取的左目图像为对象进行绿色场地中白线提取的过程描述。图2为不同光线条件下获取的图片，包括图2中的（a）逆光图片、图2中的（b）白线极其不明显的图片、图2中的（c）光线良好的图片、图2中的（d）颜色发生偏移的图片。

本实施例中，依据步骤S1，将图片尺寸进行统一化处理，并进行完美反射白平衡、亮度均一化和双边滤波处理，得到一个尺寸统一、亮度均一的图片数据。

本实施例中，依据步骤S2，通过绿色通道数值的占比提取出绿色场地，并通过多次膨胀、腐蚀及凸包络线绘制方法实现绿色场地抠取；

本实施例中，依据步骤S3，按照白色部分对彩图进行白色分离，获得灰度图，采用双边滤波、高斯滤波进行平滑处理，获得一个较平滑是灰度图。

本实施例中，依据步骤S4，对平滑处理后的灰度图进行白色增强处理，获得一张白线更明显的图片，具体效果如图3中的（a）对应逆光、（b）对应白线不明显、（c）对应光线良好、（d）对应颜色发生偏移所示，均为白线明显的灰度图。

本实施例中，依据步骤S5至步骤S6，首先通过腐蚀、膨胀、均值滤波、高斯滤波等操作，得到一张白线更加连续，整体更加平滑的图片。然后采用canny边缘检测，获得白线的边缘图。边缘检测结果如图4中的（a）对应逆光、（b）对应白线不明显、（c）对应光线良好、（d）对应颜色发生偏移所示，可以看到对应不同光线条件的每张图都有很多的杂边。

本实施例中，依据步骤S7，利用白线的双边互相平行的特点实现对白线的识别，去除大量杂边，并通过计算白线的中线，得到白线中线图。白线的识别及中线提取结果如图5中的（a）对应逆光、（b）对应白线不明显、（c）对应光线良好、（d）对应颜色发生偏移所示，对应不同光线条件的每张图中的杂边被去除。

本实施例中，依据步骤S8，采用霍夫直线检测方法提取一系列短直线，利用短直线之间的距离、角度等信息进行分类，最终获得图片中直线的数学表达式。最终检测结果如图6中的（a）对应逆光、（b）对应白线不明显、（c）对应光线良好、（d）对应颜色发生偏移所示，提取出了对应不同光线条件的每张图中的白线。

通过实施例所示，对于逆光图片、白线极其不明显的图片、光线良好的图片、颜色发生偏移的图片都有很好的白线检测效果。说明采用本发明的上述方案，对各种复杂光线环境下的白线都有很好的检测效果。