夜间复杂交通视频中车辆检测方法

技术领域

本发明涉及的是一种车辆运动分析方法。

背景技术

车辆运动分析通常是对目标车辆进行追踪，得到车辆的运动速度、位移、轨迹等信息， 为交通事故处理、违规行为分析和治安犯罪的取证提供了重要依据。我们对一台目标车辆进 行详细和准确的追踪，特别是对大量同时进入视野的车辆进行追踪时，要尽量避免其他车辆 的干扰，这是车辆追踪的难点，也是近些年车辆追踪的研究热点。

目前较为成熟的先进夜间复杂交通视频中车辆监控算法有亮度和区域滤波法 (brightness and area filtering)、自适应立体视觉提取法(Self-adaptive stereo vision  extractor)、反射增强图和反射抑制图法(reflection intensity map and reflection  suppressed map)和形态分析法（morphological analysis）、自动多阈值法（automatic  multi-thresholds）等。近年来，在这些较为成熟的追踪算法的基础上结合了卡尔曼滤波器、 可视粒子滤波等方法，取其各种方法的优点对夜间交通视频中车辆进行追踪，但车辆在复杂 条件下（雨、雪天）和曲线行驶时，追踪结果不好，而且计算成本高。

发明内容

本发明的目的在于提供一种能够实现较高效率的夜间复杂交通视频中车辆检测方法。

本发明的目的是这样实现的：

1、图像模糊化：利用光在大气中散射的性质，引入Bouguer’s指数衰减模型及模糊参 数ΔB，证实在通过高斯滤波后，这种模糊与强反射相比可以忽略不计，故可在原图像的垂直 向上、垂直向下和水平方向上引入模糊参数ΔB，得到三幅不同方向的模糊图像。

2、车灯提取：将得到的三幅不同方向的模糊图像进行高斯滤波和阈值提取，选择垂直向 下移位的像素坐标为参考，将垂直向上、水平向下两个方向的像素进行移位，使三者坐标对 齐，最后通过逻辑与运算，消除由于街灯、广告牌、地面反射、车前灯打到其他车身反射光、 模糊变换等对车灯定位的干扰，提取出车等信息。

3、车灯配对：鉴于车在弯路行驶时仍需被追踪到，所以在对车灯进行配对时，将图像在 水平方向上分为7部分，由于车灯进入视野向前行驶的过程中，车灯会变得越来越宽，越来 越大，故对这7部分分别运用形态闭和腐蚀操作，且所选的线结构元的尺寸由上到下依次递 增。由于车尾灯一般都是红色的，因此把RGB图转换成Y、Cb和Cr成分，其中Cr用于尾灯 的提取。按照上述步骤可实现尾灯的定位和配对，差别在于形态操作时，线结构元的尺寸要 由上到下依次递减。

4、遮挡判别：运用前后帧间车辆数目的改变，进行比较判断并加以处理。

5、车辆追踪：对输入的每一帧图像按列（从左到右）浏览，得到车灯团区域的相关属性 信息，最后对其进行标记，通过车灯中心位置改变大小判断车辆是否移动并且对其进行追踪。

6、速度估计：

①前景粗提取：消除快速变化的背景的影响，得到低对比度图片，当前帧像素I和背景 像素B相似度设定相似度阈值，进行图片提取。

②前景细提取：当前帧像素I和单位延时帧像素I’做差，取绝对值，即ADiff＝|I-I′|。

③像素属性判断：如果当前像素与ADiff之间的距离大于特定隶属度阈值，则它属于背 景像素，否则属于前景像素。

④逻辑运算：解模糊，对得到的两个不同的二值像素进行逻辑或运算， EF＝Or(Sim(B,I),ADiff)。

⑤速度估计：对上一步的二值图像做闭运算得到灯团的位置，设当前灯团中心C(Xc,Yc)， Xc,Yc分别代表中心像素的横、纵坐标，相隔十帧灯团中心G(Xg,Yg)，则两个灯团空间距离 为Ud是为了获得真实速度，自像素域扩展到真实域的投影参 数。最后利用红外传感系统得到车辆行驶的真实速度y，又假设噪声和待估计速度是相互独 立的，且都服从高斯分布，故可以运用最大后验概率估计方法对速度进行估计，其估计公式 是$\underset{\left\{s\right\}}{\max }f\left(S\right|y)=\underset{\left\{s\right\}}{\max }\left\{\frac{f\left(y\right|S)f\left(S\right)}{f\left(y\right)}\right\},$其中s为待估计速度，y为真实速度。

本发明还可以包括：

1、所述遮挡判别所用到的具体判别方法如下：

①从第一帧开始，建立记录每一帧目标位置及方向信息的矩阵Mi。如在尺寸为MxN的t帧建 立（6xN_b）矩阵Mt,

$M_t=\left(\begin{array}{c}r......\\ c......\\ w......\\ h......\\ d......\\ z......\end{array}\right)$

其中，N_b表示在t帧的成对车灯数，r和c分别表示代表车灯区域的长方形左上角在途中 的x轴和y轴位置，h表示该长方形的长度，w表示该长方形的宽度，d表该对车灯代表 的车辆在t帧的运动方向，z表正向行驶或逆向行驶。

②计算t帧内不和图像边缘相接的目标数V_Nb，

$V_{\mathrm{Nb}}=\underset{i=1}{\overset{\mathrm{Nb}}{\Sigma }}\left\{{(r>1)}_i\mathrm{AND}({(r+h)}_i<N)\mathrm{AND}{(c>1)}_i\mathrm{AND}({(c+w)}_i<m)\right\}$

③计算相邻两帧的目标数量差：前后两帧目标数量差ΔN_b＝N_b,t-1-N_b,t，相邻两帧不和图像边 缘相接的目标数量差ΔVN_b＝VN_b,t-1-VN_b,t

④计算П_t

⑤通过计算获得遮挡出现次数。

如果遮挡结束时，被遮挡目标的速度与方向都发生了急剧变化，说明发生了碰撞；如果 速度与方向变化不大，可以结合矩阵M_t中存贮的信息，用最大后验概率估计算法（MAP）预测 被遮挡目标在遮挡期间的速度及位置。最后用Kalman滤波器实现帧间每一辆车的预测和匹 配。对于目标刚进入视频就被遮挡或即将离开视频帧时出现的遮挡，该方法也都能够检测出 来。

2、所述车辆追踪所用到的具体方法如下：

①获取车灯团区域及其相关属性信息：逐列浏览帧图像，得到车灯团区域 Blob(x,y),x和y分别代表灯团区域像素的横、纵坐标，得到其零阶矩KM₀₀和一阶矩KM₁₀、 KM₀₁，其中${\mathrm{KM}}_{00}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{Blob}(x,y),$${\mathrm{KM}}_{10}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{xBlob}(x,y),$${\mathrm{KM}}_{01}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{yBlob}(x,y),$则车灯团的中心为$(x_{\mathrm{center}}=\frac{{\mathrm{KM}}_{10}}{{\mathrm{KM}}_{00}},Y_{\mathrm{center}}=\frac{{\mathrm{KM}}_{01}}{{\mathrm{KM}}_{00}}).$

②对车灯进行标记：假设Blob_kt(x_center,y_center)表示t时刻第k个车灯团的中心，每帧图像 的车灯个数为B，DV_t表示t时刻所有检测到的灯团中心的矩阵，则 DV_t＝[Blob_1t(x_center,y_center),Blob_2t(x_center,y_center),...,Blob_Bt(x_center,y_center)]，每一个被检测到的灯团中 心由唯一的一个ID标识，构成标签矩阵TG_T＝[T₁,T₂,...,T_B]，T₁,T₂,...T_B分别为被检测到的B个 灯团中心的ID标识。

③追踪车辆：将t+1时刻车灯中心的位置和t时刻的进行比较，若小于设定门限，则车 灯中心位置的标签矩阵保持不变，若在t+2时刻，一辆车改变了位置，则标签矩阵改变。在 有新车辆进入场景的情况下，标签会根据新车辆数更新，车辆也会以同样的方式被追踪。

本发明提到的夜间复杂车辆检测的方法，是用方位模糊技术进行车灯提取，该方法是本 专利提出的一种新的交通检测方法，能够有效的提取夜间交通视频图像中的车灯部分，而且 对于复杂条件下同样适用。它是利用光在大气中传播有散射的性质，引入Bouguer’s散射指 数模型，在此基础上，通过膨胀移位、阈值提取、坐标变换和逻辑运算，得到车灯，再利用 形态学运算将车灯配对并加以追踪。这一过程降低了街灯、广告牌照明灯，车灯照射到其它 车身的反射光以及路面反射光等非车辆照明的其它发光物体对车灯定位的干扰，使得车灯定 位更加准确。对于遮挡问题，运用前后帧间车辆数目的改变，进行比较判断，对其分别处理。 最后我们利用模糊相似度方法FSA和最大后验概率准则MAP对车速进行估计，该算法取得了 一个平均速度的估计精度±0.74公里。使用FSA在强度水平图像比传统的提取技术好很多, 因为在这种方法下，被提取的前景不需要被填充。此外，由于质心位置随着灯团改变，估计 速度会变得更加随机。在灯团形状相似处运用FSA，会使速度估计精度的变化更加稳定。

附图说明

图1带有反射区域标识的车辆图像原图。

图2(a)-图2(i)模糊化处理图。

图3(a)-图3(i)车灯提取图。

图4(a)-图4(b)车灯配对图。

图5(a)-图5(c)弯曲路径车灯追踪图。

图6遮挡判断流程图。

图7车灯追踪流程图。

图8(a)-图8(d)高密度序列图像检测图。

图9(a)-图9(d)高速度序列图像检测图。

图10(a)-图10(d)雨天1序列图像检测图。

图11(a)-图11(d)雨天2序列图像检测图。

图12(a)-图12(b)单行驶方向车辆监测结果图，其中图12(a)13辆车检测出12辆；图 12(b)19辆车检测出18辆。

图13(a)-图13(c)双行驶方向车辆监测结果图。

图14(a)-图14(b)雨天高速公路（美国洛杉矶库存图片）车灯检测和匹配结果图。

图15(a)-图15(d)双灯车辆追踪和速度估计结果图。

图16(a)-图16(d)强反射光下车辆追踪和速度估计结果图。

图17(a)未使用和图17(b)使用（右）FSA算法，结构元素为5时的速度估计结果图。

具体实施方式

本发明是基于Bouguer’s指数衰减模型的方位模糊技术及最大后验概率估计的车辆检 测方法，具体实现步骤如下：

1、图像模糊化：利用光在大气中散射的性质，引入Bouguer’s指数衰减模型及模糊参 数ΔB，证实在通过高斯滤波后，这种模糊与强反射相比可以忽略不计，故可在原图像的垂直 向上、垂直向下和水平方向上引入模糊参数ΔB，得到三幅不同方向的模糊图像。

2、车灯提取：将得到的三幅不同方向的模糊图像进行高斯滤波和阈值提取，选择垂直向 下移位的像素坐标为参考，将垂直向上、水平向下两个方向的像素进行移位，使三者坐标对 齐，最后通过逻辑与运算，消除由于街灯、广告牌、地面反射、车前灯打到其他车身反射光、 模糊变换等对车灯定位的干扰，提取出车等信息。

3、车灯配对：鉴于车在弯路行驶时仍需被追踪到，所以在对车灯进行配对时，将图像在 水平方向上分为7部分，由于车灯进入视野向前行驶的过程中，车灯会变得越来越宽，越来 越大，故对这7部分分别运用形态闭和腐蚀操作，且所选的线结构元的尺寸由上到下依次递 增。对于车尾灯，由于一般都是红色的，因此把RGB图转换成Y、Cb和Cr成分，其中Cr用 于尾灯的提取。按照上述步骤可实现尾灯的定位和配对，差别在于形态操作时，线结构元的 尺寸要由上到下依次递减。

4、遮挡判别：具体分为5步，下面分别叙述。

①从第一帧开始，建立记录每一帧目标位置及方向信息的矩阵Mi。如在尺寸为MxN的t帧建 立（6xN_b）矩阵Mt,

$M_t=\left(\begin{array}{c}r......\\ c......\\ w......\\ h......\\ d......\\ z......\end{array}\right)$

其中，N_b表示在t帧的成对车灯数，r和c分别表示代表车灯区域的长方形左上角在途中 的x轴和y轴位置，h表示该长方形的长度，w表示该长方形的宽度，d表该对车灯代表 的车辆在t帧的运动方向，z表正向行驶或逆向行驶。

②计算t帧内不和图像边缘相接的目标数V_Nb，

$V_{\mathrm{Nb}}=\underset{i=1}{\overset{\mathrm{Nb}}{\Sigma }}\left\{{(r>1)}_i\mathrm{AND}({(r+h)}_i<N)\mathrm{AND}{(c>1)}_i\mathrm{AND}({(c+w)}_i<m)\right\}$

③计算相邻两帧的目标数量差：前后两帧目标数量差ΔN_b＝N_b,t-1-N_b,t，相邻两帧不和图像边 缘相接的目标数量差ΔVN_b＝VN_b,t-1-VN_b,t。

④计算П_t

⑤通过计算获得遮挡出现次数。

如果遮挡结束时，被遮挡目标的速度与方向都发生了急剧变化，说明发生了碰撞；如果 速度与方向变化不大，可以结合矩阵M_t中存贮的信息，用最大后验概率估计算法（MAP）预测 被遮挡目标在遮挡期间的速度及位置。最后用Kalman滤波器实现帧间每一辆车的预测和匹 配。对于目标刚进入视频就被遮挡或即将离开视频帧时出现的遮挡，该方法也都能够检测出 来。

5、车辆追踪：对输入的每一帧图像按列（从左到右）浏览，得到车灯团区域的相关属性 信息，最后对其进行标记，通过车灯中心位置改变大小判断车辆是否移动并且对其进行追踪。

①获取车灯团区域及其相关属性信息：逐列浏览帧图像，得到车灯团区域 Blob(x,y),x和y分别代表灯团区域像素的横、纵坐标，得到零阶矩KM₀₀和一阶矩KM₁₀、 KM₀₁，其中${\mathrm{KM}}_{00}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{Blob}(x,y),$${\mathrm{KM}}_{10}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{xBlob}(x,y),$${\mathrm{KM}}_{01}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{yBlob}(x,y),$ 则车灯团的中心为$(x_{\mathrm{center}}=\frac{{\mathrm{KM}}_{10}}{{\mathrm{KM}}_{00}},Y_{\mathrm{center}}=\frac{{\mathrm{KM}}_{01}}{{\mathrm{KM}}_{00}}).$

②对车灯进行标记：假设Blob_kt(x_center,y_center)表示t时刻第k个车灯团的中心，每帧图像 的车灯个数为B，DV_t表示t时刻所有检测到的灯团中心的矩阵，则 DV_t＝[Blob_1t(x_center,y_center),Blob_2t(x_center,y_center),...,Blob_Bt(x_center,y_center)]，每一个被检测到的灯团中 心由唯一的一个ID标识，构成标签矩阵TG_T＝[T₁,T₂,...,T_B]，T₁,T₂,...T_B分别为被检测到的B个 灯团中心的ID标识。

③追踪车辆：将t+1时刻车灯中心的位置和t时刻的进行比较，若小于设定门限，则车 灯中心位置的标签矩阵保持不变，若在t+2时刻，一辆车改变了位置，则标签矩阵改变。在 有新车辆进入场景的情况下，标签会根据新车辆数更新，车辆也会以同样的方式被追踪。

6、速度估计：

①前景粗提取：消除快速变化的背景的影响，得到低对比度图片，当前帧像素I和背景 B相似度设定相似度阈值，进行图片提取。

②前景细提取：当前帧像素I和单位延时帧像素I’做差，取绝对值，即ADiff＝|I-I′|。

③像素属性判断：如果当前像素与ADiff之间的距离大于特定隶属度阈值，则它属于背 景像素，否则属于前景像素。

④逻辑运算：解模糊，对得到的两个不同的二值像素进行逻辑或运算， EF＝Or(Sim(B,I),ADiff)。

⑤速度估计：对上一步的二值图像做闭运算得到灯团的位置，设当前灯团中心C(Xc,Yc)， X_c,Y_c分别代表中心像素的横、纵坐标，相隔十帧灯团中心G(Xg,Yg)，则两个灯团空间距离 为Ud是为了获得真实速度，自像素域扩展到真实域的投影参 数。最后利用红外传感系统得到车辆行驶的真实速度y，又假设噪声和待估计速度是相互独 立的，且都服从高斯分布，故可以运用最大后验概率估计方法对速度进行估计，其估计公式 是$\underset{\left\{s\right\}}{\max }f\left(S\right|y)=\underset{\left\{s\right\}}{\max }\left\{\frac{f\left(y\right|S)f\left(S\right)}{f\left(y\right)}\right\},$其中s为待估计速度，y为真实速度。

2车辆追踪时常遇到的几个特殊问题说明：

①如果只有一个头灯被其它车辆遮挡，而另一个头灯仍可以被正确地查找并追踪，只是 不能实现两个头灯的配对。如果这种状态持续几帧，可用双向遮挡推理算法，即遮挡前几帧、 遮挡过程中，遮挡后几帧的目标间信息解决该问题。

②如果有些车辆有4个头灯，可以利用这两对头灯的位置、距离，设置门限，识别出来；

③只有一个头灯的摩托车，可以在连续几帧的观察中判别出，处理方法如同镜头侧面方 向的头灯、尾灯方法类似，无需配对。

利用本发明的追踪方法对4组夜间复杂背景条件下的车辆进行追踪。10-13，15图图像 来自张伟等人的“夜间车辆追踪和车灯匹配”，图像大小为600*800，14图图像为美国洛杉矶 高速公路场景图片，图像像素为600*800。对其检测和追踪的实验数据进行统计，统计结果 分别如表1和表2所列。

表1夜间复杂背景条件下车辆检测结果

表2双前灯和强反射条件下的检测结果

由以上数据可以看出对4组图像的检测成功率在85.7%和100%之间，计算得到最终检测 车灯的平均成功率达到了90.05%，追踪准确率高达97.25%。说明本文方法对车灯检测和车辆 追踪具有较好的效果。

实验结果表明：本发明的方法利用光在大气中传播有散射的性质，运用方位模糊技术降 低了街灯、广告牌照明灯，车灯照射到其它车身的反射光以及路面反射光等非车辆照明的其 它发光物体对车灯定位的干扰，使得车灯定位更加准确，最后用模糊相似度方法和最大后验 概率方法进行速度估计，由17图可以看到，其平均速度的估计精度为±0.74公里，大大提 高了整体系统的精度。