恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法

技术领域

本发明所涉及的技术领域为智能交通与信息感知领域，主要涉及面向智能交通场景的恶劣环境下路侧视角下车辆多目标跟踪方法，尤其是以多传感融合的方式进行车辆多目标跟踪的方法。

背景技术

智能交通系统作为解决交通拥挤、交通事故救援、交通管理、环境污染等问题的重要手段，其发展一直颇受瞩目。广义上而言，智能交通系统包含交通信息采集系统、信息处理分析系统和信息发布系统。其中，交通信息采集系统作为智能交通系统的数据来源和基础设施，其核心的底层感知技术，决定了智能交通系统的公共服务能力的强弱。

作为交通信息采集系统中部署的关键底层感知技术之一，路侧视角下的车辆多目标跟踪方法被广泛应用于车流量检测、异常行驶行为分析、违章取证、交通拥堵分析等各大交通管理环节中，其方法本身的高可靠性和高准确度至关重要。

然而，在可靠性方面，现有的路侧视角下车辆多目标跟踪方法往往是通过摄像头采集道路区域的视频数据，再通过后端的服务器系统进行车辆目标的跟踪，这种单纯通过摄像头进行感知的方式对环境要求高，在常见的灯光反射和夜间环境下效果不佳，难以满足于全时段的交通应用。在准确度方面，以跟踪目标车辆的速度为例，依赖于视觉传感器的跟踪算法往往需要对安装路段进行事先标定，在绘制虚拟线圈或者虚拟触发线的基础上，才能大致估算出目标的移动速度，由于相机畸变和安装角度偏移等原因，该方案精度差，难以适用于交通执法的过程之中。

正是由于单纯依赖于视觉传感器存在着诸多的现实问题，如何应用现有技术手段和理论算法来解决这些棘手的问题，提升视觉传感器在诸如逆光和夜间的恶劣环境下的感知能力，改善跟踪目标速度与位置的识别精度，成为了当前路侧视角下车辆多目标跟踪方法的研究热点。

发明内容

针对现有路侧视角下车辆多目标跟踪方法存在的恶劣环境可靠性差、目标速度位置识别准确度差的严重缺陷，本发明拟公开一种路侧视角下雷达与视觉融合的车辆多目标跟踪方法。利用视觉的颜色、边沿等数据，结合雷达精确的速度和位置信息，利用投影数据融合的方式来提升目标检测跟踪器在诸如逆光和夜间等恶劣环境的车辆目标辨识能力，从而实现对车辆多目标的连续精准识别，在此基础之上，辨析识别目标在跟踪过程所涉及的关键状态，利用逐帧匹配的方式，将静态的识别目标与动态过程相结合，形成过程依赖型的高准确度的目标跟踪技术方案。本发明所设计的雷达视觉融合跟踪算法可以准确地获取传感器感知区域内的车辆动态目标的连续运动信息，具有较好的数据可信度和环境抗干扰能力。

其技术方案如下：首先基于三维投影的方法，在图像平面上融合视觉传感器与毫米波雷达传感器的异源异构异质数据，提升感知系统的信息维度和可信度，其次，在数据和模型等两个方面针对多传感数据噪声进行处理，构建并训练一种抗噪声扰动的车辆多目标检测深度神经网络模型，提升网络模型在诸如逆光和夜间等恶劣环境下的识别能力，紧接着，根据目标所属的动态过程，计算逐帧目标的相似性代价矩阵，利用匈牙利匹配算法，进行静态识别目标间的逐帧匹配，从而实现车辆多目标的动态可靠跟踪；

本发明所涉及的方法具体步骤如下：

步骤一、雷达视觉数据融合，提升感知目标信息维度与可信度；

为获取雷达视觉融合数据信息，需要准确地描述毫米波目标点与图像内目标位置之间的空间关系，这就需要事先计算出视觉传感器与毫米波传感器之间的空间转移矩阵；与视觉平面内明确的目标中心位置不同的是，毫米波感知到的目标位置随着目标与毫米波传感器相对距离的变化，呈现出一定的随机性，即可能是车头部分或者车身侧面等不同的位置，因而，难以在视觉平面内找到与对之完全对应的二维点集进行空间位置的标定；鉴于以上描述的问题，定义一种考虑相对距离、雷达散射面积等多维权重的目标位置匹配代价函数，利用最优化的思想，迭代优化该代价函数，由此获得视觉传感器与毫米波传感器之间的空间转移矩阵；利用该空间转移矩阵，即可完成雷达视觉的数据融合过程，该步骤的详细子步骤如下：

子步骤一、采集包含车辆多目标的图片集合

子步骤二、构建空间转移方程υ＝τΜμ，其中

子步骤三、定义一种综合考虑目标距离z、雷达散射面积s的二维权重的目标位置匹配代价函数。对于目标距离而言，目标距离越远，其所在图像上所占比面积越小，标定误差极值越小，对于雷达散射面积而言，目标金属面越大，反射面积越大，对于图像占比也越大，标定误差也愈大，因此定义了如下的目标位置匹配代价函数：

子步骤四、利用最优化方法，使用优化函数对子步骤三中定义的目标位置匹配代价函数进行迭代优化，优化停止条件为投影误差小于预设的阈值ε，由此得到最佳的空间转移矩阵

子步骤五、利用子步骤四中产生的最佳空间转移矩阵

步骤二、训练抗噪声车辆目标检测模型，提升算法在恶劣环境下的识别能力；

传统目标检测模型容易受到图片质量和环境光照的影响，其检测可靠性难以满足实际的需求。利用步骤一中毫米波投影点的锚点区域理论上可以有效地提升模型的对目标可能存在区域的辨识能力，然而，由于毫米波产生的目标点可能存在无效点、偏移点等情况，单单依赖步骤一产生的融合数据易导致模型过拟合，这是因为有效锚点区域远多于无效锚点、偏移锚点区域，模型容易对于毫米波锚点区域过于信赖，直接将锚点区域视为有效目标，从而获得较低的函数损失；通过对毫米波点进行数据增强，调整有效锚点区域与无效区域的比例，则可以有效提升模型对毫米波数据的提取能力，另一方面，通过设计一种多传感抗噪编码器-解码器模块，则可以降低噪声环境下模型发散的概率，加速模型的拟合过程，从而在数据维度与模型维度两个层面上提升跟踪系统在恶劣环境下的识别能力；该步骤的详细过程如下：

子步骤一：对毫米波点进行数据增强，调整有效锚点区域与无效区域的比例，其核心在于，以概率p

子步骤二：设计多传感抗噪编码器-解码器模块，其核心在于，设计由卷积层及池化层构成的下采样结构，用于提取目标核心的视觉特征，过滤毫米波噪声点的干扰，设计由跨连接层及上采样层构成的上采样解码器结构，补齐由池化层带来的边缘特征损失；其详细步骤如下：

1)标准卷积层1_1：第一层的输入是原始图像，像素为Q×Q，通道数为4，用64个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘；将渗漏线性整流单元(LeakyRectified Linear Units,LReLU)作为神经元的激活函数，经过LReLU激活，输出维度为Q×Q×64的特征图；

局部响应归一化层1_2：由于多传感数据源的数据存在模量不一致现象，利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度爆炸等现象，输出维度为Q×Q×64的特征图；

最大池化层1_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第一层的输出特征图，其维度为：

2)标准卷积层2_1：卷积层2的输入为卷积层1的输出特征图，卷积核的个数为128，卷积核大小为：3×3，不扩充边缘，步长为1；经过LReLU激活，输出维度为

局部响应归一化层2_1：利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度爆炸等现象，输出维度为

最大池化层2_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第二层的输出特征图，其维度为：

3)标准卷积层3_1：卷积层3的输入为卷积层2的输出特征图，卷积核的个数为256，卷积核大小为：3×3，不扩充边缘，，步长为1，经过LReLU激活，得到第三层的输出特征图，其维度为：

局部响应归一化层3_2：利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度爆炸等现象，输出维度为

4)标准上采样层4_1：上采样层4的输入为卷积层3的输出特征图，采样模式为双线性上采样，采样步长为2，经过LReLU激活后，得到第四层的输出特征图，其维度为：

5)跨连接层5_1：跨连接层5的输入为上采样层4及标准卷积层2的输出特征图，卷积核的个数为128，卷积核大小为：3×3，不扩充边缘，步长为1。过LReLU激活，输出维度为维度为

6)标准上采样层6_1：上采样层6的输入为跨连接层5的输出特征图，采样模式为双线性上采样，采样步长为2，经过LReLU激活后，得到第六层的输出特征图，其维度为：Q×Q×128；

7)跨连接层7_1：跨连接层7的输入为上采样层6及标准卷积层1的输出特征图，卷积核的个数为64，卷积核大小为：3×3，不扩充边缘，步长为1。过LReLU激活，输出维度为维度为Q×Q×64的特征图；

8)输出：输出层8的输入为跨连接层7的输出特征图，卷积核的个数为4，卷积核大小为：3×3，不扩充边缘，步长为1；过LReLU激活，输出维度为Q×Q×4的特征图，其中，前三个通道为视觉信息通道，后一个通道为毫米波信息通道；

子步骤三、训练传统目标检测模型对子步骤二中输出的4通道信息进行车辆多目标的检测；

步骤三、逐帧关联静态识别目标，实现雷达视觉融合的动态目标跟踪；

其核心在于，依据目标间位置的相互关系及目标间中心点距离等多种相似性属性，计算目标间的代价矩阵，利用匈牙利算法对目标进行匹配，得到匹配、未匹配跟踪目标、未匹配新检测目标三种状态空间，设定目标初始化策略、有效跟踪策略和终结策略，对状态空间内的目标实行以上不同的动态跟踪策略，完成车辆多目标的动态跟踪过程。其详细过程如下：

子步骤一、设定相似性代价矩阵。其核心在于，利用目标间的边界框交并比计算交并比代价矩阵，利用目标间中心距离计算欧式空间代价矩阵，集成两种相似性属性，构成总体的代价矩阵；

子步骤二、根据子步骤一中生成的总体代价矩阵，利用匈牙利算法，对目标进行帧间匹配，其可能生成结果为：新检测目标点与跟踪点全匹配、新检测目标点漏匹配、跟踪点漏匹配等三种模式，分布对应着匹配、未匹配跟踪目标、未匹配新检测目标三种状态空间，由于不同状态空间的目标呈现出异化的特性，如，未匹配跟踪目标可能为新出现目标或者假正例目标，因而，无法使用统一的跟踪策略进行目标的初始化、跟踪及终结；

子步骤三、设定目标初始化策略。未匹配跟踪目标状态空间可能为新出现目标或者假正例目标集合，因而，设定合适的初始化阈值可以有效避免假正例目标的出现，只有初始化后连续跟踪时长大于初始化阈值方可判定为有效跟踪目标，进入跟踪模式；

子步骤四、设定目标有效跟踪策略。目标有效跟踪时，利用子步骤一及子步骤二中的匹配过程即可完成目标的匹配跟踪；

子步骤五、设定目标终结策略。未匹配跟踪目标状态空间可能为遮挡目标或者驶离目标等情况，因而，设定合适的终结阈值可以有效避免遮挡目标的误终结，只有丢失跟踪时长大于终结阈值方可判定为终结目标，从而剔除出跟踪队列；

子步骤六、依据子步骤二中产生三种状态空间，对状态空间内的各个目标执行相应子步骤三到五的跟踪策略，完成目标整个的跟踪流程。

本发明与现有方法相比，具有如下优势：

1)本发明公开的雷达视觉融合的技术手段，通过设计数据增强和抗噪编码器-解码器神经网络架构，引入了准确稳定的毫米波目标信息，使得所设计的目标检测跟踪模型具有较强的场景适应性和抗干扰能力，从而实现了在逆光和夜间条件下的可靠车辆跟踪；

2)本发明通过动态关联静态识别目标，从而实现了多传感融合动态目标跟踪，这种方法一方面借用了多源传感的可靠位置辨识能力，另一方面根据目标所属状态空间，具备自适应调用起始、跟踪、终结策略的能力，所设计的跟踪算法具有准确度高、实施性强的显著优势。

附图说明

图1为本发明的总体技术方案图；

图2为本发明所设计的多传感抗噪编码器-解码器模块示意图；

图3为本发明所设计的静态目标动态逐帧匹配流程图。

具体实施方式

为了加深对本发明的认识和理解，下面结合附图和实例对本发明的技术方案进行进一步说明。

实施例1：智能交通系统作为解决交通拥挤、交通事故救援、交通管理、环境污染等问题的重要手段，其发展一直颇受瞩目。广义上而言，智能交通系统包含交通信息采集系统、信息处理分析系统和信息发布系统。其中，交通信息采集系统作为智能交通系统的数据来源和基础设施，其核心的底层感知技术，决定了智能交通系统的公共服务能力的强弱。

作为交通信息采集系统中部署的关键底层感知技术之一，路侧视角下的车辆多目标跟踪方法被广泛应用于车流量检测、异常行驶行为分析、违章取证、交通拥堵分析等各大交通管理环节中，其方法本身的高可靠性和高准确度至关重要。

然而，在可靠性方面，现有的路侧视角下车辆多目标跟踪方法往往是通过摄像头采集道路区域的视频数据，再通过后端的服务器系统进行车辆目标的跟踪，这种单纯通过摄像头进行感知的方式对环境要求高，在常见的灯光反射和夜间环境下效果不佳，难以满足于全时段的交通应用。在准确度方面，以跟踪目标车辆的速度为例，依赖于视觉传感器的跟踪算法往往需要对安装路段进行事先标定，在绘制虚拟线圈或者虚拟触发线的基础上，才能大致估算出目标的移动速度，由于相机畸变和安装角度偏移等原因，该方案精度差，难以适用于交通执法的过程之中。

正是由于单纯依赖于视觉传感器存在着诸多的现实问题，如何应用现有技术手段和理论算法来解决这些棘手的问题，提升视觉传感器在诸如逆光和夜间等恶劣环境下的感知能力，改善跟踪目标速度与位置的识别精度，成为了当前路侧视角下车辆多目标跟踪方法的研究热点。

针对现有路侧视角下车辆多目标跟踪方法存在的恶劣环境可靠性差、目标速度位置识别准确度差的严重缺陷，本发明拟公开一种路侧视角下雷达与视觉融合的车辆多目标跟踪方法。利用视觉的颜色、边沿等数据，结合雷达精确的速度和位置信息，利用投影数据融合的方式来提升目标检测跟踪器在恶劣环境的车辆目标辨识能力，从而实现对车辆多目标的连续精准识别，在此基础之上，辨析识别目标在跟踪过程所涉及的关键状态，利用逐帧匹配的方式，将静态的识别目标与动态过程相结合，形成过程依赖型的高准确度的目标跟踪技术方案。本发明所设计的雷达视觉融合跟踪算法可以准确地获取传感器感知区域内的车辆动态目标的连续运动信息，具有较好的数据可信度和环境抗干扰能力。

其技术方案如下：首先基于三维投影的方法，在图像平面上融合视觉传感器与毫米波雷达传感器的异源异构异质数据，提升感知系统的信息维度和可信度，其次，在数据和模型预处理等两个方面针对多传感数据噪声进行处理，构建并训练一种抗噪声扰动的车辆多目标检测深度神经网络模型，提升网络模型在恶劣环境下的识别能力，紧接着，根据目标所属的动态过程，计算逐帧目标的相似性代价矩阵，利用匈牙利匹配算法，进行静态识别目标间的逐帧匹配，从而实现车辆多目标的动态可靠跟踪。

一种恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法，具体步骤如下：

步骤一、雷达视觉数据融合，提升感知目标信息维度与可信度；

为获取雷达视觉融合数据信息，需要准确地描述毫米波目标点与图像内目标位置之间的空间关系，这就需要事先计算出视觉传感器与毫米波传感器之间的空间转移矩阵。与视觉平面内明确的目标中心位置不同的是，毫米波感知到的目标位置随着目标与毫米波传感器相对距离的变化，呈现出一定的随机性，即可能是车头部分或者车身侧面等不同的位置，因而，难以在视觉平面内找到与对之完全对应的二维点集进行空间位置的标定。鉴于以上描述的问题，定义一种考虑相对距离、雷达散射面积等多维权重的目标位置匹配代价函数，利用最优化的思想，迭代优化该代价函数，由此获得视觉传感器与毫米波传感器之间的空间转移矩阵；利用该空间转移矩阵，即可完成雷达视觉的数据融合过程，该步骤的详细子步骤如下：

子步骤一、采集包含车辆多目标的图片集合

子步骤二、构建空间转移方程υ＝τΜμ，其中

子步骤三、定义一种综合考虑目标距离z、雷达散射面积s的二维权重的目标位置匹配代价函数。对于目标距离而言，目标距离越远，其所在图像上所占比面积越小，标定误差极值越小，对于雷达散射面积而言，目标金属面越大，反射面积越大，对于图像占比也越大，标定误差也愈大，因此定义了如下的目标位置匹配代价函数：

子步骤四、利用最优化方法，使用优化函数对子步骤三中定义的目标位置匹配代价函数进行迭代优化，优化停止条件为投影误差小于预设的阈值ε，由此得到最佳的空间转移矩阵

子步骤五、利用子步骤四中产生的最佳空间转移矩阵

步骤二、训练抗噪声车辆目标检测模型，提升算法在恶劣环境下的识别能力；

传统目标检测模型容易受到图片质量和环境光照的影响，其检测可靠性难以满足实际的需求。利用步骤一中毫米波投影点的锚点区域理论上可以有效地提升模型的对目标可能存在区域的辨识能力，然而，由于毫米波产生的目标点可能存在无效点、偏移点等情况，单单依赖步骤一产生的融合数据易导致模型过拟合，这是因为有效锚点区域远多于无效锚点、偏移锚点区域，模型容易对于毫米波锚点区域过于信赖，直接将锚点区域视为有效目标，从而获得较低的函数损失；通过对毫米波点进行数据增强，调整有效锚点区域与无效区域的比例，则可以有效提升模型对毫米波数据的提取能力，另一方面，通过设计一种多传感抗噪编码器-解码器模块，则可以降低噪声环境下模型发散的概率，加速模型的拟合过程，从而在数据维度与模型维度两个层面上提升跟踪系统在恶劣环境下的识别能力；该步骤的详细过程如下：

子步骤一：对毫米波点进行数据增强，调整有效锚点区域与无效区域的比例，其核心在于，以概率p

子步骤二：设计多传感抗噪编码器-解码器模块，其核心在于，设计由卷积层及池化层构成的下采样结构，用于提取目标核心的视觉特征，过滤毫米波噪声点的干扰，设计由跨连接层及上采样层构成的上采样解码器结构，补齐由池化层带来的边缘特征损失。其详细步骤如下：

1)标准卷积层1_1：第一层的输入是原始图像，像素为Q×Q，通道数为4，用64个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘。将渗漏线性整流单元(LeakyRectified Linear Units,LReLU)作为神经元的激活函数，经过LReLU激活，输出维度为Q×Q×64的特征图，实际中，Q一般选为416个像素；

局部响应归一化层1_2：由于多传感数据源的数据存在模量不一致现象，利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度爆炸等现象，输出维度为Q×Q×64的特征图；

最大池化层1_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第一层的输出特征图，其维度为：

2)标准卷积层2_1：卷积层2的输入为卷积层1的输出特征图，卷积核的个数为128，卷积核大小为：3×3，不扩充边缘，步长为1。经过LReLU激活，输出维度为

局部响应归一化层2_1：利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度爆炸等现象，输出维度为

最大池化层2_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第二层的输出特征图，其维度为：

3)标准卷积层3_1：卷积层3的输入为卷积层2的输出特征图，卷积核的个数为256，卷积核大小为：3×3，不扩充边缘，，步长为1，经过LReLU激活，得到第三层的输出特征图，其维度为：

局部响应归一化层3_2：利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度爆炸等现象，输出维度为

4)标准上采样层4_1：上采样层4的输入为卷积层3的输出特征图，采样模式为双线性上采样，采样步长为2，经过LReLU激活后，得到第四层的输出特征图，其维度为：

5)跨连接层5_1：跨连接层5的输入为上采样层4及标准卷积层2的输出特征图，卷积核的个数为128，卷积核大小为：3×3，不扩充边缘，步长为1。过LReLU激活，输出维度为维度为

6)标准上采样层6_1：上采样层6的输入为跨连接层5的输出特征图，采样模式为双线性上采样，采样步长为2，经过LReLU激活后，得到第六层的输出特征图，其维度为：Q×Q×128。

7)跨连接层7_1：跨连接层7的输入为上采样层6及标准卷积层1的输出特征图，卷积核的个数为64，卷积核大小为：3×3，不扩充边缘，步长为1。过LReLU激活，输出维度为维度为Q×Q×64的特征图。

8)输出：输出层8的输入为跨连接层7的输出特征图，卷积核的个数为4，卷积核大小为：3×3，不扩充边缘，步长为1。过LReLU激活，输出维度为Q×Q×4的特征图，其中，前三个通道为视觉信息通道，后一个通道为毫米波信息通道。

子步骤三、训练传统目标检测模型对子步骤二中输出的4通道信息进行车辆多目标的检测。

步骤三、逐帧关联静态识别目标，实现雷达视觉融合的动态目标跟踪；

其核心在于，依据目标间位置的相互关系及目标间中心点距离等多种相似性属性，计算目标间的代价矩阵，利用匈牙利算法对目标进行匹配，得到匹配、未匹配跟踪目标、未匹配新检测目标三种状态空间，设定目标初始化策略、有效跟踪策略和终结策略，对状态空间内的目标实行以上不同的动态跟踪策略，完成车辆多目标的动态跟踪过程。其详细过程如下：

子步骤一、设定相似性代价矩阵。其核心在于，利用目标间的边界框交并比计算交并比代价矩阵，利用目标间中心距离计算欧式空间代价矩阵，集成两种相似性属性，构成总体的代价矩阵，如检测目标框的左上角与右下角坐标为(100,100,200,200)，原跟踪目标坐标为(90,90,180,180)，则两者的匹配代价为21.760。

子步骤二、根据子步骤一中生成的总体代价矩阵，利用匈牙利算法，对目标进行帧间匹配，其可能生成结果为：新检测目标点与跟踪点全匹配、新检测目标点漏匹配、跟踪点漏匹配等三种模式，分布对应着匹配、未匹配跟踪目标、未匹配新检测目标三种状态空间，由于不同状态空间的目标呈现出异化的特性，如，未匹配跟踪目标可能为新出现目标或者假正例目标，因而，无法使用统一的跟踪策略进行目标的初始化、跟踪及终结；

子步骤三、设定目标初始化策略。未匹配跟踪目标状态空间可能为新出现目标或者假正例目标集合，因而，设定合适的初始化阈值可以有效避免假正例目标的出现，只有初始化后连续跟踪时长大于初始化阈值方可判定为有效跟踪目标，进入跟踪模式；初始化阈值一般设定为5。

子步骤四、设定目标有效跟踪策略。目标有效跟踪时，利用子步骤一及子步骤二中的匹配过程即可完成目标的匹配跟踪。

子步骤五、设定目标终结策略。未匹配跟踪目标状态空间可能为遮挡目标或者驶离目标等情况，因而，设定合适的终结阈值可以有效避免遮挡目标的误终结，只有丢失跟踪时长大于终结阈值方可判定为终结目标，从而剔除出跟踪队列；终结阈值一般设定为10；

子步骤六、依据子步骤二中产生三种状态空间，对状态空间内的各个目标执行相应子步骤三到五的跟踪策略，完成目标整个的跟踪流程。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代，均属于本发明的保护范围。