一种基于可变形部件模型的车牌及驾驶员人脸定位方法

技术领域

本发明属于物体检测技术领域，特别涉及车牌定位技术与人脸检测技术的组合应用。 

背景技术

随着社会的不断发展，现代交通的管理也日趋复杂、繁重。为了准确高效地监控交通状况和节约成本，很多的智能交通监控技术已经得到了广泛的应用。其中，车牌自动识别系统是目前比较成熟的技术，适用于各种交通场景。车牌识别系统分为车牌定位，字符分割与字符识别三部分。其中的车牌定位技术目前已经可以获得较高的准确率，但是也已经到达了一个瓶颈。如果不能利用场景中的其他信息，车牌定位的准确率基本无法得到进一步的提高。 

随着成像技术的发展，高清摄像机已经得到了广泛的应用。高清摄像机能够获得行驶中的车辆和驾驶员的清晰图像。目前对应此类场景下的人脸定位的研究还不多，而且由于驾驶员人脸一般是在前挡风玻璃的后面，容易受到光线和视角的影响，目前还无法得到较好的定位结果。 

因此，如果能将驾驶员的人脸信息与车辆的车牌信息有效地结合起来，则可以进一步的提高车牌定位的准确率。同时由于车牌和驾驶员人脸的相对位置比较固定，也可以通过车牌的定位结果来改善驾驶员人脸的定位结果。此外还可以通过车牌与驾驶员人脸的相对位置来进行车型的识别。 

发明内容

本发明的目的是克服现有技术的不足，在高清摄像机获得的图像中进行驾驶员人脸定位和车牌定位，进而进行车型识别，为后续的交通监控任务提供更加有效的信息。 

本发明的目的是通过下述技术方案实现的。 

一种基于可变形部件模型的车牌与驾驶员人脸定位方法，具体实施步骤如下： 

步骤一：建立正面车辆的可变形部件模型 

将车牌和驾驶员人脸作为部件，建立正面车辆的可变形部件模型，通过训练 数据，得到车牌与驾驶员人脸之间的位置关系，作为模型参数； 

正面视图中的车辆的可变形部件模型M定义如下 

M={part_plate，part_face，pos_plate,face}                    (1) 

其中，part_plate表示模型中的车牌部件，part_face表示模型中的人脸部件，pos_plate，face={p_plate，face，d_plate，face}表示车牌与驾驶员人脸之间的位置关系。其中p_plate，face表示车牌与驾驶员人脸的空间位置关系。对于不同国家和地区，由于驾驶员所在的位置不同，此位置关系也不同。对于大陆地区，需满足plate.x<face.x,plate.y<face.y，其中plate.x,face.x表示车牌和人脸的x坐标，plate.y,face.y表示车牌和人脸的y坐标，既车牌在人脸的左下方。 

d_plate,face表示车牌与人脸之间的距离，且

d_plate，face∈N_i(μ_i，δ_i)，i∈{big，middle，samll}        (2) 

N(μ，δ)表示均值为μ，方差为δ的高斯模型。 

通过统计标注的车牌与人脸之间的距离，得到每一类型的车辆所对应的高斯模型的均指和方差，既得到了车辆的可变形部件模型。 

步骤二：进行车牌的粗定位，得到车牌的候选区域和对应的可信度。 

目前有多种车牌定位的方法可以得到车牌的候选区域和对应的可信度，本发明采用基于成对形态学算子的车牌定位方法获得车牌的候选区域和对应的可信度。 

设S_m×n是大小为m×n的结构元且所有值为1，某个像素点的局部邻域由S_m×n决定。I表示灰度图像， 和 分别表示数学形态学中的腐蚀和膨胀操作，以下定义所用到的形态学操作： 

闭运算：$I·S_{m\times n}=(I\oplus S_{m\times n})\otimes S_{m\times n}$

开运算： 

高帽运算：I△S_m×n=I-(I·S_m×n) 

黑帽运算： 

高帽运算(top-hat)通过源图像和开运算图像做差，能够提取局部较亮的区 域；黑帽变换(bot-hat)通过闭运算图像和源图像做差能够提取出局部较暗的区域。由于车牌背景亮度和字符亮度之间对比显著，利用这两个操作能够分离出车牌的字符和背景区域，并抑制背景，消除不均匀光照。而大陆车牌具有亮底暗字和暗底亮字两种类型，仅使用单一形态学操作(高帽变换或黑帽变换)无法同时成功提取出字符区域进行车牌定位。我们通过成对的形态学操作，将字符信息和车牌背景信息进行显式结合，能够在统一的框架下检测两种类型的车牌。 

以暗底亮字车牌为例，为了提取出字符区域，可对其进行高帽操作并二值化，如图2所示。 

现考虑暗底亮字车牌的背景区域，若选取水平方向的线形结构元S_1×n，可将车牌背景划分为三部分，分别为字符间背景部分(红色)，字符内部背景部分(绿色)和其它背景部分(蓝色)，如图3(b)所示。 

在S_1×n作用下，蓝色区域是局部非显著变化区域(像素点所在线形结构元邻域内的像素集亮度一致)，红色区域和绿色区域是局部显著变化的。若对暗底亮字车牌进行黑帽变换并二值化，则蓝色区域对应的背景被滤除而绿色区域和红色区域对应的背景被保留，如图3(c)所示。将不同区域进行背景归类(图3(d))，并仅考虑字符间部分背景(图3(e))，可以发现，字符间部分的背景区域满足车牌字符高度一致，均匀分布的特点。我们称字符间背景对应的区域为伪字符区域。 

对暗底亮字车牌进行成对的形态学操作能够分别提取出实际字符和伪字符，它们都满足车牌字符高度一致，分布均匀的特点，如图3(e)所示。因此可将它们的并集用来进行车牌定位。同样对于亮底暗字的车牌进行成对的形态学操作能够分别提取出伪字符和实际字符。成对的形态学算子方法有效解决了单个形态学算子方法的限制——需要预先知道车牌前景-背景搭配。成对算子分别用于提取实际字符区域和伪字符区域，将车牌前景信息和车牌背景信息有效结合共同表示车牌，能够将两种类型车牌统一进行处理。字符区域提取流程如下： 

1)分别对灰度图像I进行如下形态学操作， 

2)使用大津法对I₁和I₂分别进行二值化，得到对应二值图I₃和I₄； 

3)对I₃和I₄分别进行连通成分标记，得到两个连通成分集合C^top和C^bot； 

4)将真字符和伪字符合并，并通过车牌的先验大小利用面积对字符进行滤除，得到最终的字符集合：C＝C^top∪C^bot

得到字符集合后，可以进一步得到每个字符的中心点。根据车牌上的字符分布在一条直线上的特点，我们通过判断这些中心点是否位于同一条直线上来定位车牌。通常车牌大小的变化范围在场景中是已知的，根据此先验知识，我们将检测窗口设置为最大车牌宽高的2倍。在图像中移动检测窗口进行车牌定位，在x方向上每次移动的步长为检测窗口宽度的二分之一，在y方向上每次移动的步长为检测窗口高度的二分之一。这样可确保车牌将至少出现在一个窗口检测器中，并且可以显著减少候选区域的数目。在每个检测窗口中判断所得到的字符的中心点是否位于同一条直线上，如果位于同一条直线上的中心点的数目大于给定阈值，则认为这些中心点对应的区域为候选车牌区域。同时可计算该候选区域的置信度为 

confidence_plate=|num_c-num_thres |              (3) 

其中num_c为所得到的字符数目，num_thres为设定的阈值。 

步骤三：进行驾驶员人脸的粗定位，得到人脸的候选区域和对应的可信度。 

目前有多种人脸监测的方法可以得到驾驶员人脸的候选区域和对应的可信度，本发明采用基于AdaBoost的人脸检测方法获得驾驶员人脸的候选区域和对应的可信度。 

基于AdaBoost的人脸检测方法以矩形特征为依据来构造弱分类器，再用AdaBoost方法挑选出少量关键特征，对相应的弱分类器进行加权求和从而构建出强分类器，并将其作为最终分类器用于人脸检测。其中，每个矩形特征由2-3个矩形组成，如图4所示，其值为白色矩形内的像素值之和减去黑色矩形内的像素值之和。 

每个弱分类器由一个矩形特征组成，强分类器的的训练流程如下： 

(1)给定训练数据(x₁，y₁)，...(x_n，y_n)，其中y_i=0表示负样本，y_i=1表示正样本，n为训练样本的个数。 

(2)初始化权值，y_i=0时 y_i=1时 m，l分别是负 

样本和正样本的个数。 

(3)对应t=1，...，T： 

A．归一化权值$w_{t,i}\leftarrow \frac{w_{t,i}}{{\Sigma }_{j=1}^n{w}_{t,j}}$

B．对与每一个特征j，训练弱分类器h_j，此若分类器的误差为ε_j=∑_iw_i|h_j(x_i)-y_i| 

C．选择具有最小误差的分类器h_t

D．更新权值 其中e_i=0如果x_i被正确分类，否则e_i=1，${\beta }_t=\frac{{ϵ}_t}{1-{ϵ}_t}$

(4)则最终的强分类器为 

$h\left(x\right)=\left(\begin{array}{cc}1& {\Sigma }_{t=1}^T{\alpha }_t{h}_t\left(x\right)\ge \frac{1}{2}{\Sigma }_{t=1}^T{\alpha }_t\\ 0& \mathrm{otherwise}\end{array}\right),$其中${\alpha }_t=\log \frac{1}{{\beta }_t}$

由于可以通过后续的基于可变形部件模型对粗定位得到的区域进行滤除，因此我们在利用强分类器进行人脸检测时，目标是使得漏检率最小，容许有一定的误检率。设置检测规则为：当被检测区域通过前K(K<T)个弱分类器时，认为该区域为人脸候选区域，同时继续使用第K+1至第T个弱分类器进行扫描，并记录其通过的弱分类器的数目做为该候选区域的可信度。既 

confidence_face=num_{passed_classifier}              (4) 

步骤四：基于可变形部件模型的车牌及驾驶员人脸精细定位 

步骤二提供了图像中的可能的车牌候选区域，步骤三提供了图像中的可能的驾驶员人脸的候选区域。然后我们通过步骤一中得到的车辆的可变形部件模型，进行车牌及驾驶员人脸的精细定位。 

设L={l_plate，l_face}为模型M在图像中的一个实现。其中l_plate表示车牌在图像中的位置，l_face表示人脸在车牌中的位置。设m(l_plate)表示车牌位置在l_plate的可信度，可通过式(3)计算，m(l_face)表示人脸位置在l_face的可信度，可通过式(4)计算。m(l_plate，l_face)表示车牌与人脸之间的位置关系与模型的符合度，且 

$m(l_{\mathrm{plate}},l_{\mathrm{face}})=\arg \underset{i}{\max }P(d_{l_{\mathrm{plate}},l_{\mathrm{face}}}\in N_i({\mu }_i,{\delta }_i))---\left(5\right)$

其中 为车牌候选区域与人脸候选区域之间的距离，N_i(μ_i，δ_i)为步骤一中通过训练得到的高斯模型，i∈{big，middle,samll}。 

根据可变形部件模型进行车牌及驾驶员人脸精细定位，既找到L^*使得 

$L^{*}=\{{l^{*}}_{\mathrm{plate}},{l^{*}}_{\mathrm{face}}\}=\arg \underset{L}{\max }(m\left(l_{\mathrm{plate}}\right)+m\left(l_{\mathrm{face}}\right)+m(l_{\mathrm{plate}},l_{\mathrm{face}}))---\left(6\right)$

通过步骤二可提取到车牌后续区域，通过步骤三可提取到人脸候选区域，我们根据候选区域的可信度，对候选区域进行排序。设排序后的车牌候选区域为l_{plate_1}，...l_{plate_n}，n为车牌候选区域的数目，排序后的驾驶员人脸候选区域为l_{face_1}，...l_{face_m}，m为驾驶员人脸候选区域。则通过可变形部件模型进行车牌及驾驶员人脸定位的过程为：对应i=1，...，n，j=1，...，m，计算打分值m(l_{plate_i})+m(l_{face_j})+m(l_{plate_i}，_{lface_j})，记录最大的打分值及其对应的车牌和驾驶员人脸位置作为最终的车牌和驾驶员人脸定位的结果。 

步骤五：基于车牌及驾驶员人脸的相对位置关系进行车型识别 

通过步骤四找到最佳的车牌位置l^*_plate及驾驶员人脸位置l^*_face后，通过计算 

$i^{*}=\arg \underset{i}{\max }P(d({l^{*}}_{\mathrm{plate}},{l^{*}}_{\mathrm{face}})\in N_i({\mu }_i,{\delta }_i))---\left(7\right)$

i∈{big，middle,samll}，可得到最终的车型识别结果，既得到该车是大型车，中型车或小型车。 

本发明的主要内容为：使用可变形部件模型对正面视图的车辆进行建模，将车牌与驾驶员人脸作为车辆模型中的部件，根据模型进行车牌及驾驶员人脸的定位，可提高车牌定位的准确率和驾驶员人脸定位的准确率。同时根据车牌与驾驶员人脸的相对位置关系可以进行车型识别。 

本发明的优点 

本发明与现有技术相比，具有以下几个方面的优势： 

(1)采用广泛使用的高清摄像机来获取图像，无需额外成本投入。 

(2)充分利用场景中的各种信息，提高车牌和驾驶员人脸的定位准确率。 

(3)根据车牌和驾驶员人脸的相对位置关系可以实现车型识别，应用前景广阔。 

附图说明

图1为基于可变形部件模型的车牌及驾驶员人脸定位流程图； 

图2为高帽操作提取亮字符示意图；其中，(a)原始图像，(b)高帽图像，(c)高帽二值图； 

图3为伪字符提取示意图；其中，(a)原始图像，(b)背景划分示意图，(c)黑帽二值图，(d)背景归类，(e)伪字符区域，(f)实际字符与伪字符

图4为矩形特征。 

具体实施方式

本发明提出的基于可变形部件模型的车牌与驾驶员人脸定位方法的流程如图1所示，具体实施步骤如下： 

步骤一：建立正面车辆的可变形部件模型 

可变形部件模型(Deformable Part-Based Model)是近年来比较流行的在图像中进行物体检测的模型，是目前最好的物体检测算法之一。可变形部件模型通过描述各个部件之间的位置关系来表示物体。在我们建立的正面视图的车辆模型中，包括两个部件：车牌和驾驶员人脸。在确定了模型中的部件之后，模型的训练就是通过训练数据，得到车牌与驾驶员人脸之间的位置关系。 

我们的训练数据包括大型车，中型车和小型车三类，对每一类中的每幅图像中的车牌位置和驾驶员人脸位置进行人工标注。使用混合高斯模型来表示车牌和驾驶员人脸之间的位置关系，对于每一类型的车辆，都有一个高斯模型来表示车牌与驾驶员人脸之间的位置关系。 

正面视图中的车辆的可变形部件模型M定义如下 

M={part_plate，part_face，pos_plate，face}                    (1) 其中，part_plate表示模型中的车牌部件，part_face表示模型中的人脸部件，pos_plate，face={p_plate，face，d_plate,face}表示车牌与驾驶员人脸之间的位置关系。其中p_plate，face表示车牌与驾驶员人脸的空间位置关系。对于不同国家和地区，由于驾驶员所在的位置不同，此位置关系也不同。对于大陆地区，需满足plate.x<face.x,plate.y<face.y，其中plate.x,face.x表示车牌和人脸的x坐标，plate.y,face.y表示车牌和人脸的y坐标，既车牌在人脸的左下方。d_plate,face表示车牌与人脸之间的距离，且 

d_plate,face∈N_i(μ_i，δ_i)，i∈{big，middle，samll}           (2) 

N(μ，δ)表示均值为μ，方差为δ的高斯模型。 

我们通过统计标注的车牌与人脸之间的距离，得到每一类型的车辆所对应的高斯模型的均指和方差，既得到了车辆的可变形部件模型。 

步骤二：采用基于成对形态学算子的车牌定位方法进行车牌的粗定位，得到车牌的候选区域和对应的可信度。 

采用基于成对形态学算子的车牌定位方法进行车牌的粗定位。设S_m×n是大小为m×n的结构元且所有值为1，某个像素点的局部邻域由S_m×n决定。I表示灰度图像， 和 分别表示数学形态学中的腐蚀和膨胀操作，以下定义所用到的形态学操作： 

闭运算：$I·S_{m\times n}=(I\oplus S_{m\times n})\otimes S_{m\times n}$

开运算： 

高帽运算：I△S_m×n=I-(I·S_m×n) 

黑帽运算： 

高帽运算(top-hat)通过源图像和开运算图像做差，能够提取局部较亮的区域；黑帽变换(bot-hat)通过闭运算图像和源图像做差能够提取出局部较暗的区域。由于车牌背景亮度和字符亮度之间对比显著，利用这两个操作能够分离出车牌的字符和背景区域，并抑制背景，消除不均匀光照。而大陆车牌具有亮底暗字和暗底亮字两种类型，仅使用单一形态学操作(高帽变换或黑帽变换)无法同时成功提 取出字符区域进行车牌定位。我们通过成对的形态学操作，将字符信息和车牌背景信息进行显式结合，能够在统一的框架下检测两种类型的车牌。 

以暗底亮字车牌为例，为了提取出字符区域，可对其进行高帽操作并二值化，如图2所示。 

现考虑暗底亮字车牌的背景区域，若选取水平方向的线形结构元S_1×n，可将车牌背景划分为三部分，分别为字符间背景部分(红色)，字符内部背景部分(绿色)和其它背景部分(蓝色)，如图3(b)所示。 

在S_1×n作用下，蓝色区域是局部非显著变化区域(像素点所在线形结构元邻域内的像素集亮度一致)，红色区域和绿色区域是局部显著变化的。若对暗底亮字车牌进行黑帽变换并二值化，则蓝色区域对应的背景被滤除而绿色区域和红色区域对应的背景被保留，如图3(c)所示。将不同区域进行背景归类(图3(d))，并仅考虑字符间部分背景(图3(e))，可以发现，字符间部分的背景区域满足车牌字符高度一致，均匀分布的特点。我们称字符间背景对应的区域为伪字符区域。 

对暗底亮字车牌进行成对的形态学操作能够分别提取出实际字符和伪字符，它们都满足车牌字符高度一致，分布均匀的特点，如图3(e)所示。因此可将它们的并集用来进行车牌定位。同样对于亮底暗字的车牌进行成对的形态学操作能够分别提取出伪字符和实际字符。成对的形态学算子方法有效解决了单个形态学算子方法的限制——需要预先知道车牌前景-背景搭配。成对算子分别用于提取实际字符区域和伪字符区域，将车牌前景信息和车牌背景信息有效结合共同表示车牌，能够将两种类型车牌统一进行处理。字符区域提取流程如下： 

1)分别对灰度图像I进行如下形态学操作， 

2)使用大津法对I₁和I₂分别进行二值化，得到对应二值图I₃和I₄； 

3)对I₃和I₄分别进行连通成分标记，得到两个连通成分集合C^top和C^bot； 

4)将真字符和伪字符合并，并通过车牌的先验大小利用面积对字符进行滤除，得到最终的字符集合：C＝C^top∪C^bot

得到字符集合后，可以进一步得到每个字符的中心点。根据车牌上的字符分布在一条直线上的特点，我们通过判断这些中心点是否位于同一条直线上来定位车牌。通常车牌大小的变化范围在场景中是已知的，根据此先验知识，我们将检测窗口设置为最大车牌宽高的2倍。在图像中移动检测窗口进行车牌定位，在x 方向上每次移动的步长为检测窗口宽度的二分之一，在y方向上每次移动的步长为检测窗口高度的二分之一。这样可确保车牌将至少出现在一个窗口检测器中，并且可以显著减少候选区域的数目。在每个检测窗口中判断所得到的字符的中心点是否位于同一条直线上，如果位于同一条直线上的中心点的数目大于给定阈值，则认为这些中心点对应的区域为候选车牌区域。同时可计算该候选区域的置信度为 

confidence_plate=|num_c-num_thres|              (3) 

其中num_c为所得到的字符数目，num_thres为设定的阈值。 

步骤三：采用基于AdaBoost的人脸检测方法进行驾驶员人脸的粗定位，得到人脸的候选区域和对应的可信度。

我们采用基于AdaBoost的人脸检测方法进行驾驶员人脸的粗定位。该方法以矩形特征为依据来构造弱分类器，再用AdaBoost方法挑选出少量关键特征，对相应的弱分类器进行加权求和从而构建出强分类器，并将其作为最终分类器用于人脸检测。其中，每个矩形特征由2-3个矩形组成，如图4所示，其值为白色矩形内的像素值之和减去黑色矩形内的像素值之和。 

每个弱分类器由一个矩形特征组成，强分类器的的训练流程如下： 

(1)给定训练数据(x₁，y₁)，...(x_n，y_n)，其中y_i=0表示负样本，y_i=1表示正样本，n为训练样本的个数。 

(2)初始化权值，y_i=0时 y_i=1时 m，l分别是负样本和正样本的个数。 

(3)对应t=1，...，T： 

A．归一化权值$w_{t,i}\leftarrow \frac{w_{t,i}}{{\Sigma }_{j=1}^n{w}_{t,j}}$

B．对与每一个特征j，训练弱分类器h_j，此若分类器的误差为 

ε_j=∑_iw_i|h_j(x_i)-y_i| 

C．选择具有最小误差的分类器h_t

D．更新权值 其中e_i=0如果x_i被正确分类，否则e_i=1，${\beta }_t=\frac{{ϵ}_t}{1-{ϵ}_t}$

(4)则最终的强分类器为 

$h\left(x\right)=\left(\begin{array}{cc}1& {\Sigma }_{t=1}^T{\alpha }_t{h}_t\left(x\right)\ge \frac{1}{2}{\Sigma }_{t=1}^T{\alpha }_t\\ 0& \mathrm{otherwise}\end{array}\right),$其中${\alpha }_t=\log \frac{1}{{\beta }_t}$

由于可以通过后续的基于可变形部件模型对粗定位得到的区域进行滤除，因此我们在利用强分类器进行人脸检测时，目标是使得漏检率最小，容许有一定的误检率。我们设置检测规则为：当被检测区域通过前K(K<T)个弱分类器时，认为该区域为人脸候选区域，同时继续使用第K+1至第T个弱分类器进行扫描，并记录其通过的弱分类器的数目做为该候选区域的可信度。既 

confidence_face=num_{passed_classifier}                    (4) 

步骤四：基于可变形部件模型的车牌及驾驶员人脸定位 

步骤二提供了图像中的可能的车牌候选区域，步骤三提供了图像中的可能的驾驶员人脸的候选区域。然后我们通过步骤一中得到的车辆的可变形部件模型，进行车牌及驾驶员人脸的精细定位。 

设L={l_plate，l_face}为模型M在图像中的一个实现。其中l_plate表示车牌在图像中的位置，l_face表示人脸在车牌中的位置。设m(l_plate)表示车牌位置在l_plate的可信度，可通过式(3)计算，m(l_face)表示人脸位置在l_face的可信度，可通过式(4)计算。m(l_plate，l_face)表示车牌与人脸之间的位置关系与模型的符合度，且 

$m(l_{\mathrm{plate}},l_{\mathrm{face}})=\arg \underset{i}{\max }P(d_{l_{\mathrm{plate}},l_{\mathrm{face}}}\in N_i({\mu }_i,{\delta }_i))---\left(5\right)$

其中 为车牌候选区域与人脸候选区域之间的距离，N_i(μ_i，δ_i)为步骤一中通过训练得到的高斯模型，i∈{big，middle,samll}。 

根据可变形部件模型进行车牌及驾驶员人脸精细定位，既找到L^*使得 

$L^{*}=\{{l^{*}}_{\mathrm{plate}},{l^{*}}_{\mathrm{face}}\}=\arg \underset{L}{\max }(m\left(l_{\mathrm{plate}}\right)+m\left(l_{\mathrm{face}}\right)+m(l_{\mathrm{plate}},l_{\mathrm{face}}))---\left(6\right)$

通过步骤二可提取到车牌后续区域，通过步骤三可提取到人脸候选区域，我们根据候选区域的可信度，对候选区域进行排序。设排序后的车牌候选区域为l_{plate_1}，...l_{plate_n}，n为车牌候选区域的数目，排序后的驾驶员人脸候选区域为l_{face_1}，...l_{face_m}，m为驾驶员人脸候选区域。则通过可变形部件模型进行车牌及驾驶员人脸定位的过程为：对应i=1，...，n，j=1，...，m，计算打分值m(l_{plate_i})+m(l_{face_j})+m(l_{plate_i}，l_{face_j})，记录最大的打分值及其对应的车牌和驾驶员人脸位置作为最终的车牌和驾驶员人脸定位的结果。 

步骤五：基于车牌及驾驶员人脸的相对位置关系进行车型识别 

通过步骤四找到最佳的车牌位置l^*_plate及驾驶员人脸位置l^*_face后，通过计算 

$i^{*}=\arg \underset{i}{\max }P(d({l^{*}}_{\mathrm{plate}},{l^{*}}_{\mathrm{face}})\in N_i({\mu }_i,{\delta }_i))---\left(7\right)$

i∈{big，middle，samll}，可得到最终的车型识别结果，既得到该车是大型车，中型车或小型车。