人脸皮肤斑痣点检测及利用皮肤斑痣识别人脸的方法

具体实施方式

本发明需要根据人脸皮肤上的斑痣点来实现人脸的识别，其中所提到的斑痣点是指与人脸皮肤基色有异的点，如人脸上的雀斑、暗疮、伤疤等都会形成斑痣点。本发明在做人脸识别时，首先需要找出人脸上的斑痣点，然后再利用斑痣点将待识别的人脸与作为比较对象的标准人脸进行比较。其中，在提取斑痣点时，根据斑痣点的显著性将斑痣点分为多个层次，使得在人脸识别时可以将两个待比较图像的斑痣点分层次依次比较，得到各层斑痣点的相似度，最后计算出两个待比较图像间的整体相似度。由所述整体相似度也就能够实现人脸的识别。

下面结合附图和具体实施方式对本发明的具体实现细节予以说明。

在前面的说明中已经提到，要实现人脸识别至少需要有一个待识别的人脸图像以及一个标准人脸图像。无论是待识别人脸图像还是标准人脸图像，从图像中提取斑痣点的操作并无不同，因此，在下面的说明中以任一图像为例，对人脸皮肤上斑痣点的提取予以说明。

如图1所示，在得到一幅包含人脸的图像后，首先定位人脸上的特征点。本发明中所述的特征点是指能够用来指示人脸上特别部位的点，如用来指示嘴巴、鼻子、眉毛、眼睛的点。人脸特征点的定位可以采用现有技术中的多种方法，如主动形状模型法(ASM模型)、主动表现模型法(AAM模型)。本实施例中采用了主动形状模型(ASM模型)来定位人脸特征点，一共得到了103个特征点，图2示出了这些特征点的位置分布。上述特征点的定位将有利于后续步骤中人脸图像的裁剪以及人脸皮肤上斑痣点的提取，在下面的描述中会有进一步的说明。图1中示出了提取特征点以后的人脸图像。

由于在前文中所提到的包含人脸的图像中，人脸区域的面积可能占整个图像面积的很大一部分，也可能只占一小部分，因此，出于方便比对以及确保比对结果正确性的考虑，需要将人脸图像从整个图像中裁剪出来，后续的操作都将在裁剪后的人脸图像上进行。在裁剪的过程中，可以运用前一步骤所得到的特征点，裁剪所使用的方法可以采用现有技术中的相关方法。例如，根据用于表示眼睛位置的特征点，对输入的人脸图像进行仿射变换以裁剪出人脸区域。为了方便比对，所得到的所有裁剪的人脸图像最好固定到一个统一的尺寸上(如300×400像素)。在图1中同样示出了裁剪后的人脸图像。

在得到裁剪后的人脸图像后，就要在该图像上检测斑痣点。在前文中已经提到人脸上的斑痣点是指与人脸皮肤基色有异的点，具体的说，人脸上的斑痣点大多是中间暗周边亮的区域。根据这一特征，在本实施例中可采用多尺度的Blob检测子(如高斯差分算子)来检测人脸上不同尺度上的Blob点。对一幅输入图像I，通过多尺度Blob点检测，可以获得各个检测点的位置(x，y)以及Blob检测子的响应Res。当然，对Blob点的检测还可以采用现有技术中的其他方法，如高斯-拉普拉斯算子，最大稳定极值区域(Maximally Stable Extreme Region，MSER)都可以用来检测Blob点。本步骤所得到的检测结果可以被称为候选斑痣点。

在斑痣点的检测结果中，存在着这样一种例外：一些落在图像边缘附近的点由于所在区域也有较大的对比度，从而在Blob检测器上会有比较大的响应，因此，这些点也会被检测为斑痣点。这一现象显然会影响到最后的识别结果的准确性，需要将这些点从候选斑痣点中删除。考虑到这些点沿边缘方向有比较大的主曲率但垂直于边缘方向上的值很小，因此本实施例中，通过计算给定点的Hessian矩阵的行列式与迹，可以将这些不满足条件的Blob点去除。对于给定的第i个Blob点，其Hessian矩阵定义如下：

$H=\left(\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right)---\left(1\right)$

其中，D_xx表示图像沿x方向的二阶梯度，D_xy表示图像先沿x方向计算梯度再沿y方向计算梯度，D_yy表示图像沿y方向的二阶梯度。

该点的迹与行列式如下面的公式所示：

Tr(H)＝D_xx+D_yy＝α+β(2)

Det(H)＝D_xxD_yy-(D_xy)²＝αβ(3)

其中，α和β分别表示矩阵H的两个特征值且α＞β。

假定特征值α是特征值β的r倍，即：α＝rβ，则有：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\alpha +\beta )}^2}{\mathrm{\alpha \beta }}=\frac{{(\mathrm{r\beta }+\beta )}^2}{r{\beta }^2}=\frac{{(r+1)}^2}{r}---\left(4\right)$

通过调整r的值，可以去除那些落在图像边缘上的Blob点，如下面的公式(5)所示，只保留满足如下条件的Blob点：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(r+1)}^2}{r}---\left(5\right)$

在候选斑痣点中，还有一些点位于人脸的五官(如前面所提到的眼睛、鼻子、眉毛、嘴巴)上，例如人眼的瞳孔，这些点也不满足对斑痣点的定义，因此也需要从候选斑痣点中去除位于这些器官上的点。由于在一开始已经定位了人脸上的特征点，因此在此可以直接利用前面所得到的特征点来排除位于器官上的点。在图2中，嘴巴的外轮廓点的标号为75～86，如果检测到的Blob点落在此区域内，则去除；对于眉毛，眼睛以及鼻子，也采用同样的方法去除落在器官上的Blob点。

从候选斑痣点集合中去除那些位于图像边缘附近的点以及位于五官上的点以后，计算剩余斑痣点的显著性。所谓的显著性是指一个斑痣点与周围皮肤基色间的差别的大小，它可以用一个数值表示。如图3所示，对于皮肤区域上的每个Blob点，计算它所在区域的显著性，其计算公式如下面的公式(6)式所示：

$\mathrm{saliency}=\frac{{({\mathrm{mean}}_{\mathrm{center}}-{\mathrm{mean}}_{\mathrm{surround}})}^2}{{\mathrm{std}}_{\mathrm{center}}^2+{\mathrm{std}}_{\mathrm{surround}}^2}---\left(6\right)$

其中，mean_center和mean_surround分别表示中心区域和周边区域的灰度均值，std_center²和std_surround²分别表示中心区域和周边区域的灰度方差。如果中心区域与周边区域的差异比较大而各自的方差较小，那么当前点具有很强的显著性。

作为一种优选实现方式，在得到斑痣点的用于表示显著性的数值以后，可以利用该数值对斑痣点做进一步的选择，在后续操作中将进一步选择后的结果作为操作对象。在该选择过程中，将用于表示显著性的数值与阈值t_sal进行比较，根据比较结果从斑痣点的集合中找出显著性较强的候选斑痣点作为正式的斑痣点。所述阈值t_sal的大小可以根据实际需要加以调整，如果阈值t_sal的值设得较大，则选择得到的斑痣点的显著性也就越强，但相应的，满足条件的斑痣点的数目也就越少。

在完成对斑痣点显著性的计算以后，根据计算结果将斑痣点做分层操作。在分层操作的过程中，根据显著性度量的大小划分N个区间，如[t₁，t₂)，[t₂，t₃)，...，[t_N，∞)，然后将根据计算的斑痣点显著性将斑痣点划分为N个集合set_i(1≤i≤N)，这些集合的定义如下：

Set_i＝{v|Saliency(v)≥t_i&Saliency(v)＜t_i+1}(7)

在将待比较的斑痣点划分到不同的集合中以后，还要计算各个斑痣点的特征，所述的特征用来计算点之间的相似度。在计算斑痣点的特征表示时，对于每个Blob点i所在的图像块，把它统一缩放到一个固定的尺寸(如16×16)，然后计算该图像块与5个尺度8个方向的Gabor核卷积之后的幅值并取平均值，计算所得到的结果就是该Blob点的特征，用下面的公式表示：

f_i＝G_0，0，i，…，G_0，4，i，…，G_7，0，i，…，G_7，4，i](8)

其中，G_μ，v，i表示该图像块与第μ个方向第v个尺度的Gabor核卷积得到的幅值。

在将斑痣点划分集合并计算特征后，所得到的Blob点v_i表示为：v_i＝{x_i，y_i，f_i}。

至此，在完成对候选斑痣点的选择、分层以后，得到了能够用于人脸识别的斑痣点信息。在上面的说明中已经提到，无论是待识别人脸图像还是标准人脸图像，都可以通过上述步骤提取图像中的斑痣点，但本领域技术人员应当了解，为了节约资源，在得到标准人脸图像的斑痣点信息后，可以存储相关信息，从而在其他的人脸识别操作中直接使用已有的标准人脸图像的斑痣点信息。

在得到待识别人脸图像与标准人脸图像的斑痣点信息后，就可以利用所述的斑痣点信息来实现人脸识别。如图4所示，由于两个待比较图像中的斑痣点信息分为多个层次，因此首先计算相应层斑痣点集合的相似度。对于两幅图像相应层之间的斑痣点的匹配，可采用如下的策略：假定输入图像I₁和I₂的第i层斑痣点集合分别为${\mathrm{Set}}_i^1=\{v_{i,1}^1,v_{i,2}^1,...,v_{i,K}^1\}$和${\mathrm{Set}}_i^2=\{v_{i,1}^2,v_{i,2}^2,...,v_{i,L}^2\},$其中v表示Blob点的特征表示。对于Set_i¹中的每个斑痣点，根据公式(9)计算它与Set_i²中每个斑痣点的空间距离，根据公式(10)计算它与Set_i²中每个斑痣点的特征之间的相似度：

$d(v_i^1,v_j^2)=\sqrt{{(x_i^1-x_j^2)}^2+{(y_i^1-y_j^2)}^2}---\left(9\right)$

其中，d(v_1i，v_2j)和sim(v_1i，v_2j)分别表示两斑痣点的空间距离和根据局部特征计算得到的相似度。

满足如下条件的一对斑痣点才被定义为一个匹配：

$d(v_i^1,v_j^2)<\tau ---\left(11\right)$

$\mathrm{sim}(v_i^1,v_j^2)>\xi ---\left(12\right)$

其中，τ和ξ为设定的阈值。

每一层上两幅图像的相似度S_i(1≤i≤N)可以通过计算每一层上的斑痣点的匹配数目得到。

在得到两幅待比较图像在各个层次上的相似度以后，可以计算两幅图像最终的相似度。由于不同层上的斑痣点的数目不一致，而且不同层斑痣点在人脸识别过程中所起到的作用大小也不相同，因此，需要为各层斑痣点设定一个加权值，在本实施例中，该加权值根据下面的公式(13)计算得到。

$w_i=\frac{1}{{\mathrm{percent}}_i}---\left(13\right)$

其中，percent_i表示第i层的特征点数目占所有特征点数目的百分比。当然，w_i需要进行归一化以保证总和为1。

最终，两幅图像的相似度计算如下式所示：

$S(I_1,I_2)=\underset{i=1}{\overset{N}{\Sigma }}{w}_i*S_i---\left(14\right)$

以上是对本发明的利用斑痣点识别人脸图像的完整过程的说明。本发明的方法可以单独使用，也可以与其他人脸识别方法配合使用。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。