一种基于局部描述符的三维人脸识别方法

具体实施方式：

下面参照附图，对本发明具体实施方案做更为详细的描述。编程实现工具选用VisualC++6.0，实验室数据来自FRGC v2.0三维人脸数据库，由美国University of Notre Dame采集，测试集包括466人的4007幅三维人脸，主要在2003年秋季和2004年春季采集。本文将每个人的第一幅三维人脸作为库集模型，其余均作为测试模型。

图1是本发明所述三维人脸识别方法的流程图。

图6是采样点上局部特征提取的示意图。对于人脸上任一个采样点，分别提取出50个点集的邻域，并根据邻域所构成的微切平面计算法向量n。通过计算n与坐标系的关系可以得到3个邻域Ω₁、Ω₂和Ω₃。将邻域Ω₁向人脸PCS下的XOY平面进行投影，邻域Ω₂向人脸PCS下的YOZ平面进行投影，Ω₃向人脸PCS下的XOZ平面进行投影，就得到3个二维的投影点云集合。求出散乱的二维点集中最外围的点，用直接连接相邻的两个点，就可以得到3个不同的闭合区域。

图7是处理库集人脸和测试人脸的示意图。原始人脸经过切割、姿态归一化和稀释后，提取了16条与鼻尖点等距的轮廓线，设为共n个采样点。在每个采样点上提取局部特征des_i[2]，i＝1，2，...，n。

图8是识别方法的示意图。对于一个测试人脸，通过图2所示的处理，得到了该人脸的局部特征Pdes_i[2]，i＝1，2，...，n。相同地，对于库集人脸，共n′个人脸，通过图2所示的处理，得到了n′个人脸的局部特征G_jdes_i[2]，其中i＝1，2，...，n，j＝1，2，...，n′。通过比较可以得到n′个库集人脸与测试人脸之间的相似度Dist_j，j＝1，2，...，n′，最小的Dist对应的库集人脸为识别结果。

本发明的方法具体包括以下几个步骤：

对测试人脸和库集人脸的处理步骤包括预处理、轮廓线提取和采样点局部特征提取。

步骤1  预处理

预处理分为三步：人脸切割；人脸姿态归一化；人脸稀释。

步骤1.1  人脸切割

根据人脸形状指数(Shape Index)特征和几何约束可以确定鼻尖点的粗略位置。人脸上任一点p的Shape Index值SI(p)由它的最大主曲率k₁(p)和最小主曲率k₂(p)得到：

$\mathrm{SI}\left(p\right)=\frac{1}{2}-\frac{1}{\pi }{\tan }^{-1}\frac{k_1\left(p\right)+k_2\left(p\right)}{k_1\left(p\right)-k_2\left(p\right)}.$

Shape Index特征可以表示每一点邻域的凹凸程度，越凸的曲面对应的Shape Index值越大。计算人脸点云中每一点的Shape Index值，选取在范围(0.85-1.0)内的点组成的连通区域作为初始的鼻尖的候选区域。计算人脸点云的质心位置，在鼻尖候选区域选择靠质心位置最近的一个连通区域作为鼻尖区域。选取鼻尖区域的质心作为鼻尖点粗略位置。

以初始鼻尖点为中心，90mm为半径，舍弃落在球体以外的点，保留球体内的点作为后续处理的人脸区域。

步骤1.2  人脸姿态归一化

进行粗略切割后的人脸模型近似为一张上下方向较长，左右跨度居中，前后厚度较小的椭球体。对人脸点集分布进行主成分分析(Principle Component Analysis，PCA)，可以得到三个特征向量，这三个特征向量分别对应从大到小排序的三个特征值，按PCA的特征值与特征向量的关系，最大特征值对应的主方向是点集散度最大的方向，即人脸上下方向；最小特征值对应的主方向是点集散度最小的方向，即人脸前后方向；剩余的一个特征值对应人脸左右方向。边缘数据会造成人脸三维模型不对称，但是对绝大多数三维人脸模型来说，以鼻尖点为球心的一定半径内的数据仍然是对称的。因此再次使用主成分分析会获得更为精确的主轴。将每个人脸模型都转换到其主轴坐标系下，方便了不同人脸进行匹配和比较，设为PCS。具体步骤如下：

步骤1.1.1  设库集人脸模型G＝{p_i|i＝1，2，L n}，p_i是G中一点，n为G中点的数目。对G进行PCA运算，得到原始人脸数据的三个主轴将模型G中的点转换到以为坐标轴的坐标系下，得到是G₂中一点，n为G₂中点的数目：

$p_{i_2}={(\overline{{v_1}^{\prime }},\overline{{v_2}^{\prime }},\overline{{v_3}^{\prime }})}^T{p}_i.$

步骤1.1.2  模型中，落在以鼻尖点(z坐标最大点)为中心，以r＝50mm为半径的球面内的点组成新的点集n₃表示点集G₃中点的个数，对G₃进行第二次PCA运算，得到三个精确主轴

步骤1.1.3  人脸主轴坐标系的三个坐标轴为：

$(\overline{v_1},\overline{v_2},\overline{v_3})=(\overline{v_1^{\prime }},\overline{v_2^{\prime }},\overline{v_3^{\prime }})(\overline{v_1^{\prime \prime }},\overline{v_2^{\prime \prime }},\overline{v_3^{\prime \prime }})$

取坐标变换后的z坐标最大点为精确的鼻尖点。平移人脸主轴坐标系下的三维模型，使鼻尖点为原点：

${p_i}^{\prime }={(\overline{v_1},\overline{v_2},\overline{v_3})}^T{p}_i-p_{\mathrm{nt}};$

其中p_nt表示鼻尖点，p_i是G变换坐标系后的人脸模型中的一点。

步骤1.3  人脸稀释

采用空间采样法对点云进行稀释。这种稀释数据的方法简单有效，能够在不失真的前提下缩减点云数目，并且能得到在空间较均匀的点云。应用空间采样法时，本文取空间间隔距离σ为1mm。具体的稀释方法如下：

求出待稀释的人脸模型中每个点的σ邻域，即与每个点的距离小于σ的点的集合；并对每个点增加一个m_select标志，初始化为TRUE。从第一个点开始，对每个点p，先看自身的m_select标志是否为FALSE，如果为FALSE则查看下一个点，如果为TRUE则查看其σ邻域中每个点的m_select标志，将邻域点中m_select为TRUE的点置为FALSE。最后将所有m_select标志为FALSE的点删除，得到稀释后的人脸。

至此，三维人脸模型转换到了其主轴坐标系下，库集人脸模型和测试人脸模型经过上述处理后得到的模型具有相同的姿态、点云密集程度和坐标，得到的一系列的点云集合设为F_pca。

步骤2  轮廓线提取

步骤2.1  等距轮廓线的提取

计算人脸点云集合F_pca内所有点到鼻尖点的直线距离，选择等距离的点组成一系列的轮廓线。根据人脸区域的大小，选择与鼻尖点等距离的共16条轮廓线。其具体选取方法如下：

计算人脸点云集合F_pca内所有点到鼻尖点的距离之后，选择等距离的点组成16条曲线φ(n)，n＝1，2，...，16，n为轮廓线的序号，每条曲线φ(n)中的点到鼻尖点的距离dis满足条件：

dis∈[5*n-δ，5*n+δ]

其中阈值δ＞0，这里取为1.4mm，这样得到与鼻尖点相距5mm至80mm共16条曲线；

步骤2.2  等距轮廓线的采样

在16条曲线选取完毕后，就要进行离散采样，将散乱的点集采样成具有一定排列顺序的点序列。具体采样方法如下：

步骤2.2.1  将等距轮廓线φ(n)在人脸主轴坐标系PCS的XOY平面上投影，其投影近似为一个椭圆。以鼻尖点为中心，投影曲线在X轴方向的差值α为短轴，在Y方向的差值b为长轴，得到一个椭圆，方程可表示为：

$\left(\begin{array}{c}x=\frac{a}{2}\cos \left(t\right)\\ y=\frac{b}{2}\sin \left(t\right)\end{array}\right)$

其中t＝[0，2π]，x为椭圆的横坐标，y为椭圆的纵坐标，通过改变离散采样t，我们可以在椭圆上采样不同数目的点。

步骤2.2.2  在采样前，我们考虑到人脸受表情的影响，将人脸粗略分为3个区域：鼻子区域(内)、形变区域(中)和外轮廓区域(外)。其中内外两个区域可以认为受表情影响较小，即近似刚性区域，而中间区域包含脸颊、眼睛和嘴巴，均会受表情影响很大。这里在对每条轮廓线进行离散采样的时，选取了不一样的采样比率(即不一样的t)。第1-10条轮廓线所覆盖的区域为内区域、第11-14条轮廓线所覆盖的区域为中区域、第15-16条轮廓线所覆盖的区域为外区域。这样，对内外两个区域内的轮廓线进行采样时，选取采样点：

$\left(\begin{array}{c}x=a/2*\cos ((360/(8+8*j))*i)\\ y=b/2*\sin ((360/(8+8*j))*i)\end{array}\right)$

其中j＝1，2，...，10，15，16，i＝1，2，...，8+8*j，式中x和y分别表示在第j条轮廓线上的第i个采样点的横坐标和纵坐标。

同理对中区域内的轮廓线进行采样时，选取采样点为：

$\left(\begin{array}{c}x=a/2*\cos ((360/(4+8*j))*i)\\ y=b/2*\sin ((360/(4+8*j))*i)\end{array}\right)$

其中j＝11，12，...，14，i＝1，2，...，8+4*j，式中x和y分别表示在第j条轮廓线上的第i个采样点的横坐标和纵坐标；

这样通过不均匀的离散采样就得到了一系列按一定顺序排列的点集。

步骤3采样点局部特征提取

为了提高采样点局部特征提取的效率，在这之前还需对人脸进行栅格划分。局部特征提取时，具体可以分为：采样点的邻域点集大小的计算、采样点的邻域点集提取和投影面积计算。

步骤3.1  栅格划分

设每个正方体栅格的边长为CubeLength。作过人脸在PCS下的X坐标最小值点的且与YOZ平面平行的YOZ′平面、过人脸在PCS下的Y坐标最小值点的且与XOZ平面平行的XOZ′平面和过人脸在PCS下的Z坐标最小值点的且与XOY平面平行的XOY′平面，从三个平面的交点开始，沿三个坐标轴的正方向用边长为CubeLength的栅格堆叠，直到覆盖整个人脸。

定义一个数据结构List[M][N][L]，M，N，L分别为X，Y，Z轴上的栅格个数：

$M=\left[\frac{\mathrm{xMax}-\mathrm{xMin}}{\mathrm{CubeLength}}\right]$

$N=\left[\frac{\mathrm{yMax}-\mathrm{yMin}}{\mathrm{CubeLength}}\right]$

$L=\left[\frac{\mathrm{zMax}-\mathrm{zMin}}{\mathrm{CubeLength}}\right]$

List[M][N][L]包括了M×N×L个元素，每个元素List[m][n][l]是一个线性表，用于存储索引号为m，n，l的栅格所包含的点。

建立List[M][N][L]时，需要遍历点云中的每个点，计算它所在的栅格在x，y，z轴方向上的索引m，n，l，将该点添加到List[m][n][l]表示的栅格中。例如点p_i＝(x_i，y_i，z_i)，它的索引号为(编号从0开始)：

$m=\left[\frac{x_i-\mathrm{xMin}}{\mathrm{CubeLength}}\right]$

$n=\left[\frac{y_i-\mathrm{yMin}}{\mathrm{CubeLength}}\right]$

$l=\left[\frac{z_i-\mathrm{zMin}}{\mathrm{CubeLength}}\right]$

则该点将被添加到栅格List[m][n][l]的线性表中去。

只要栅格大小适当，划分栅格后，一般认为一个点的邻域点就在这个点的27个邻域栅格内(包括这个点所在的栅格)，搜索一个点的邻域点就在它的27个邻域栅格内进行。例如，p_i位于List[m][n][l]所代表的栅格中，根据m，n，l可以得到它的27个邻域栅格，分别为List[m±1][n±1][l±1]，其中选择“+”或者“-”，或者两者都不选，三个索引进行组合可以得到p_i的27个邻域栅格的索引。如果把点云分为w个栅格，并假设点云均匀分布在各个栅格，那么每次搜索邻域点的复杂度降为未划分栅格的27/w，总的时间复杂度也相应降为原来的27/w。

栅格边长CubeLength的设置需要注意，为了保证每个栅格内至少包含一个数据点，CubeLength不能小于整个点云中两点间的最小距离。但是也不宜过大，如果CubeLength过大，则划分栅格后，整个点云可能只是被分为27个栅格或更少，那么在27个邻域栅格内搜索相当于全局搜索，划分栅格就没有起到应有的作用。经过实验，本文取CubeLength为20mm。

步骤3.2  提取局部特征

步骤3.2.1  采样点的邻域点集大小的计算

目标为求出点云中每个采样点应取的邻域点集3个邻域Ω₁、Ω₂和Ω₃的大小，设当前点为点p。首先在点p周围寻找与该点距离小于某一阈值的m个邻近点，由该m个邻近点组成点p的邻近域，根据邻近域点集构造点p的微切平面，可以确定三维人脸模型曲面在点p处的法向量n。

计算n与人脸Z轴的夹角α，根据α的大小来选取邻域。这里认为对于相同形状的点集，其法向量n越靠近Z轴，在XOY平面的投影面积越大，所以这里选取邻域点集的大小为number时，α越大则选取的number越小，反之number越大。即在XOY平面上投影的点云集数目number1＝round((1-cos(|α|))*50)。同理，分别计算n与人脸X和Y轴的夹角β和γ，由于在人脸大部分的表面，β和γ一般都远大于α，如果用上述的公式求会使得点集过小，所以这里稍扩大权重。即number2＝round((2-cos(|α|))*50)，number3＝round((2-cos(|α|))*50)。

步骤3.2.2  采样点的邻域点集提取

目标为搜索出点云中每个采样点的number_i，i＝1，2，3个邻域点。这里以number₁为例。设当前点为点p。划分栅格后，全局搜索就转化为在p的27个邻域栅格内搜索。搜索点p的邻域点就是计算点p与它的27个邻域栅格内各个点的距离，对这些距离进行排序，取与点p的距离大小排在前number₁位的点，就得到点p的number₁个邻域点。这里采用堆排序法。

堆排序的思想是先建k个数的堆，然后遍历后面的每个点时调整堆。该方法需要开辟一个大小为k(k＝N_c)的空间A，用于存放堆数据；本文用数组实现A。

(1)遍历点云中的点p_i，计算它在包围盒中所处栅格的索引m，n，l，得到点p_i的27个邻域栅格；

(2)遍历选中的27个栅格中的点，对其中每个点p_g：

{

计算p_g与p_i之间的距离dis；

如果(curCloseNum小于N_c)

将p_g放到数组A中；

否则如果(还未建堆)

对数组A建堆，建堆后A的第一个节点(即堆顶)到p_i的距离最大；

否则如果(dis小于数组A的第一个节点(即堆顶)到p_i的距离)

根据dis调整堆；

}

(3)判断点p_i的邻域栅格遍历是否完毕，未遍历完毕则返回(2)，继续遍历邻域栅格的下一个点；遍历完毕则把数组A中的元素放入该点的CloseDot链表中；

(4)判断点云是否遍历完毕，若没有则返回(1)继续遍历。

这样求出的number₁个邻域点是无序的，当然我们计算投影面积时对点集的排序并没要求，所以无需再进行排序。

步骤3.2.3  投影面积的计算

上述步骤求出的当前点p的3个邻域Ω₁、Ω₂和Ω₃也是三维的点云集合，这里分别将邻域Ω₁内的点在XOY平面上进行投影，将邻域Ω₂内的点在XOZ平面上进行投影，将邻域Ω₃内的点在YOZ平面上进行投影。以邻域Ω₁为例，邻域内每个点具有X、Y和Z三个坐标，只保留X和Y的坐标即得到点集在XOY平面上投影下来的二维点云。求出二维点云中最外围的点后进行直线连接就可以形成一个多边形的闭合区间，由一条边和p点即可确定一个三角形，求出每个三角形的面积相加后所得的结果即作为该点集在XOY平面上投影的面积，也就是该点的第一个局部特征值。在YOZ和XOZ平面上投影面积与上述相仿，这里只给出求在XOY平面上的投影面积的步骤。

(1)选取当前点集中Y坐标最小的点，置于PointSet[0]，如果这样的点有多个，则选取最左边的那个点；

(2)选取与PointSet[i]点的极角最小的点，如果这样的点有多个，则选取距离最短的那个点，置于PointSet[i+1]；

(3)遍历所有的点，如果PointSet[j]就是PointSet[0]时遍历完毕，否则返回Step2，这时PointSet数组中一共储存了k个点；

(4)计算点PointSet[i]、点PointSet[i+1]和点p所组成的三角形的面积，i＝0，1，...，k-2；

(5)将k-1个面积相加即得到了该点在XOY平面上自适应选取的点集所投影下的面积。

在XOZ和YOZ平面上，采取以上相同的处理，分别得到第2和第3个局部特征值。

至此，得到了库集人脸与测试人脸相同的采样点数，设为n，每个采样点都具备一个3维的的局部特征des_i[2]，其中i＝1，2，...，n为采样点的序号。

步骤4  识别

由于测试人脸和库集人脸处理是相同的，而且轮廓线的采样是按照一定顺序的，所以测试人脸上的采样点和库集人脸上的采样点之间，根据轮廓线上的采样顺序，具有一一对应的关系。因此，比较相对应的采样点间的局部特征即可作为测试人脸和库集人脸之间相似度用来识别。

通过步骤1、2和3所述，分别可以得到库集人脸的局部特征Gdes_i[2]和测试人脸的局部特征P_jdes_i[2]，其中i＝1，2，...，n为采样点的序号，j＝1，2，...，n′为库集人脸的序号，n′为库集人脸的个数。以对应点间的局部特征的欧氏距离作为相似性度量，即

Dist_j＝norm(Pdes_i[2]，G_jdes_i[2])。

这里认为人脸之间欧氏距离距离Dist小的相似性高，人脸之间欧氏距离距离Dist大的相似性低。通过测试人脸与库集人脸间的匹配，得到比较的结果Dist₁，Dist₂，...，Dist_n′。从中求最小值d_min＝min{Dist₁，Dist₂，...，Dist_n′}，该最小值在剩余库集模型中对应的人脸模型即为识别结果。