一种新的人脸特征描述方法

技术领域

本发明涉及人脸识别，尤其是涉及一种新的人脸特征描述方法微模式编码PPC（Primitive  Pattern Coding）。

背景技术

如何让计算机能像人眼一样去理解这个世界，并辅助人类做一些有意义的事情，计算机 视觉这一学科因此而诞生。计算机视觉最初源于数字图像处理领域，自上世纪60年代分离出 来，成为一个独立的学科研究，早已广泛地应用于航空航天、自动导航、工业检测、医学研 究和临床诊治、安全监控和跟踪、国防、交通、遥感等诸多重要领域中。

当今社会的快速发展，使得人们的生活在各方面都存在着各种身份认证。而在某些安全 领域，传统的输入数字密码和使用ID卡已经很难保证其足够的安生性（如ID卡丢失或密码 被盗用等）。而生物信息（如人脸、指纹、人眼、虹膜等）具有很难被盗用、不会被忘记以及 唯一性等几大特性。与传统的认证方法相比，用生物信息进行认证识别的安全性明显得到了 提高，因而采用生物信息进行认证识别很自然地进入到安全领域。因此，对人脸识别在更为 复杂环境中应用的研究对现实生活有着重要的意义和广阔的前景。

作为人脸识别系统中非常重要的一个模块特征提取，如何设计一种有效的人脸特征描述 子同样成为人脸识别中一个非常重要的问题。特征提取（feature extraction）是对预处理后的 图像进行特征变换以获取相对稳定有用的信息。顾名思义，对人脸图像的特征提取，就是把 预处理后得到的对齐人脸进行特征变换而获得相对稳定有用的人脸表示信息。

一般而言，一种好的人脸特征描述子应能够容忍以下这些变化：尺度（scale）、姿态（pose）、 光照（illumination）、表情（expression）以及遮挡（occlusion）等。在最近的一些研究中，实 验结果显示出了局部特征描述子的优越性。比较经典的局部特征描述子有LBP（Local Binary  Patterns）（T.Ahonen,A.Hadid,M.Pietikainen.Face description with local binary patterns: Application to face recognition[J].Pattern Analysis and Machine Intelligence,IEEE Transactions  on.2006.28(12):2037–2041），以及基于LBP特征的一些改进的特征描述子，如TPLBP （Three-Patch LBP）和FPLBP（Four-Patch LBP）（L.Wolf,T.Hassner,Y.Taigman,et al. Descriptor based methods in the wild[C].Workshop on Faces in’Real-Life’Images:Detection, Alignment,and Recognition.2008）。然而，大多数的局部特征描述子没有考虑不同人脸区域之 间的差异，以及对人脸识别有利的全局信息。

发明内容

本发明的目的在于提供一种新的人脸特征描述方法。

本发明包括以下步骤：

A.准备人脸图像训练样本集(a_i(1),a_i(2),...,a_i(pi))，i＝1,2,...,C，其中，C为人脸训练样本类别 数或称目标个数，C为自然数，p_i为第i类包含的总训练样本数，a_i(1)表示第i个目标中的第1 幅人脸图像训练样本；

B.将每个训练样本图像按照2种不同尺度分别进行4个方向上的漂移，设参数对为 (Direction，R)，其中Direction=up,down,left,right，分别对应于上，下，左，右4个方向，R=2， 4两种尺度，得到4个方向，2种尺度的8幅漂移过的图像，然后再利用原始图像和所有漂移 过的图像分别进行一次差分运算，从而得到8幅差分图像，保留2幅原始图像和8幅差分图 像即得到一个由10幅图像组成的图像集（对于每幅原始训练样本图像）；

C.在步骤B的基础上，对每个训练样本图像集中的每幅图像分别提取LTPBP纹理特征 描述符；

D.在步骤C的基础上，重新组合训练样本子集n＝1,2,...,10，其 中i＝1,2,...,C，C的意义和步骤A中提到的一样，为步骤B 中在不同尺度和不同方向上变换所得差分图像对应的特征向量，即原LTPBP特征描述向量， 就为第i类目标所有图像样本在相同方向和相同尺度变换下提取到LTPBP特征描述向 量共同组合成的子样本集；

E.对样本子集S⁽ⁿ⁾分别利用LDA算法进行学习，根据LDA算法的特性，对于每个样本 子集都会学习到一个投影矩阵W⁽ⁿ⁾，n＝1,2,...,10；

F.根据步骤E中计算得到的投影矩阵W⁽ⁿ⁾，将对应位置的LTPBP特征描述向量v⁽ⁿ⁾投影 到更为低维的空间中变为x⁽ⁿ⁾；

G.把x⁽ⁿ⁾按顺序串连起来即得特征描述向量，其中，代表第i类目标的第1个差分 图像集中第n幅差分图像对应的特征描述向量。

在步骤A中，所述人脸图像训练样本集的总训练样本集大小为：

(a₁₍₁₎,a₁₍₂₎,...,a_1(p1),a₂₍₁₎,a₂₍₂₎,...,a_2(p2),...,a_C(1),a_C(2),...,a_C(pC))。

在步骤B中，所述差分运算可由以下方法得到：

(I_left,4-I,I_up,4-I,I_down,4-I,I_right,4-I,I_left,2-I,I_up,2-I,I_down,2-I,I_right,2-I,I,I)

其中，I表示原始图像，I_Direction,R表示按不同的方向和不同的尺度漂移后得到的图像。

在步骤C中，所述对每个训练样本图像集中的每幅图像分别提取LTPBP纹理特征描述符 的方法包括以下子步骤：

C1.对于原始LBP特征描述符编码公式为其中C表示以它为 中心点对其提取LBP特征描述符，参数对(N,R)表示LBP特征描述符提取的模式，N表示以 像素点C为中心划分出的采样点（或对比的像素点），R表示采样点与中心像素点之间的距离 尺度，d表示像素点的灰度值大小，函数f定义如下：

$f\left(x\right)=\left(\begin{array}{cc}1& \mathrm{ifx}\ge T\\ 0& \mathrm{ifx}<T\end{array}\right)$

上式中T的值比0略大；

C2.LTPBP的全称为Local Three-Points Binary Patterns，即局部三点二值模式，对应于步 骤C1中的参数对即为(3,R)，其中R分别取1，2两个值，即两种模式的LTPBP，分别为 Pattern(3,1)和Pattern(3,2)；当以LBP特征描述符为参照物时，LTPBP特征描述符只是在原LBP 中选取3个采样点，那么对应的LTPBP特征描述符的编码公式为：

LTPBP_(3,R)(C)＝f(d_C-d_up)2⁰+f(d_C-d_right)2¹+f(d_C-d_left)2²

其中d同样表示像素点的灰度值大小，up,right,left分别表示在C像素点正上方、正右方、正 左方的采样点，函数f定义与C1中的一样；

C3.对步骤B中按(I_left,4-I,I_up,4-I,I_down,4-I,I_right,4-I,I)方式得到的差分图像以Pattern(3,2)提取 LTPBP特征描述向量，而对按(I_left,2-I,I_up,2-I,I_down,2-I,I_right,2-I,I)方式得到的差分图像以 Pattern(3,1)提取LTPBP特征描述向量，因此会用到两幅原始图像。

在步骤D中，所述提取到LTPBP特征描述向量共同组合成的子样本集，可假设： (I_left,4-I,I_up,4-I,I_down,4-I,I_right,4-I,I_left,2-I,I_up,2-I,I_down,2-I,I_right,2-I,I,I)编号对应为（1，2，…，10） 总共10种差分方式；再根据该规则重新组合训练样本子集为 n＝1,2,...,10。

在步骤F中，所述将对应位置的LTPBP特征描述向量v⁽ⁿ⁾投影到更为低维的空间中变为 x⁽ⁿ⁾，可通过以下公式将原LTPBP特征描述向量v⁽ⁿ⁾投影到更为低维的空间中变为x⁽ⁿ⁾：

x⁽ⁿ⁾＝W^(n)Tv⁽ⁿ⁾。

在步骤G中，所述把x⁽ⁿ⁾按顺序串连起来，即生成人脸特征描述方法微模式编码PPC （Primitive Pattern Coding）：

PPC＝[x⁽¹⁾;x⁽²⁾;...;x⁽¹⁰⁾]

其中n＝1,2,...,10,m按需求而定，如设m＝150或其它值。

本发明首先利用训练集对每幅图像建立差分图像集，其次将差分图像集中的每幅图像按 照事先的规定提取LTPBP特征描述向量，然后按照约定的规则把LTPBP特征描述向量组合 成10个不同的特征矩阵、利用LDA方法对生成的特征向量矩阵分别进行一次学习从而得到 10个投影矩阵，再分别利用投影矩阵对原LTPBP特征描述向量进行投影学习得到降维后的 LTPBP特征描述向量，最后把属于同一幅图像中得到的低维LTPBP特征描述向量串连起来生 成PPC特征描述向量。

本发明把漂移差分的思想引入到人脸特征描述子当中，它将更为有效地把空间位置信息 融入到最终生成的人脸特征描述子当中。本发明中的特征描述向量，引入的漂移差分思想， 不仅能够更好地挖掘更多有用信息，同时还能够解决LBP特征描述向量中的插值问题，从而 提出与漂移差分方法相结合的LTPBP纹理特征描述向量，加速了特征提取的运算效率。为了 使得PPC更为鲁棒，本发明加入了LDA学习算法，和前面处理措施相结合，使得PPC特征 描述向量保留了全局与局部两类特征描述子各自存在的一些优点。

附图说明

图1为本发明实施例的流程图。其中，（a）为训练样本的特征提取，（b）为测试样本的 特征提取。

图2为生成差分图像集。其中，（a）将原始图像按照不同尺度分别进行4个方向上的漂 移，（b）得到的差分图像集。

图3为两种局部区域描述子。其中，（a）LBP特征描述子，（b）LTPBP特征描述子。

图4为GTFD数据库中的一个目标的示范样本。

图5为CMU-PIE数据库中的一个目标的示范样本。

图6为XMU数据库中的一个目标的示范样本。

具体实施方式

下面结合附图和实施例对本发明的方法作详细说明，本实施例在以本发明技术方案为前 提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。

参见图1，本发明实施例的实施方式包括以下步骤：

S1.准备人脸图像训练样本集(a_i(1),a_i(2),...,a_i(pi))，i＝1,2,...,C，C为人脸训练样本类别数（目 标个数），C为自然数，p_i为第i类包含的总训练样本数，a_i(1)表示第i个目标中的第1幅人脸 图像训练样本。具体包括：本发明中的总训练样本集大小为：

(a₁₍₁₎,a₁₍₂₎,...,a_1(p1),a₂₍₁₎,a₂₍₂₎,...,a_2(p2),...,a_C(1),a_C(2),...,a_C(pC))。

S2.将每个训练样本图像按照2种不同尺度分别进行4个方向上的漂移，设参数对为 (Direction,R)，其中Direction(Direction＝up,down,left,right,分别对应于上，下，左，右4个方向)， R(R＝2,4两种尺度)。得到8幅（4个方向，2种尺度）漂移过的图像，然后再利用原始图像和所 有漂移过的图像分别进一次差分运算，从而会得到8幅差分图像，保留2幅原始图像和8幅 差分图像就会得到一个由10幅图像组成的图像集（对于每幅原始训练样本图像），如图2所 示。

具体包括：参数对(Direction,R)中R的详细解释为原始图像按规定方向移动像素点的大小。

每幅原始图像生成差分图像集的方式可由以下运算方法得到： (I_left,4-I,I_up,4-I,I_down,4-I,I_right,4-I,I_left,2-I,I_up,2-I,I_down,2-I,I_right,2-I,I,I)，其中表示I原始图像，I_Direction,R表示按不同的方向和不同的尺度漂移后得到的图像。

S3.在步骤S2的基础上，对每个训练样本图像集中的每幅图像分别提取LTPBP纹理特 征描述符，如图3所示。

具体包括：对于原始LBP特征描述符编码公式为其中C表示 以它中心点对其提取LBP特征描述符，参数对(N,R)表示LBP特征描述符提取的模式，N表 示以像素点C为中心划分出的采样点（或对比的像素点），R表示采样点与中心像素点之间的 距离尺度，d表示像素点的灰度值大小，函数f定义如下：

$f\left(x\right)=\left(\begin{array}{cc}1& \mathrm{ifx}\ge T\\ 0& \mathrm{ifx}<T\end{array}\right)$

上式中T的值比0略大，如图3（a）所示。

LTPBP的全称为Local Three-Points Binary Patterns，即局部三点二值模式，对应于步骤 C1中的参数对就为(3,R)，在本发明中R分别取(R＝1,2)两个值，也就是两种模式的LTPBP， 分别为Pattern(3,1)和Pattern(3,2)。当以LBP特征描述符为参照物时，LTPBP特征描述符只是在 原LBP中选取3个采样点，那么对应的LTPBP特征描述符的编码公式就为：

LTPBP_(3,R)(C)＝f(d_C-d_up)2⁰+f(d_C-d_right)2¹+f(d_C-d_left)2²

其中d同样表示像素点的灰度值大小，（up,right,left）分别表示在C像素点正上方、正右方、 正左方的采样点，函数f定义与C1中的一样，如图3（b）所示。

此时，对步骤S2中按(I_left,4-I,I_up,4-I,I_down,4-I,I_right,4-I,I)方式得到的差分图像以Pattern(3,2) 提取LTPBP特征描述向量，而对按(I_left,2-I,I_up,2-I,I_down,2-I,I_right,2-I,I)方式得到的差分图像以 Pattern(3,1)提取LTPBP特征描述向量，因此会用到两幅原始图像。

S4.在S3步骤的基础上，重新组合训练样本子集n＝1,2,...,10， 其中i＝1,2,...,C，C的意义和S1步骤中提到的一样，为步骤 S2中在不同尺度和不同方向上变换所得差分图像对应的特征向量，即原LTPBP特征描述向 量，就为第i类目标所有图像样本在相同方向和相同尺度变换下提取到LTPBP特征描述 向量共同组合成的子样本集。

具体包括：将S3步骤中提取LTPBP后得到的特征描述向量按相同差分方式的规则重新 组合训练样本子集，假设(I_left,4-I,I_up,4-I,I_down,4-I,I_right,4-I,I_left,2-I,I_up,2-I,I_down,2-I,I_right,2-I,I,I)编号 对应为（1，2，…，10）总共10种差分方式。

根据上面的规则，对LTPBP特征描述子进行分类，重新组合训练样本子集为 $S^{\left(n\right)}=({s\left(P_1\right)}_1^{\left(n\right)},{s\left(P_2\right)}_2^{\left(n\right)},...,{s\left(P_C\right)}_C^{\left(n\right)}),$n＝1,2,...,10。

S5.对样本子集S⁽ⁿ⁾分别利用LDA算法（P.N.Belhumeur,J.P.Hespanha,D.J.Kriegman. Eigenfaces vs.fisherfaces:Recognition using class specific linear projection[J].Pattern Analysis  and Machine Intelligence,IEEE Transactions on.1997.19(7):711–720）进行学习，根据LDA算法 的特性，对于每个样本子集都会学习到一个投影矩阵W⁽ⁿ⁾，n＝1,2,...,10。

S6.根据步骤E中计算得到的投影矩阵W⁽ⁿ⁾，将对应位置的LTPBP特征描述向量v⁽ⁿ⁾投影 到更为低维的空间中变为x⁽ⁿ⁾。

具体包括：根据步骤E中学习到的投影矩阵W⁽ⁿ⁾，通过下面公式将原LTPBP特征描述向 量v⁽ⁿ⁾投影到更为低维的空间中变为x⁽ⁿ⁾：

x⁽ⁿ⁾＝W^(n)Tv⁽ⁿ⁾

S7.把x⁽ⁿ⁾按顺序串连起来就会得到本发明的特征描述向量，如代表第i类目标的第1 个差分图像集中第n幅差分图像对应的特征描述向量。

具体包括：PPC特征描述向量由x⁽ⁿ⁾串连而生成：

PPC＝[x⁽¹⁾;x⁽²⁾;...;x⁽¹⁰⁾]

其中n＝1,2,...,10,m按需求而定，如设m＝150或其它值。

为了进行对比，在运行同样的人脸识别算法LRC（I.Naseem,R.Togneri,M.Bennamoun. Linear regression for face recognition[J].Pattern Analysis and Machine Intelligence,IEEE  Transactions on.2010.32(11):2106–2112）前提下，将本发明与现有的人脸特征描述子Gray（M. A.Turk,A.P.Pentland.Face recognition using eigenfaces[C].Computer Vision and Pattern  Recognition,1991.Proceedings CVPR’91.,IEEE Computer Society Conference on.IEEE,1991, 586–591），LBP（T.Ahonen,A.Hadid,M.Pietikainen.Face description with local binary patterns: Application to face recognition[J].Pattern Analysis and Machine Intelligence,IEEE Transactions  on.2006.28(12):2037–2041），TPLBP和FPLBP（L.Wolf,T.Hassner,Y.Taigman,et al.Descriptor  based methods in the wild[C].Workshop on Faces in’Real-Life’Images:Detection,Alignment,and  Recognition.2008）进行分类正确率对比。

表1为不同特征描述子在GTFD数据库上的结果对比。

表1

从表1中的结果可以看出，本发明PPC所得的结果明显要好于其它特征描述子，最好的 识别率高达98%，而且在不同数量的训练样本情况下，这个识别率出现多次。反观Gray和 LBP，当每个目标选取的训练样本数分别为8和12时，两者所得的识别率相差比较大。对于 本发明中PPC特征的维度选取，在此实验中也可以看出特征描述子的维度降低不一定会降低 精确度，反而有可能减少干扰信息对识别的影响。

表2为不同特征描述子在CMU-PIE数据库上的结果对比。

表2

表2显示了运用LRC算法在CMU-PIE数据库上所得的识别率。从所得的结果来看，很 明显本发明PPC获得了更高的识别率。Gray和LBP可以认为已经失效了，因为它们获得的 识别率只在25%-42%之间，TPLBP获得了相对较好的识别结果。但当选取的训练样本数为9 时，PPC（500）获得的识别率高于TPLBP（500）差不多10个百分点。

表3为不同特征描述子在XMU数据库上的结果对比。

表3

表3显示了运用LRC算法在XMU数据库上所得的识别率。由于该数据库包含非常困难 的因素，因此，不同特征所得的识别率相对来说都不高。但相比还是可以很明显地看出，本 发明PPC所得的结果是最好的。LBP在此表现相对较差，另外TPLBP和FPLBP总体上表现 的也不理想。特别是当训练样本数为5时，本发明PPC（1500）取得最高识别率为75%，比 第二好的TPLBP（300）获得的识别率要高出16个百分点。