一种基于Gabor编码的手指多模态特征融合方法

技术领域

本发明属于图像检测技术领域，特别是涉及一种基于Gabor编码的手指多模态特征融合方法。

背景技术

目前，由于单模态生物特征识别在应用中存在一定的局限性，因此无法满足人们对高精度身份识别的需求，为使手指三模态特征能够有效地进行融合，鲁棒性特征分析成为研究中的关键性问题。但由于大多数手指鲁棒性特征提取的研究方法依赖于特征点的位置信息和方向信息，并受到旋转不变性的限制，因此不能有效地解决在图像采集过程手指姿态容易改变这一问题。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于Gabor编码的手指多模态特征融合方法。

为了达到上述目的，本发明提供的基于Gabor编码的手指多模态特征融合方法包括按顺序进行的下列步骤：

1)利用尺度参数不同的Gabor滤波器对不同姿态的指纹、指静脉和指节纹的ROI图像进行Gabor滤波，分别获得8个方向，即0°,22.5°,45°,67.5°,90°,112.5°,135°和157.5°的手指三模态Gabor方向特征图像；

2)将上述8个方向的手指三模态Gabor方向特征图像的角度值分别从小到大进行排列，并将其编码，由此形成8个方向的手指三模态Gabor方向特征编码图像；

3)对上述8个方向的手指三模态Gabor方向特征编码图像进行分块而形成分块图像；

4)将上述8个方向的手指三模态Gabor方向特征编码分块图像中的像素点均看成是特征点而提取其灰度特征，由此形成灰度特征向量，过程如下：

第一步：灰度分组：首先，将每个分块图像中每个像素点的灰度值从小到大进行排序，形成一个像素点的序列；然后，将此序列根据像素点的总数均分为k个灰度分组，形成k组灰度分组图像；之后用四舍五入的方法确定每个灰度分组的边界点，并获取该边界点的灰度值；

第二步：计算每个像素点的灰度特征向量：以每个灰度分组图像中的每个像素点为中心，比较其对称邻点的灰度值大小，若某个像素点的灰度值大于其对称邻点的灰度值，则为1；否则为0，由此形成4位二进制码的灰度特征向量，然后将4位二进制码向量转化为16位二进制码灰度特征向量；

5)将上述每个灰度分组图像中每个像素点的灰度特征向量叠加，形成每个灰度分组图像的灰度特征直方图，再将每个灰度分组图像的灰度特征直方图串联形成分块图像的灰度特征直方图，然后，将手指三个单模态的所有分块图像的灰度特征直方图分别通过串联的方式融合而形成三个单模态灰度特征直方图，最后将三个单模态图像的灰度特征直方图串联融合形成手指三模态灰度特征直方图；

6)通过计算两幅待匹配的手指ROI图像的三模态灰度特征直方图相交系数的方法来判断这两幅手指ROI图像是否匹配。

在步骤1)中，所述的Gabor滤波器表达式为：

$>G(x,y)=\frac{1}{2{\mathrm{\pi \sigma }}^2}\exp \{-\frac{1}{2}(\frac{x_{{\theta }_k}^2}{{\sigma }_x^2}+\frac{y_{{\theta }_k}^2}{{\sigma }_y^2})\}·\exp \left(\hat{j}2{\mathrm{\pi f}}_k{x}_{{\theta }_k}\right)---\left(1\right)$>

其中，σ代表Gabor滤波器的尺度，σ＝4,5,6；θ_k表示第k个方向的角度值。

在步骤2)中，所述的将上述8个方向的手指三模态Gabor方向特征图像的角度值分别从小到大进行排列，并将其编码，由此形成8个方向的手指三模态Gabor方向特征编码图像的方法是：首先，将上述8个方向的手指三模态Gabor方向特征图像的角度值分别从小到大排列，然后对上述图像中相同位置的像素点的灰度值分别进行比较，分别将最大灰度值对应的手指三模态Gabor方向特征图像的方向作为该像素点的方向特征，并按照下述编码方法进行编码：0°编码为0，22.5°编码为1，45°编码为2，67.5°编码为3，90°编码为4，112.5°编码为5，135°编码为6，157.5°编码为7；由此形成8个方向的手指三模态Gabor方向特征编码图像。

在步骤4)中，所述的获取边界点灰度值的公式为：

$>t_i=I\left(X_{s_i}\right):I_{min}\le t_1\le ...\le t_{k-1}\le I_{max}.---\left(2\right)$>

其中，$>s_i=\{\begin{array}{c}\frac{n}{k}i,i=1,2,...,k-1\\ 1,i=0\end{array},$>表示每组的边界点，t_i表示第i个灰度分组的边界值，I_min和I_max分别表示图像像素点的最小灰度值和最大灰度值。

在步骤4)中，所述的将4位二进制码的灰度特征向量转化为16位二进制码的灰度特征向量的公式为：

其中，i表示第i个像素点，m表示该像素点最近邻点的对数。

在步骤6)中，所述的通过计算两幅待匹配的手指ROI图像的三模态灰度特征直方图相交系数的方法来判断这两幅手指ROI图像是否匹配的方法是：首先利用下面的相交系数表达式计算两幅待匹配的手指ROI图像的三模态灰度特征直方图的相交系数，若计算出的相交系数>相似性决策阈值T，则表示这两幅手指ROI图像相似，即这表示这两幅手指ROI图像匹配；若其相交系数≤T，则判定这两幅手指ROI图像不匹配。相似性决策阈值T是手指ROI图像匹配结果中错误拒绝率为0，且错误允许率最低时所是对应的阈值点。

相交系数的表达式为：

$>sim(m_1,m_2)=\frac{\underset{l=1}{\overset{L}{\Sigma }}min[H_{m_1}\left(l\right),H_{m_2}\left(l\right)]}{\underset{l=1}{\overset{L}{\Sigma }}{H}_{m_1}\left(l\right)}---\left(4\right)$>

式中：m₁和m₂分别表示两幅待匹配的手指ROI图像，H_m1(i)和H_m2(i)分别代表两幅待匹配的手指三模态ROI图像的灰度特征直方图，L表示手指三模态图像直方图的维数。

本发明提供的基于Gabor编码的手指多模态特征融合方法有效地解决了在手指图像采集过程中手指姿态易变的问题，并且手指多模态识别的运算速度高、识别率高。

附图说明

图1为8个方向的手指三模态Gabor方向特征图；其中(a)为指纹；(b)为指静脉；(c)为指节纹；

图2为8个方向的手指三模态Gabor方向特征编码图；其中(a)为指纹；(b)为指静脉；(c)为指节纹；

图3为8个方向的手指三模态Gabor方向特征编码图的分块图像；其中(a)为指纹；(b)为指静脉；(c)为指节纹；

图4为某一像素点的8个最近邻点示意图。

图5为8个方向的手指三模态Gabor方向特征编码分块图像的灰度特征直方图；其中(a)为指纹，(b)为指静脉，(c)为指节纹；

图6为8*8分块图像不同灰度分组的识别性能比较；

图7为不同分块图像的识别性能比较。

图8为不同姿态的指静脉ROI图像。

图9三种特征提取方法的识别性能比较。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于Gabor编码的手指多模态特征融合方法进行详细说明。

本发明提供的基于Gabor编码的手指多模态特征融合方法包括按顺序进行的下列步骤：

1)利用尺度参数不同的Gabor滤波器对不同姿态的指纹、指静脉和指节纹的ROI图像进行Gabor滤波，分别获得8个方向的手指三模态Gabor方向特征图像；

由于指纹、指静脉和指节纹图像分别具有脊线结构、管线结构和痕线结构，纹路信息比较丰富，因此本步骤采用Gabor滤波的方法提取手指三模态的纹路的方向特征。根据手指三模态图像纹理不同的特点，利用尺度参数不同(σ＝4,5,6)的Gabor滤波器对不同姿态的指纹、指静脉和指节纹的ROI(regionofinterest感兴趣区域)图像进行Gabor滤波，Gabor滤波器的表达式如式(1)所示，分别获得8个方向(0°,22.5°,45°,67.5°,90°,112.5°,135°和157.5°)的手指三模态Gabor方向特征图像，如图1所示。

$>G(x,y)=\frac{1}{2{\mathrm{\pi \sigma }}^2}\exp \{-\frac{1}{2}(\frac{x_{{\theta }_k}^2}{{\sigma }_x^2}+\frac{y_{{\theta }_k}^2}{{\sigma }_y^2})\}·\exp \left(\hat{j}2{\mathrm{\pi f}}_k{x}_{{\theta }_k}\right)---\left(1\right)$>

其中，σ代表Gabor滤波器的尺度，θ_k表示第k个方向的角度值。

2)将上述8个方向的手指三模态Gabor方向特征图像的角度值分别从小到大进行排列，并将其编码，由此形成8个方向的手指三模态Gabor方向特征编码图像；

首先，将上述8个方向的手指三模态Gabor方向特征图像的角度值从小到大排列，然后对上述图像中相同位置的像素点的灰度值分别进行比较，将最大灰度值对应的手指三模态Gabor方向特征图像的方向作为该像素点的方向特征，并按照下述编码方法进行编码：0°编码为0，22.5°编码为1，45°编码为2，67.5°编码为3，90°编码为4，112.5°编码为5，135°编码为6，157.5°编码为7；比如：若某一8个手指单模态方向特征图像上某个相同位置的像素点在45°方向特征图像上的灰度值最大，则将该像素点在手指单模态Gabor方向特征编码图像中编码为2，由此形成8个方向的手指三模态Gabor方向特征编码图像，如图2所示。

3)对上述8个方向的手指三模态Gabor方向特征编码图像进行分块而形成分块图像；

由于MRRID(多支持区域旋转不变性特征)只适用于描述局部图像，本步骤将上述8个方向的手指三模态Gabor方向特征编码图像进行分块，在本发明中，将上述8个方向的手指三模态Gabor方向特征编码图像分别分成8×8块，分块示意图如图3所示。

4)将上述8个方向的手指三模态Gabor方向特征编码分块图像中的像素点均看成是特征点而提取其灰度特征，由此形成灰度特征向量；

由于上述8个方向的手指三模态Gabor方向特征编码分块图像较小，若寻找特征点会造成细节信息的丢失，因此，本步骤对MRRID进行了改进，将上述每一个分块图像中的像素点均看成是特征点而提取其灰度特征，由此形成灰度特征向量，过程如下：

第一步：灰度分组。首先，将每个分块图像中每个像素点的灰度值从小到大进行排序，形成一个像素点的序列；然后，将此序列根据像素点的总数均分为k个灰度分组，形成k组灰度分组图像；之后用四舍五入的方法确定每个灰度分组的边界点，并获取该边界点的灰度值，如式(2)所示：

$>t_i=I\left(X_{s_i}\right):I_{min}\le t_1\le ...\le t_{k-1}\le I_{max}.---\left(2\right)$>

其中，$>s_i=\left(\begin{array}{c}\frac{n}{k}i,i=1,2,...,k-1\\ 1,i=0\end{array}\right),$>表示每组的边界点，t_i表示第i个灰度分组的边界值，I_min和I_max分别表示图像像素点的最小灰度值和最大灰度值。

第二步：计算每个像素点的灰度特征向量。由于每个像素点均有8个最近邻点，因此本发明以每个灰度分组图像中的每个像素点为中心，比较其对称邻点的灰度值大小，比如：和是像素点i的一对对称邻点，其中，为像素点i的标号为1的最近邻点，为像素点i的标号为5的最近邻点，如图4所示，若点的灰度值大于点的灰度值，则为1；否则为0，由此形成4位二进制码的灰度特征向量，然后利用公式(3)将上述4位二进制码的灰度特征向量转化为16位二进制码的灰度特征向量。

其中，i表示第i个像素点，m表示该像素点最近邻点的对数。

5)将上述每个灰度分组图像中每个像素点的灰度特征向量叠加，形成每个灰度分组图像的灰度特征直方图，再将每个灰度分组图像的灰度特征直方图串联形成分块图像的灰度特征直方图，然后，将手指三个单模态的所有分块图像的灰度特征直方图分别通过串联的方式融合而形成三个单模态灰度特征直方图，利用该直方图表示单模态图像的GLGF特征，若每个8个方向的手指单模态Gabor方向特征编码图像的分块个数为N，则单模态灰度特征直方图维数为N*k*16。在此处，假设N＝8×8，k＝5，则三个单模态对应的第一行第一列的分块图像的灰度特征直方图如图5所示。最后，将三个单模态图像的灰度特征直方图串联融合形成手指三模态灰度特征直方图。

另外，根据公式(2)可知，灰度分组个数k的取值与分块图像的大小有关，即分块图像中包含的像素点个数不同，k的最佳取值也有所不同。因此，本发明通过ROC(接受特性曲线)曲线确定最佳灰度分组个数k和最佳分块个数N，使得手指三模态灰度特征直方图匹配精确度最高。首先，我们假设N＝8×8，则由图6可知，当k＝7时，手指三模态灰度特征直方图匹配精度最高；根据前一个结果，假设k＝7，由图7可知，当N＝8×8时，手指三模态灰度特征直方图匹配精度最高。根据以上结果可知，当N＝8×8，k＝7时，本发明方法的识别性能最佳。

6)通过计算两幅待匹配的手指ROI图像的三模态灰度特征直方图相交系数的方法来判断这两幅手指ROI图像是否匹配；

利用式(4)，通过计算两幅待匹配的手指ROI图像的三模态灰度特征直方图相交系数的方法来判断这两幅手指ROI图像是否匹配，直方图的相交系数越大，匹配的可能性越大。

$>sim(m_1,m_2)=\frac{\underset{l=1}{\overset{L}{\Sigma }}min[H_{m_1}\left(l\right),H_{m_2}\left(l\right)]}{\underset{l=1}{\overset{L}{\Sigma }}{H}_{m_1}\left(l\right)}---\left(4\right)$>

式中：m₁和m₂分别表示两幅待匹配的手指ROI图像，H_m1(i)和H_m2(i)分别代表这两幅待匹配的手指ROI图像的三模态灰度特征直方图，L表示手指三模态灰度特征直方图的维数。

在上述图像匹配过程中，首先计算两幅待匹配的手指ROI图像的三模态灰度特征直方图的相交系数。若计算出的相交系数>T(相似性决策阈值)，则表示这两幅手指ROI图像相似，即这表示这两幅手指ROI图像匹配；若其相交系数≤T，则判定这两幅手指ROI图像不匹配。相似性决策阈值T是手指ROI图像匹配结果中错误拒绝率为0，且错误允许率最低时所对应的阈值点。

本发明人基于上述方法做了两组实验。在这两组实验中，手指三模态的数据库均是由自制系统采集得到的。本数据库包含300个不同个体，每个个体包含10幅指纹ROI图像、10幅指静脉ROI图像和10幅指节纹ROI图像。总共9000幅手指三模态ROI图像。且每个个体的手指单模态图像的姿态各不相同。由于数据库中的手指单模态图像的分辨率会存在差异，因此将自制数据库中的指纹、指静脉、指节纹图像的分辨率分别调整为152*152,88*200,88*200。实验环境为PC机，MatlabR2010a环境下完成。

在第一组实验中，从自制的数据库中选择四幅手指静脉ROI图像，如图8所示。该四幅指静脉ROI图像均属于同一个人，且姿态各不相同。

在本实验中，我们采用下述通过直方图表示的三种特征提取方法，验证本发明提出的GLGF特征提取方法的旋转不变特性。

1.Gabor方向特征编码：首先，通过步骤1和步骤2的叙述，形成了4幅手指静脉的Gabor方向特征编码图像；然后，通过步骤3的叙述，将4幅手指静脉的Gabor方向特征编码图像分成8×8块，再通过传统的灰度直方图表示方法描述每一个Gabor方向特征编码分块图像，传统的直方图表示方法是：统计Gabor方向特征编码图像从灰度值0到255的像素点的个数，在每个灰度值处叠加形成直线，构成4幅手指静脉的Gabor方向特征编码分块图像的灰度直方图；最后将每个4幅手指静脉的Gabor方向特征编码分块图像的灰度直方图串联形成4幅手指静脉的Gabor方向特征编码图像的直方图。

2.改进的MRRID特征：首先，通过步骤3的叙述，将4幅手指静脉ROI图像分成8×8块；然后，根据步骤4的叙述，通过改进的MRRID描述每一个手指静脉ROI分块图像，形成每个手指静脉ROI分块图像的改进的MRRID特征直方图；最后将每个手指静脉ROI分块图像的改进的MRRID特征直方图串联形成手指静脉ROI图像的改进的MRRID特征直方图。

3.GLGF特征：首先，通过步骤1和步骤2的叙述，形成了4幅手指静脉的Gabor方向特征编码图像；然后，通过步骤3的叙述，将4幅手指静脉的Gabor方向特征编码图像分成8×8块，再通过步骤4中叙述的改进的MRRID描述每一个Gabor方向特征编码分块图像，形成每个Gabor方向特征编码分块图像的改进的MRRID特征直方图；最后将每个Gabor方向特征编码分块图像的改进的MRRID特征直方图串联形成Gabor方向特征编码图像的改进的MRRID特征直方图，即本发明提出的GLGF特征直方图。

根据如上所述的特征直方图形成过程，将四幅指静脉ROI图像的特征直方图分别进行匹配，比较其相交系数，如表1所示。从表1的数据可以看出，GLGF特征提取方法具有较好的旋转不变特性，该方法在一定程度上解决了手指姿态多变的问题。

表1直方图相似系数

在第二组实验中，我们对GLGF特征提取方法、步骤1和步骤2中叙述的Gabor方向特征编码方法、步骤4中叙述的改进的MRRID特征提取方法的识别性能做了对比，ROC(接受特性曲线)曲线如图9所示。表2为这三种特征提取方法的匹配时间以及相应的EER(错误允许率与错误拒绝率相等处的识别率，在本文中简称等误率)。从表2的不同特征提取方法的匹配时间可以看出GLGF特征提取方法匹配时间较短。结合图9和表2的实验结果可知，GLGF特征提取方法不仅在一定程度上解决了手指姿态多变的问题，具有良好的匹配效果，而且提高了匹配效率，具有一定的可行性。

表2不同描述符的识别性能