快速精确的人眼定位方法及基于人眼定位的视线估计方法

技术领域

本发明涉及机器视觉与图像处理领域，尤其涉及一种快速精确的人眼定位方法及基于人眼定位的视线估计方法。

背景技术

人眼定位技术是计算机视觉应用中的一个重要组成部分。随着计算机技术的迅速发展，人眼定位经常被用于人脸定位、虹膜识别、眼疾病检测、视线跟踪，人机交互及帮助残障人士的领域。

在虹膜识别领域中，定位人眼中心和边界是关键的一步，其直接影响到后续识别的精确度。目前，这个领域中定位人眼有两个最经典的方法，一个是Daugman提出的基于圆边界微分积分算子；另一个是Wildes提出的先对图像检测边界，再用Hough圆变换检测。这两种方法都需要图像具有较高的分辨率，并且定位人眼时间较长。

近年来，随着图像采集技术的不断发展，利用单个网络摄像头采集的图像的质量得到显著提高，因此针对普通摄像头采集的低分辨率人脸图像中的人眼定位获得了人们的高度关注。Valenti等人提出了一种基于图像等灰度值点梯度投票的眼中心定位方法；Tim等人提出了一种基于梯度均值的人眼中心定位方法；Markus等人利用改进的随机森林方法对人眼中心进行定位并取得了较高的精度和速度。然而，上述的这三种方法都只能获取人眼中心值却不包含半径，同时其中的第三种方法需要大量的人眼图片进行训练。

视线估计分为两大类，一类是基于人眼图像外观方法，如Sugano等人利用整个人眼图像作为输入信号，提取图像中的特征然后用机器学习方法确定视线。然而这种方法对头部要求比较高，不能适应大幅度的头部运动；另一类是基于人眼模型的方法，利用人眼的三维模型来确定视线方向，如基于反射光点的PCCR视线估计方法，然而这种方法需要外界红外光源的协助，也不能很好的克服大范围的头部运动。

因此，尽管上述研究者开展了大量工作，人眼定位与视线估计问题仍然没有得到很好的解决。主要原因在于人眼眼皮遮挡、光照亮度、闭眼、头部大范围运动等因素。此外，现有的人眼定位与视线估计方法很少达到实时的效果。因此，本领域 的技术人员致力于开发一种快速精确的人眼定位方法，并据此开发一种基于人眼定位的视线估计方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种快速精确的人眼定位方法及基于人眼定位的视线估计方法，构造的两类卷积核中包含了人眼中心和边界的信息，提高了精度，利用傅立叶变换提高卷积速度从而快速定位人眼以及估计人眼视线。

为实现上述目的，本发明提供了一种人眼定位方法，用于定位人脸图像中的人眼，其特征在于，包括：

步骤一、构造两类卷积核K_r与K’_r，其中r是卷积核的半径且r∈[r_min,r_max]，r_min为最小半径，r_max为最大半径；卷积核K_r为具有中心权重的卷积核，K’_r为不具有中心权重的卷积核；

步骤二、在所述人脸图像上截取眼区域图像部分I，将所述卷积核K_r与K’_r分别与所述眼区域图像部分I卷积，获得多个卷积后的图像部分I_r＝K_r*I和I′_r＝K′_r*I；以半径r递增的顺序，将I’_r+1除以I_r获得商矩阵序列D_r＝I’_r+1/I_r；获得所述人眼的中心(x_p,y_p)和半径R：

(x_p,y_p,R)＝argmax(D_r)。

进一步地，所述步骤一中构造的卷积核K_r为圆形边界的卷积核，所述卷积核中的圆形边界上的点的像素值相同且和为1，其他像素值为0；所述步骤一中构造的卷积核K’_r与卷积核K_r不同点在于其卷积核中心处带有权重；

进一步地，所述卷积核K_r的边界包括左右对称的左边界和右边界，所述左边界和所述右边界皆分布在±36°的范围内。

进一步地，所述步骤二中截取的眼区域图像部分I为正方形，所述正方形的边长为所述人脸图像的宽度的0.22倍。

进一步地，所述眼区域图像部分为对应左眼的左眼区域图像部分或对应右眼的右眼区域图像部分；以所述人脸图像的左上角的顶点的位置为(0，0)，所述左眼区域图像部分的左上角的顶点的位置为(0.58w，0.28h)，所述右眼区域图像部分的左上角的顶点的位置为(0.2w，0.28h)，所述w为所述人脸图像的宽度，所述h为所述人脸图像的高度。

进一步地，所述最大半径r_max和最小半径r_min分别为对0.2w和0.1w取整后的值，所述取整为向下取整。

进一步地，所述步骤一中构造的所述卷积核K_r与K’_r的个数皆为0.1w取整后的值，所述取整为向下取整。

进一步地，所述步骤二中对于所述眼区域图像部分中的每一个像素点获得的所述商的个数为0.1w-1取整后的值，所述取整为向下取整。

进一步地，本发明还提供了一种基于人眼定位的视线估计方法，包括前面任何一个权利要求所述的人眼定位方法，用于估计所述人脸图像中的视线方向，其特征在于，还包括

步骤三、基于人脸特征训练，通过监督下降的方法定位所述人脸图像上的特征点，所述特征点位于眼睛、眉毛、鼻子和嘴的轮廓上；

步骤四、根据所述特征点，利用POSIT算法来确定所述人脸图像中头部朝向的三个角度，所述三个角度为所述头部的左右朝向角度、上下朝向角度及旋转角度；

步骤五、将所述人眼依次取为左眼和右眼，计算所述人眼的视线方向，包括

根据所述人眼的中心与所述人眼的两个眼角的中心的偏移比例来确定所述人眼的视线相对于所述头部朝向的偏移角度，所述偏移角度包括视线的左右偏移角度和视线的上下偏移角度，其中

所述视线的左右偏移角度为：其中(x_c,y_c)表示所述人眼的两个眼角的中心，(x_p,y_p)表示所述人眼的中心，α为所述两个眼角的连线的方向向量u与所述两个眼角的中心(x_c,y_c)和所述人眼的中心(x_p,y_p)的连线的夹角，L为所述两个眼角之间的距离，γ为调整参数，

所述视线的上下偏移角度为：其中β为与所述两个眼角的连线垂直的方向向量v与所述两个眼角的中心(x_c,y_c)和所述人眼中心(x_p,y_p)的连线的夹角，H为所述人眼睁开的大小，ε为调整参数，

步骤六、计算所述人眼的视线方向，所述视线方向包括视线的左右朝向角度、视线的上下朝向角度和视线的旋转角度，所述视线左右朝向角度为所述左眼和所述右眼的所述视线的左右偏移角度的均值加上所述头部的左右朝向角度，所述视线的上下朝向角度为所述左眼和所述右眼的所述视线的上下偏移角度的均值加上所述头部的上下朝向角度，所述视线的旋转角度为所述头部的旋转角度。

进一步地，所述γ＝1.5，ε＝1.2。

在本发明的较佳实施方式中，通过在人脸图像上截取左眼区域图像部分和右眼区域图像部分，分别构造0.1w个不同半径的圆形边界的卷积核K_r与K’_r，将各个卷积核分别与左眼区域图像部分和右眼区域图像部分卷积，根据两类不同的卷积的结果获得商矩阵序列，通过搜索矩阵序列中的最大值所在位置从而获得左眼和右眼的中心，通过获取最大值对应的卷积核半径来确定人眼半径。计算卷积的过程中利用了傅立叶变换来进一步提高了人眼定位的精确度。另外，在本发明的较佳实施例中，通过监督下降的方法(Supervised Descent Method，SDM)的来检测人脸的特征点，获取人脸特征点后利用POSIT算法确定头部朝向，再利用人眼中心和两个眼角的中心的坐标的向量在两个眼角的连线方向以及它的垂线方向的投影比例 确定视线的偏转方向，最后结合头部朝向确定出最后的视线方向。

由此可见本发明的人眼定位方法采用同时考虑进人眼中心及虹膜边界的像素值对人眼进行定位，减少了眉毛、眼皮，眼镜对定位的干扰，能够快速、准确的定位出人眼的中心及半径。另外，本发明的基于人眼定位的视线估计方法可以克服大范围头部运动，快速的估计出人的视线方向。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是在一个较佳的实施例中，本发明的基于人眼定位的视线估计方法的流程图，其中包括本发明的人眼定位方法的流程。

图2-3显示了在一个较佳的实施例中，本发明的人眼定位方法采用的两类卷积核中两个半径大小为20的卷积核的示意图，其中图2是带权重值的卷积核的示意图，图3是不带权重值的卷积核的示意图。图中的小正方形代表的是一个像素，并且该像素处权重值不为0。

图4显示了在一个较佳的实施例中应用本发明的人眼定位方法的人脸图像，其为一个戴眼镜的对象，图中示出了截取左眼区域图像部分和右眼区域图像部分。

图5显示了图4中的右眼区域图像部分及人眼识别的结果。

图6显示了图4中的左眼区域图像部分及人眼识别的结果。

图7显示了在另一个较佳的实施例中应用本发明的人眼定位方法的人脸图像，其为不戴眼镜的对象，图中示出了截取左眼区域图像部分和右眼区域图像部分。

图8显示了图7中的右眼区域图像部分及人眼识别的结果。

图9显示了图7中的左眼区域图像部分及人眼识别的结果。

图10显示了本发明的人眼定位方法在公开数据集上定位的精度。

图11显示了计算一个人眼的视线方向的原理图。

图12-14显示了在第三到第五个较佳的实施例中，应用本发明的基于人眼定位的视线估计方法对人头部方向正对摄像头平面的人脸图像的视线方向的估计结果。

图15、16显示了在第六、七个较佳的实施例中，应用本发明的基于人眼定位的视线估计方法对人头部朝左边的人脸图像的视线方向的估计结果。

图17、18显示了在第八、九个较佳的实施例中，应用本发明的基于人眼定位的视线估计方法对人头部朝右边并带一定旋转的人脸图像的视线方向的估计结果。

具体实施方式

在本发明一个较佳的实施例中，对图4示出的人脸图像1(宽度为w，高度为h)，进行人眼定位，找到左眼和右眼在图像上的位置和半径。

参见图1，本发明的人眼定位方法包括以下步骤：

步骤一、构造两类卷积核，两类卷积核的区别在于卷积核的中心位置处的权重不同，卷积核K_r具有中心权重值，卷积核K’_r中心权重为0，每类卷积核都具有不同半径的卷积核。

本实施例中构造0.1w个卷积核K_r，其皆为圆形边界的卷积核，具有不同的半径r，这些半径r中的最大值r_max和最小值r_min分别为0.2w和0.1w。图2所示为K_r类卷积核中半径为20时候的卷积核，其中小正方形代表的是一个像素，并且该像素处权重值不为0，图中的细线和字母数字为注释；同样，图3所示为K’_r类卷积核中半径为20时候的卷积核。

具体地，各个卷积核的边界包括左右对称的圆弧状的左边界和右边界，左边界和右边界皆分布在±36°的范围内(如图2、3所示)，即以卷积核的中心建立直角坐标系，其左边界和右边界分别关于x轴和y轴对称，且左边界和右边界对应的圆弧的圆心角为72°。并且，将两类卷积核K_r与K’_r中的圆形边界上的点的像素值归一化，具体的为像素值相同且和为1，其他像素值设置为0，其中K_r类卷积核的中心需设置一权重值，根据实际实验，该权重值在0.1左右人眼定位效果较好，可以减弱眼皮遮挡，光线等因素带来的影响。

步骤二、将两类卷积核分别与眼区域图像卷积，以卷积核半径递增的顺序，将K’_r+1卷积核的卷积图片除以K_r卷积核卷积的图片获得多个商矩阵D_r，通过搜索商矩阵中最大值所对应的矩阵位置和卷积核半径来获得人眼的中心和半径。

本步骤的原理主要是利用虹膜边界处灰度值的大幅度变化以及人眼瞳孔的较低灰度值获得人眼的中心和半径。在人眼虹膜边界可以近似为一个圆，在该圆边界处灰度值由黑变白最激烈，将半径为r的卷积核K_r卷积眼睛区域图像后获得了虹膜边界处的像素均值与人眼中心处的灰度值的一个加权灰度值。然后将半径大1个像素(或者其他固定值的像素个数，像素步进个数越大，算法实现速度越快，同时精度会降低)的卷积核K’_r+1卷积眼区域图像获得虹膜边界处的像素均值。由于人眼的虹膜边界处灰度变化最明显，故该处的比值会最大。通过加入人眼中心的灰度值可以很大程度上眼皮弧度，眼镜及其他光线因素带来的影响(眼镜框与眼皮等因素也可以形成圆弧，从而干扰人眼定位，通过考虑进人眼中心的灰度值可以减弱这些因素的影响)。步骤二具体地包括，在人脸图像上截取眼区域图像部分I，两类卷积核K_r与K’_r分别与眼区域图像部分I卷积，获得多个卷积后的图像部分I_r＝K_r*I和I′_r＝K′_r*I；以卷积核半径r递增的顺序，将I’_r+1除以I_r获得商矩阵序列D_r＝I’_r+1/I_r；获得人眼的中心(x_p,y_p)和半径R：(x_p,y_p,R)＝argmax(D_r)。

本实施例中，在人脸图像1上截取的眼区域图像部分I可以是左眼区域图像部分20和/或右眼区域图像部分10，以对左眼和/或右眼进行区别。定义人脸图像1的左上角的顶点的位置为(0，0)，截取的左眼区域图像部分20为边长为0.22w的 正方形，其左上角的顶点的位置为(0.58w，0.28h)；截取的右眼区域图像部分10为边长为0.22w的正方形，其左上角的顶点的位置为(0.2w，0.28h)，如图4所示。

以左眼区域图像部分20为例，取一个卷积核K_r与其卷积，获得一个图像部分I_r，按r递增的顺序取卷积核K’_r的下一个卷积核K’_r+1(此处的r+1不表示r在数值上加1，而表示按上述顺序，r的序号上加1)，获得下一个图像部分I’_r+1，商D_r＝I’_r+1/I_r。若卷积核像素步进为1时精度获得最高，此时，对于左眼区域图像部分20，对应地具有0.1w-1个商D_r。满足argmax(D_r)的(x_p,y_p)即为人眼的中心，R即为人眼的半径。图6中的人眼定位显示了通过本步骤获得的左眼的位置(x_p,y_p,R)。右眼图像区域图像部分20一样，图5中的人眼定位显示了通过本步骤获得的左眼的位置(x_p,y_p,R)。

本发明中的计算皆是基于像素，因此一些计算量需要取整，具体地包括：

最大半径r_max和最小半径r_min分别为对0.2w和0.1w取整后的值，卷积核K_r与K’_r的个数皆为0.1w取整后的值，对每一个像素点获得的商的个数为0.1w-1取整后的值，以上取整皆为向下取整。

图4-6显示了应用上述的本发明的人眼定位方法，对一个戴眼镜的对象的人脸图像获得的人眼识别的结果。图7-9显示了在第二个较佳的实施例中，应用上述的本发明的人眼定位方法，对一个不戴眼镜的对象的人脸图像获得的人眼识别的结果。

通过对公开数据集BioID的测试发现采用步骤一、二对比现有方法具有精度高和速度快的优点。采用下式作为精度计算公式：

$e=\frac{\max (D_L,D_R)}{w},$

其中D为计算的人眼中心与数据库中给定人眼中心的欧式距离，D_L和D_R分别表示左眼距离和右眼距离，w为给定人眼左右眼中心之间的距离。图10显示了利用步骤一、二计算得到的人眼位置精度曲线图，其中最大误差e表示左右眼中定位误差中取较大的误差作为最终误差，其最大误差在0.5、0.10、0.25以内的图片数量百分比分别是86.8％、96.6％、99.9％，图中还给出了最小误差和平均误差，最小误差表示左右眼中定位误差中取小的误差作为最终误差，平均误差表示取左右眼误差的均值最为最终误差，本发明对BioID数据库的定位一张人眼平均时耗在1ms左右。

根据本发明的人眼定位方法获得的人眼中心，可以通过本发明的基于人眼定位的视线估计方法估计人眼的视线方向，参见图1，包括以下步骤：

步骤三、基于人脸特征训练，通过监督下降的方法定位人脸的特征点，特征点位于眼睛、眉毛、鼻子和嘴的轮廓上。

具体地为，根据Xiong等人提出的监督下降的方法(Supervised Descent  Method，SDM)定位人眼特征点，参见参考文献[1]，其中，人脸特征训练的原理为：式中d(x)表示人脸图像中坐标为x的像素点，该人脸图像具有m个像素；h(d(x))表示人脸图像中提取的脸的SIFT特征点，表示对应的手动标记的特征点。

使用监督下降的方法，通过多个训练图片求来获得训练参数R_k和b_k，argmin为最小化函数。其中i是训练图片的序号，k为迭代的次数，Δx^ki为第i张图片第k次迭代的误差，dⁱ表示第i张图片，表示第i张图片的手动标记点。

根据获得的训练参数R_k和b_k，获得人脸图像上的特征点，其位于眼睛、眉毛、鼻子和嘴的轮廓上。

步骤四、根据步骤三中获得的人脸图像上的特征点，利用DeMenthon等人提出的POSIT算法，参见参考文献[2]，来确定人脸图像中头部朝向的三个角度，该三个角度为头部的左右朝向角度、上下朝向角度及旋转角度，这三个角度分别为头部朝向与垂直于摄像头平面的垂线、摄像头平面的水平轴和摄像头平面的垂直轴的夹角。

步骤五、计算一个人眼的视线方向，人眼为左眼或右眼，包括：

根据人眼的中心(通过步骤一和二获得)与人眼的两个眼角的中心(通过步骤三获得)的偏移比例来确定人眼的视线相对于头部朝向的偏移角度，偏移角度包括视线的左右偏移角度和视线的上下偏移角度。即，头部姿势固定情况下视线只有两个自由度。

参见图11，视线的左右偏移角度为：

式中(x_c,y_c)表示人眼的两个眼角的中心，(x_p,y_p)表示人眼的中心，α为两个眼角的连线的方向向量u与两个眼角的中心(x_c,y_c)和人眼的中心(x_p,y_p)的连线的夹角，L为两个眼角之间的距离，γ为调整参数。γ可以根据实验确定，例如取为1.5。

视线的上下偏移角度为：

其中β为与两个眼角的连线垂直的方向向量v与两个眼角的中心(x_c,y_c)和人眼中心(x_p,y_p)的连线的夹角，H为人眼睁开的大小，ε为调整参数。ε可以根据实验确定，例如取为1.2。

分别对左眼和右眼计算它的偏移角度。

步骤六、计算人眼的视线方向，视线方向包括视线的左右朝向角度、视线的上下朝向角度和视线的旋转角度。其中，视线左右朝向角度为左眼和右眼的视线的左右偏移角度的均值加上头部的左右朝向角度，视线的上下朝向角度为左眼和右眼的视线的上下偏移角度的均值加上头部的上下朝向角度，视线的旋转角度为头部的旋 转角度。

图12-14显示了在第三到第五个较佳的实施例中，应用本发明的基于人眼定位的视线估计方法对人头部方向正对摄像头平面的人脸图像的视线方向估计结果。图中，人脸眼周、眉毛、鼻和口部的小白点为应用Xiong等人提出的监督下降SDM方法检测到的人脸图像中脸的特征点，左眼和右眼瞳孔处的白点为根据本发明的人眼定位方法确定的人眼的中心，原点建立在鼻头处的坐标轴为头部的朝向的坐标轴，其中白色的坐标轴指示方向为头部朝向，两眼中间的鼻梁处的白点或白线表示本发明的基于人眼定位的视线估计方法获得的视线方向。类似地，图15、16显示了在第六、七个较佳的实施例中，应用本发明的基于人眼定位的视线估计方法对人头部朝左边的人脸图像的视线方向的估计结果。图17、18显示了在第八、九个较佳的实施例中，应用本发明的基于人眼定位的视线估计方法对人头部朝右边并带一定旋转的人脸图像的视线方向的估计结果。从图中可以看出，本发明的基于人眼定位的视线估计方法可以克服大范围头部运动，准确地估计出人的视线方向。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域的技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

参考文献： 

[1]Xiong,X.,&De la Torre,F.(2013,June).Supervised descent method and its applications to face alignment.In Computer Vision and Pattern Recognition(CVPR),2013IEEE Conference on(pp.532-539).IEEE. 

[2]Dementhon,D.F.,&Davis,L.S.(1995).Model-based object pose in 25lines of code.International journal of computer vision,15(1-2),123-141。