首页> 中国专利> 人眼检测方法和人眼检测设备

人眼检测方法和人眼检测设备

摘要

本发明提供一种人眼检测方法,包括:人脸区域确定步骤,在输入的图像中确定人脸区域;人眼范围确定步骤,在人脸区域中确定人眼范围;以及人眼定位步骤,基于主动形状模型,以人眼范围确定与人眼相应的特征点的初始位置,通过拟合确定人眼位置。本发明还相应地提供一种人眼检测设备、及一种人眼检测系统。

著录项

  • 公开/公告号CN102799888A

    专利类型发明专利

  • 公开/公告日2012-11-28

    原文格式PDF

  • 申请/专利权人 株式会社理光;

    申请/专利号CN201110140349.1

  • 发明设计人 钟诚;刘童;师忠超;王刚;

    申请日2011-05-27

  • 分类号G06K9/62;

  • 代理机构北京市柳沈律师事务所;

  • 代理人丁辰

  • 地址 日本东京都

  • 入库时间 2023-12-18 07:26:32

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2015-03-11

    授权

    授权

  • 2013-01-23

    实质审查的生效 IPC(主分类):G06K9/62 申请日:20110527

    实质审查的生效

  • 2012-11-28

    公开

    公开

说明书

技术领域

本发明涉及一种人眼检测方法和人眼检测设备。

背景技术

随着人脸关键点定位技术的应用需求越来越大,人眼检测技术的重要性 也越来越突显。人眼检测技术可以作为图像处理和视频分析领域多种应用项 目的基础性工作,比如人脸识别、人脸图像检索以及驾驶员疲劳状态检测等 等。

常规人眼检测依赖于以下现象,即当用近红外光源照射人脸时,通常人 脸反白光,而人眼处形成黑洞,因此通过比较图像中各处图像块的像素值, 就可以判断出人眼的大致区域。

例如,专利文件US 20060077558A1提出了一种用来确定瞳孔准确位置 的人眼检测设备。该设备包括:图像采集单元,用来采集人眼图像;以及瞳 孔检测单元,用来确定瞳孔在图像中的位置。该技术的实施依赖于特定的环 境,具体是针对在封闭环境中以光源照射人脸的情况下所得的人脸图像进行 人眼检测。因此需要额外的硬件装备,严重限制其应用范围。

发明内容

鉴于现有技术中存在的上述问题而做出本发明。

根据本发明实施例的一个方面,提出了一种人眼检测方法,包括:人脸 区域确定步骤,在输入的图像中确定人脸区域;人眼范围确定步骤,在人脸 区域中确定人眼范围;以及人眼定位步骤,基于主动形状模型,以人眼范围 确定与人眼相应的特征点的初始位置,通过拟合确定人眼位置。

根据本发明实施例的另一个方面,提出了一种人眼检测设备,包括:人 脸区域确定装置,在输入的图像中确定人脸区域;人眼范围确定装置,在人 脸区域中确定人眼范围;以及人眼定位装置,基于主动形状模型,以人眼范 围确定与人眼相应的特征点的初始位置,通过拟合确定人眼位置。

按照本发明的实施例,通过一种包括人眼粗定位模块和人眼精定位模块 的混合结构,由粗到细地实现快速准确的人眼定位。

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述,将更好 地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

附图说明

图1示出按照本发明实施例的人眼检测方法的总体流程图。

图2示出本发明实施例可以采用的用于检测人脸区域的级联检测器的示 意图。

图3包括图3A、图3B、图3C,示出了基于图像块灰度和确定人眼范围 的方法的示意说明图,图3A示出人脸图像的示例,图3B示出根据人眼和人 脸的拓扑关系确定的人眼搜索范围的示意,图3C示出基于图像块灰度和确定 人眼范围的示意。

图4示出本发明实施例可以采用的用于检测人眼范围的级联检测器的示 意图。

图5示出实施利用级联检测器确定人眼范围的方法的示意图。

图6示出用于检测人眼范围的级联检测器所采用的Haar特征示例,其中, 图6A示出线性Haar特征示例,图6B示出边缘Haar特征示例,图6C示出 中心环绕Haar特征示例。

图7示意性地示出在人脸图像中确定人眼范围的结果示例。

图8包括图8A和图8B,示出示意性地示出主动形状模型的实现示例, 其中,图8A示意性地示出在人脸图像上所标注的特征点集合的位置,图8B 示出其中某个特征点更新时的搜索范围。

图9示出按照本发明实施例的人眼检测设备的总体框图。

图10示出按照本发明实施例的人眼检测系统的总体框图

图11包括图11A和图11B,示意性地对比出在不确定人眼范围的情况下 和确定人眼范围的情况下的最终人眼定位精度,图11A所示为不进行人眼粗 定位的情况下的人眼定位结果,图11B所示为进行人眼粗定位的情况下的人 眼定位结果。

具体实施方式

下面结合附图描述本发明实施例。

图1示出按照本发明实施例的人眼检测方法的总体流程图。如图1所示, 该人眼检测方法可以包括:人脸区域确定步骤S100,在输入的图像中确定人 脸区域;人眼范围确定步骤S200,在人脸区域中确定人眼范围;以及人眼定 位步骤S300,基于主动形状模型,以所述人眼范围确定与人眼相应的特征点 的初始位置,通过拟合确定人眼位置。

本发明实施例所处理的图像可以通过各种已知输入技术来输入,诸如从 各种存储设备读入、从网络获取、或利用扫描仪扫描得到等等,经过处理所 得到的结果可以通过各种已知输出技术来输出,诸如存储到各种存储设备、 经由网络输出、或利用打印机打印出等等。

在人脸区域确定步骤S100,可以利用各种已知的人脸检测技术来实现在 输入的图像中确定人脸区域。图2示出本发明实施例可以采用的用于检测人 脸区域的级联检测器的示意图。例如,利用由图2所示的多层检测单元构成 的级联检测器来检测人脸区域,其中1到n各个层次的检测单元构成级联结 构,输入的图像从第1层次的检测单元开始,逐步判断是否包含人脸区域, 如果在某个层次的检测单元被判断为非,则该图像归于非人脸一类,图像经 过所有层次的检测单元都判断为是人脸图像之后,输出人脸区域。从1到n 各个层次的检测单元可以利用Adaboost算法进行训练,用于在检测中去除图 像中的一部分非人脸区域。该人脸检测器也可由其它类型的检测器构成,如 支持向量机检测器(或者称分类器)或者神经网络检测器(或者称分类器)。 本领域技术人员可以理解,为了便于此后的人眼检测过程,可以将所获得的 人脸区域归一化到同一尺寸,成为统一尺寸的人脸图像,用于此后的处理。

在人眼范围确定步骤S200,可以采用多种途径来在人脸图像中初步、粗 略地确定人眼的大致范围。例如,作为可以普遍适用的手段,在人眼范围确 定步骤S200中,可以按照人眼和人脸的拓扑结构信息在人脸区域中初步限定 人眼范围,在初步限定的人眼范围中,基于图像块灰度和算法,将灰度和最 小的图像块作为人眼范围。

图3包括图3A、图3B、图3C,示出了上述基于图像块灰度和确定人眼 范围的方法的示意说明图,图3A示出人脸图像的示例,图3B示出根据人眼 和人脸的拓扑关系确定的人眼搜索范围的示意,图3C示出基于图像块灰度和 确定人眼范围的示意。

针对例如图3A所示的人脸图像,首先根据人类通常的人眼与人脸的大 致位置关系在人脸图像中划定两个区域R1和R2,初步限定人眼范围,如图 3B所示。然后,在区域R1和R2中根据人眼区域的通常尺寸划定一滑动局 部图像块,在区域R1和R2中逐步移动该局部图像块,当其中像素的灰度和 最小时的局部图像块确定为人眼范围r1和r2,如图3C所示。

此基于图像块灰度和确定人眼范围的方法对于所有情况的人脸区域都适 用,并且可以在很短的时间内得到人眼大致位置。

上述基于图像块灰度和确定人眼范围的方法属于利用纹理灰度信息对人 眼范围进行粗略定位的方法,然而,本领域技术人员可以理解,可用的方法 不局限于灰度信息,还可以采用纹理的梯度信息或者统计分布信息对人眼范 围进行大致定位。此方法可以根据人眼在人脸的相对位置,在有限的区域内 快速进行人眼大致定位,而且由于比较诸如灰度的纹理特征,因此可以检测 到一个区域作为人眼范围。而且,本领域技术人员可以理解,确定人眼范围 不限于上述手段,也可以采用下文描述的利用Adaboost人眼检测器的方法。

在人眼范围确定步骤S200,除上述方法外,还可以利用由多个层次的检 测单元级联而成的级联检测器,通过逐级地利用检测单元在人脸区域内对滑 动子窗口进行扫描得到人眼候选范围,将在最后级的检测单元得到的人眼候 选范围确定为人眼范围。

图4示出本发明实施例可以采用的用于检测人眼范围的级联检测器的示 意图。在此采用的图4所示的级联检测器可以类似于在上述人脸区域确定步 骤S100中采用的如图2所示的级联检测器,当然,检测对象不同,采用的特 征也就不同,然而,技术原理和训练方法可以是类似的,可以相互借鉴,在 人眼范围确定步骤S200中采用的级联检测器的各级检测单元可以利用正样 本和负样本通过Adaboost算法训练得到。

图5示出实施利用级联检测器确定人眼范围的方法的示意图。所用的级 联检测器例如是Adaboost级联检测器。依据人类的人眼和人脸的拓扑结构知 识,人眼位于人脸的上半部,因此,人眼区域扫描时将只在该上半部人脸区 域进行多尺度多位置的搜索。

图6示出用于检测人眼范围的级联检测器所采用的Haar特征示例,其中, 图6A示出线性Haar特征示例,图6B示出边缘Haar特征示例,图6C示出 中心环绕Haar特征示例。可以采用的Haar特征不限于图6所示,本领域技 术人员可以理解,其它Haar特征模板例如图6所示的模板的各种组合也可以 应用于本发明的实施例。Haar特征表示局部纹理的对比信息。除Haar特征之 外,可以用于本发明实施例的特征还能够涵盖各种满足实时性要求的局部纹 理描述符,诸如原始图像的积分图像、及图像的梯度信息等等。

如上所述,图4所示的级联检测器的各级的检测单元例如是利用Adaboost 算法训练得到的Adaboost检测单元。如图5所示,Adaboost检测单元在上半 部人脸区域内,从较小尺度的矩形框开始,在x轴和y轴分别按照预定步长 移动,遍历整个上半部人脸区域,然后放大矩形框尺度,重复上述过程。

该检测单元通过在人脸区域内对多尺度多位置的子窗口(矩形框)进行 扫描,得到部分人眼候选区域进行后续处理。在每次矩形框处于某个位置时, 矩形框范围内的图像框作为图4中待处理的“图像”经历各层次检测单元的 检测,Adaboost检测单元利用诸如图6所示的Haar特征,检测矩形框范围内 图像框的Haar特征在如何程度上符合所训练的人眼样本的情况,据此来判断 其是否能够通过该层次的人眼的检测。每级的Adaboost检测单元可以去除图 像中的一部分非人眼区域,因而可以通过所有层次检测单元的图像区域认为 是人眼范围。

上述利用级联检测器确定人眼范围的方法属于基于分类器对人眼进行定 位的方法,本领域技术人员可以理解,在此可用的方法可以不局限于Adaboost 分类策略,还可以利用支持向量机或者神经网络等多种分类器手段。

基于级联检测器检测人眼范围的方法通常可以在很短的时间内实现人眼 范围的确定,但是缺点在于需要复杂的分类器训练过程,而且有时候该检测 器可能检测不到人眼区域。

考虑到上述不同方法的特点,还可以将人眼范围确定步骤S200设计如 下。如图1所示,先在步骤S220,采用前述的利用级联检测器确定人眼范围 的方法,即,利用由多个层次的检测单元级联而成的级联检测器,通过逐级 地利用检测单元在人脸区域内对滑动子窗口进行扫描得到人眼候选范围,将 在最后级的检测单元得到的人眼候选范围确定为人眼范围。

然而,如果在步骤S230,发现检测器检测不到人眼区域,不可确定人眼 范围,则在步骤S240,作为备选策略,利用前述的基于图像块灰度和确定人 眼范围的方法。即,如果无法通过所述级联检测器确定人眼范围,则按照人 眼和人脸的拓扑结构信息在人脸区域中初步限定人眼范围,在初步限定的人 眼范围中,基于图像块灰度和算法,将灰度和最小的图像块作为人眼范围。

图7示意性地示出在人脸图像中确定人眼范围的结果示例。所示矩形框 Q1为利用Adaboost级联检测器检测人眼范围。所示矩形框Q2和Q3为基于 图像块灰度和确定人眼范围的方法确定的人眼范围。尽管Adaboost检测器在 某些人脸区域检测不到人眼位置,例如未检测出图7所示人脸的右眼,然而 图像块灰度和方法可以作为备选手段大致确定人眼范围。

不论在人眼范围确定步骤S200通过何种途径获得人眼范围,关于人眼范 围的信息可以用来作为此后人眼定位步骤S300中的主动形状模型的初始参 数,该主动形状模型最终收敛时的位置可以作为人眼定位的结果输出。

图8包括图8A和图8B,示出示意性地示出主动形状模型的实现示例, 其中,图8A示意性地示出在人脸图像上所标注的特征点集合的位置,图8B 示出其中某个特征点更新时的搜索范围。其中,所述主动形状模型为通过样 本训练而得到的人脸的多个特征点的属性的集合,其中所述多个特征点至少 包括与人眼相对应的点,所述属性至少包括相应点的位置信息、位置约束条 件和纹理信息。

首先要利用样本训练得到主动形状模型,表现为人脸上具有代表性的一 系列点(称为特征点)的属性集合,图8A中示意性地示出了完成训练之后 在人脸上标注的一系列特征点,下面以其中某个Pi点为例进行说明。多个特 征点中至少包括与人眼相对应的点,Pi点即是其中之一,每个特征点都具有 多个属性。属性可以大体上分为两类,一类是与位置有关的参数,至少包括 X(横坐标),Y(纵坐标),s(尺度信息),θ(旋转角度信息)以及b(空 间变化信息),对于所有特征点的位置信息进行归一化处理,图8A中所示的 特征点Pi(坐标(Xi,Yi)),可以表示为(Xi,Yi,s,θ,bi),其中s和θ特征点集 合的参数,各个特征点的s和θ相同,其它参数取决于各个特征点而可能不 同。另一类属性是特征点周围纹理分布的匹配模板,该匹配模板可采用多种 纹理特征获取,如一维的梯度特征或者二维的局部二值模型(Local Binary  Pattern,LBP)特征。在训练过程中,还可以由全部特征点的X、Y坐标构成 位置向量,对多幅样本图像的位置向量构成的矩阵进行主成分分析,保存最 大的若干个(例如m个)特征值λ及其对应的特征向量,作为后续拟合时的 形状限制条件,即训练所得的一组特征点的位置约束条件。

在经过训练得到主动形状模型之后,可以开始对于已经确定人眼范围的 待处理图像的拟合过程,利用人眼定位步骤S300进行人眼定位。

人眼定位步骤S300可以包括:初始位置确定步骤,可以将训练得到的人 脸的多个特征点中与人眼相应的特征点匹配至所述人眼范围的中心点,作为 与人眼相应的特征点的初始位置,所述多个特征点中的其它特征点以保持所 述多个特征点拓扑关系的方式调整位置;更新步骤,可以根据所述多个特征 点的各个特征点的纹理信息,在各个特征点的位置邻域中寻找纹理信息最接 近的点,把所述各个特征点的位置更新为该点位置;修正步骤,可以利用所 述多个特征点中各个特征点的位置约束条件对该特征点的更新后的位置进行 修正;判断步骤,可以根据特征点集合中各个特征点的修正后的位置与更新 前的位置的关系判断与人眼相应的特征点的修正后的位置是否是人眼位置。

为了进行拟合过程,首先在初始位置确定步骤中确定各个特征点的初始 位置,也就是将训练所得的特征点集合在待处理的人脸图像中放置在初始位 置,由于已经大致确定出人眼的范围,因此可以以人眼范围中点为特征点中 与人眼相对应的特征点的初始位置。由于从确定的人眼范围内开始处理,因 此在此后的拟合过程中,可能获得更快的收敛。

例如,如果在人眼范围确定步骤S200中确定的人眼范围为矩形,则可以 以矩形的对角线交点为与人眼相应的特征点(也称为“人眼特征点”)的初始 位置。在待处理图像的人眼范围中点之间的距离与训练所得的人眼特征点之 间的距离不一致的情况下,无法吻合,此时可以将两个人眼特征点分别移动 相等的距离达到人眼范围中点,并按照各个特征点之间拓扑关系不变、相对 位置不变,调整该组特征点的s和θ参数,从而调整其它各个特征点的位置。

然后,从更新步骤开始,进入拟合的迭代过程。在位置更新时,可以采 用特征点周围的二维纹理统计信息,例如采用局部二值模特征作为纹理模板 进行匹配,以此在每一步位置更新时找到特征点在当时的最优位置。各个特 征点的纹理信息可以为局部二值模板,纹理信息最接近的点为相应特征点邻 域内的各点中与该特征点的局部二值模板距离最近的点。纹理特征并不局限 于二维纹理统计信息,也可以利用诸如一维的梯度信息或者二维的纹理灰度 信息,均可以实现位置更新。

在拟合过程中,对于每个特征点,每次在其邻域进行搜索,选出与该特 征点纹理模板最为接近的位置作为该特征点的新位置。例如,如图8B所示, 对于特征点Pi,在其一定大小的邻域(如图8B中所示矩形窗口)内遍历所 有邻域点,计算出每个邻域点的纹理向量(即作为特征点属性的纹理信息所 构成的向量),然后将这些纹理向量与该特征点在训练时得到的纹理向量进行 匹配,匹配距离最近的邻域点即为该点的新位置。将特征点集合中所有特征 点都进行位置更新后,对该集合的参数进行更新。其中,每个特征点的纹理 向量可以利用多种纹理特征,例如一维梯度特征、二维LBP特征、或者二维 梯度特征等等。

当对集合中所有特征点的位置信息更新完毕后,进入上述修正步骤。可 以参照非专利文件T.F.Cootes,D.Cooper,C.J.Taylor and J.Graham,″Active  Shape Models-Their Training and Application.″Computer Vision and Image  Understanding.V01.61,No.1,Jan.1995,pp.38-59.中所记载的手段来进行此修 正过程。

在修正步骤中,利用每个特征点的位置约束条件对其新位置进行修正。 各个特征点的b是体现空间变化信息的一个向量,例如,对于点Pi,当其位 置更新后,新位置与原位置的Xi和Yi坐标的变化值ΔXi和ΔYi构成一个向 量,将该向量投影到该组特征点的前述m个特征向量上,得到m个投影值构 成m维的bi向量,由于各个特征向量分别对应于一个特征值,因此bi向量 的各个维度分别对应于一个特征值λ。此时,判断各维的bi分量是否超出相 应的限制,例如判断是否,其中bi(k)为bi向量的第k维分量,λk 为与之对应的特征值。如果该bi分量超出相应的限制范围,则将该bi值分量 设定为该限制范围的上限值。从而根据修正后的bi向量调整Pi点的ΔXi和 ΔYi值,在根据调整后的ΔXi和ΔYi值调整该点的新位置坐标。

本领域技术人员可以理解,判断b参数是否超出限制,也可以采用其它 标准,例如判断是否或。通过修正过程使得特征点集合 可以基本保证原本的相对空间结构,以免在拟合过程中造成特征点集合的空 间形状出现异常,以致产生噪音点。

然后,在判断步骤,利用特征点集合的新位置信息与原位置信息来判断 与人眼相对应的特征点的位置是否可以认为是人眼位置。具体是,如果新位 置信息与原位置信息之间的差异已经小于某预定阈值,则认为拟合已经完成, 主动形状模型已经最终收敛于所输入的人脸形状的位置,其中与人眼相对应 的特征点的当前位置即认为是人眼位置。即,如果与人眼相应的特征点的修 正后的位置和同一次迭代中的更新步骤中所述各个特征点中与人眼相应的特 征点的更新前的位置之间的差异小于预定阈值,则与人眼相应的特征点的修 正后的位置判断为人眼位置。而在判断步骤中,如果判断与人眼相应的特征 点的修正后的位置不是人眼位置,则将所述各个特征点的修正后的位置作为 所述各个特征点的位置代入所述更新步骤再次进行处理。在不能认为已经完 成拟合的情况下,如果通过对比计算得到的点的新位置信息与上一次迭代时 该点的位置信息,能够发现其变化小于另一预定阈值,则表明过程在收敛。 在此情况下,能够判断出该主动形状模型会最终收敛于输入人脸形状的位置。 采用整个人脸模型可以通过人脸形状约束而增强定位人眼位置的准确性。

迭代的拟合过程有如下可能,如果收敛则得到特征点最终位置,此时人 眼点的信息即为人眼位置;如果发散(即不收敛)则拟合失败,此时可以以 在步骤S200所确定的人眼范围的中点作为人眼位置。也可以设定一个迭代次 数阈值,当迭代次数到达该阈值后,迭代结束,输出此时的人眼特征点的位置 信息。

本发明还可以相应地实施为一种用于实施上述人眼检测方法的人眼检测 设备,图9示出按照本发明实施例的人眼检测设备的总体框图。如图9所示, 一种人眼检测设备10,包括:人脸区域确定装置100,可以执行前述人脸区 域确定步骤S100,在输入的图像中确定人脸区域;人眼范围确定装置200, 可以执行前述人眼范围确定步骤S200,在所述人脸区域中确定人眼范围;以 及人眼定位装置300,可以执行前述人眼定位步骤S300,基于主动形状模型, 以所述人眼范围确定与人眼相应的特征点的初始位置,通过拟合确定人眼位 置。

所述人眼范围确定装置200可以实施为基于图像块灰度和确定人眼范围 的装置,执行基于图像块灰度和确定人眼范围的步骤S240,按照人眼和人脸 的拓扑结构信息在人脸区域中初步限定人眼范围,在初步限定的人眼范围中, 基于图像块灰度和算法,将灰度和最小的图像块作为人眼范围。

或者,所述人眼范围确定装置200可以实施为利用级联检测器确定人眼 范围的装置,执行利用级联检测器确定人眼范围的步骤S220,利用由多个层 次的检测单元级联而成的级联检测器,通过逐级地利用检测单元在人脸区域 内对滑动子窗口进行扫描得到人眼候选范围,将在最后级的检测单元得到的 人眼候选范围确定为人眼范围。

或者,所述人眼范围确定装置200也可以包括基于图像块灰度和确定人 眼范围的装置和利用级联检测器确定人眼范围的装置二者,先由利用级联检 测器确定人眼范围的装置执行利用级联检测器确定人眼范围的步骤S220,如 果无法通过所述级联检测器确定人眼范围,则由基于图像块灰度和确定人眼 范围的装置执行基于图像块灰度和确定人眼范围的步骤S240,按照人眼和人 脸的拓扑结构信息在人脸区域中初步限定人眼范围,在初步限定的人眼范围 中,基于图像块灰度和算法,将灰度和最小的图像块作为人眼范围。

其中,所述级联检测器的各级检测单元利用正样本和负样本通过 Adaboost算法训练得到。

人眼定位装置300所采用的主动形状模型为通过样本训练而得到的人脸 的多个特征点的属性的集合,其中所述多个特征点至少包括与人眼相对应的 点,所述属性至少包括相应点的位置信息、位置约束条件和纹理信息。

人眼定位装置300可以包括:初始位置确定装置,可以执行前述初始位 置确定步骤,将训练得到的人脸的多个特征点中与人眼相应的特征点匹配至 所述人眼范围的中心点,作为与人眼相应的特征点的初始位置,所述多个特 征点中的其它特征点以保持所述多个特征点拓扑关系的方式调整位置;更新 装置,可以执行前述更新步骤,根据所述多个特征点的各个特征点的纹理信 息,在各个特征点的位置邻域中寻找纹理信息最接近的点,把所述各个特征 点的位置更新为该点位置;修正装置,可以执行前述修正步骤,利用所述多 个特征点中各个特征点的位置约束条件对该特征点的更新后的位置进行修 正;判断装置,可以执行前述判断步骤,根据特征点集合中各个特征点的修 正后的位置与更新前的位置的关系判断与人眼相应的特征点的修正后的位置 是否是人眼位置。

其中,各个特征点的所述纹理信息为局部二值模板,纹理信息最接近的 点为相应特征点邻域内的各点中与该特征点的局部二值模板距离最近的点。

所述判断装置如果判断与人眼相应的特征点的修正后的位置不是人眼位 置,则将所述各个特征点的修正后的位置作为所述各个特征点的位置代入所 述更新装置再次进行处理。

本发明还可以通过一种人眼检测系统来实施。图10是示出按照本发明实 施例的人眼检测系统1000的总体框图,如图10所示,人眼检测系统1000可 以包括:输入设备1100,用于从外部输入将要检测处理的图像,例如可以包 括键盘、鼠标器、扫描仪、以及通信网络及其所连接的远程输入设备等等; 处理设备1200,用于实施上述的按照本发明实施例的人眼检测方法,或者实 施为上述的按照本发明实施例的人眼检测设备,例如可以包括计算机的中央 处理器或其它的具有处理能力的芯片等等;输出设备1300,用于向外部输出 实施上述人眼检测过程所得的结果,例如可以包括显示器、打印机、以及通 信网络及其所连接的远程输出设备等等;以及存储设备1400,用于以易失或 非易失的方式存储上述人眼检测处理过程所涉及的图像、所得的结果、命令、 中间数据等等,例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、 硬盘、或半导体存储器等等的各种易失或非易失性存储器。

图11包括图11A和图11B,示意性地对比出在不确定人眼范围(即不进 行粗定位)的情况下和确定人眼范围(即进行粗定位)的情况下的最终人眼 定位精度,图11A所示为不进行人眼粗定位的情况下的人眼定位结果,图11B 所示为进行人眼粗定位的情况下的人眼定位结果。通过对比可以看出,如果 在通过主动形状模型进行拟合迭代之前,先进行人眼大致位置,即人眼范围 的确定,则主动形状模型特征点集合的初始位置会更为准确,得到更为准确 的人眼位置信息,图11B中确定的人眼位置位于瞳孔,而图11A中的人眼位 置相对于瞳孔有一些偏离。此外,先进行人眼大致位置的确定后,利用主动 形状模型的拟合过程中的收敛速度也大大加快。

按照本发明实施例的人眼检测方法、人眼检测设备、及人眼检测系统采 用由粗到精的检测策略,提出了一种混合方案来实现快速准确的人眼定位。 该混合方案包括用于大致确定人眼范围的人眼粗定位模块和用于人眼定位的 人眼精定位模块。在人眼粗定位模块中,可以采用Adaboost分类器来进行人 眼范围的选取。但是,在某些情况下,例如当受光照或眼镜等影响时,Adaboost 分类器可能检测不到人眼区域,无法给出人眼范围。如果发生这种情况,可 以考虑基于局部图像块灰度累加值(即图像块灰度和)的人眼区域检测算法 作为备选算法,由于通常人眼区域比较黑,因此选择灰度累加值比较低的区 域来作为人眼范围。然后,在人眼精定位模块中,采用主动形状模型来对人 眼进行精准定位。由于在人眼范围确定过程中,即人眼粗定位中,已经确定 人眼范围即人眼的粗略位置,以此作为主动形状模型的初始位置进行迭代, 可以大大加快算法的收敛速度。从而,本发明的实施例可以在加速人眼定位 速度的同时保证人眼定位的精度。

在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的 组合来执行。当由软件执行该一系列操作时,可以把其中的计算机程序安装 到内置于专用硬件的计算机中的存储器中,使得计算机执行该计算机程序。 或者,可以把计算机程序安装到能够执行各种类型的处理的通用计算机中, 使得计算机执行该计算机程序。

例如,可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只 读存储器)中。或者,可以临时或者永久地存储(记录)计算机程序到可移 动记录介质中,诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、 DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介 质作为封装软件提供。

本发明已经参考具体实施例进行了详细说明。然而,很明显,在不背离 本发明的精神的情况下,本领域技术人员能够对实施例执行更改和替换。换 句话说,本发明用说明的形式公开,而不是被限制地解释。要判断本发明的 要旨,应该考虑所附的权利要求。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号