用于眼睛的位置识别的图像处理

技术领域

该技术领域大体上涉及车辆(例如，陆基车辆、水基车辆和飞行器)的领域，并且更具体地，涉及用于识别车辆中的个人的眼睛的位置的方法和系统。

背景技术

某些车辆包括用于将信息提供给车辆的驾驶员的平视显示器。这样的平视显示器可能需要驾驶员的眼睛的检测位置，例如以便以可见的方式显示信息以供驾驶员看到。

因此，期望提供用于定位车辆的驾驶员的眼睛的改进的方法和系统。此外，结合附图和本发明的背景技术，根据本发明的后续详细描述和所附权利要求，本发明的其他期望的特征和特性将变得显而易见。

发明内容

根据示例性实施例，提供了一种方法，该方法包括：经由车辆的相机获得车辆的乘员的相机图像；以及经由处理器执行相机图像的一个或多个傅立叶变换；以及使用经由一个或多个傅立叶变换生成的相位模型，经由处理器识别车辆乘员的眼睛的位置。

此外，在一个实施例中，该方法还包括基于所识别的眼睛的位置来对车辆执行控制动作。

同样在一个实施例中，执行一个或多个傅里叶变换的步骤包括经由处理器执行相机图像的傅里叶逆变换。

同样在一个实施例中，执行一个或多个傅里叶变换的步骤还包括经由处理器执行为相机图像生成仅相位全息图。

同样在一个实施例中，执行一个或多个傅立叶变换的步骤还包括经由处理器执行附加的傅立叶变换，生成用于相机图像的增强图像。

同样在一个实施例中，增强图像包括用于乘员的面部的加亮(highligh)边缘。

同样在一个实施例中，执行一个或多个傅里叶变换的步骤还包括利用调整后的阈值执行图像处理，为相机图像生成进一步增强的图像，该进一步增强的图像包括针对乘员的面部的其他加亮边缘。

在另一个示例性实施例中，提供了一种系统，该系统包括：(i)被构造为生成车辆的乘员的相机图像的相机；以及(ii)处理器，其联接到相机并被构造为至少促进：(a)执行相机图像的一个或多个傅里叶变换；以及(b)使用经由一个或多个傅立叶变换生成的相位模型来识别车辆的乘员的眼睛的位置。

同样在一个实施例中，处理器还被构造为基于识别出的眼睛的位置，至少促进对车辆的控制动作。

同样在一个实施例中，处理器还被构造为至少促进执行相机图像的傅立叶逆变换。

同样在一个实施例中，处理器还被构造为至少促进执行仅相位变换，从相机图像生成仅相位全息图。

同样在一个实施例中，处理器还被构造为至少促进执行附加的傅里叶变换，为相机图像生成增强的图像。

同样在一个实施例中，增强图像包括用于乘员的面部的加亮边缘。

同样在一个实施例中，处理器还被构造为至少促进利用调谐阈值执行一个或多个另外的傅里叶变换，为相机图像生成进一步增强的图像，该增强的图像包括针对乘员的面部的进一步加亮的边缘。

在另一个示例性实施例中，提供了一种车辆，该车辆包括：(i)车身；(ii)被构造为移动车身的驱动系统；(iii)安装在车身上的相机，该相机被构造为生成车辆的乘员的相机图像；以及(iv)处理器，该处理器联接到相机并且被构造为至少促进：(a)执行相机图像的一个或多个傅里叶变换；以及(b)使用经由一个或多个傅立叶变换生成的相位模型来识别车辆的乘员的眼睛的位置。

同样在一个实施例中，处理器还被构造为基于所识别的眼睛的位置，至少促进执行对车辆的控制动作。

同样在一个实施例中，处理器还被构造为至少促进执行相机图像的傅立叶逆变换。

同样在一个实施例中，处理器还被构造为至少促进执行仅相位变换，为相机图像生成仅相位全息图。

同样在一个实施例中，处理器还被构造为至少促进执行附加的傅立叶变换，为相机图像生成增强图像，其中，增强图像包括用于乘员的面部的加亮边缘。

同样在一个实施例中，处理器还被构造为至少促进利用调谐阈值执行一个或多个另外的傅立叶变换，为相机图像生成进一步的增强图像，该进一步的增强图像包括针对乘员的面部的另外的加亮边缘。

附图说明

在下文中，将结合以下附图描述本公开，其中，相同的附图标记表示相同的元件，并且在附图中：

图1是根据示例性实施例的用于识别车辆的乘员的眼睛的位置的过程的流程图；

图2是根据示例性实施例的车辆的功能框图，该车辆包括用于识别车辆乘员的眼睛的位置的控制系统并且可以与图1的过程结合使用；和

图3描绘了根据示例性实施例的经由图2的过程的各个步骤生成的示例性图像。

具体实施方式

以下详细描述本质上仅是示例性的，并且不意图限制本公开或其应用和使用。此外，无意受到在先前背景或以下详细描述中提出的任何理论的约束。

图1是根据示例性实施例的用于识别和利用车辆驾驶员的眼睛的位置的过程200的流程图。在各种实施例中，过程200可以结合一个或多个车辆来实现，例如图2中描绘的并且在下面描述的车辆100。在某些实施例中，过程200在诸如汽车、卡车或其他陆基车辆(例如，如图2中所描绘并且在下文中进一步详细描述)的陆基车辆中实现。在某些其他实施例中，过程200在诸如船、潜艇或其他水基车辆的水基车辆中实现。在其他实施例中，过程200在飞行器(例如，飞机、直升机、航天器和/或其他飞行器)中实施。

下面还结合图3讨论过程200，其描绘了在各个示例性实施例中经由过程200的各个步骤生成的示例性图像。

如图1所示，过程从步骤202开始。在一个实施例中，过程200开始于车辆驾驶或点火循环开始时，例如，当驾驶员打开车辆和/或为其点火时(例如，通过转动钥匙，接合密钥卡或开始按钮等)。在另一个实施例中，过程200开始于相机(例如，图2中描绘并且在下文进一步描述的相机132)被激活时。在一个实施例中，过程200的步骤在车辆的操作期间执行。

在步骤204获得相机图像。具体地，获得相机(例如图2的相机132)的相机图像。在各种实施例中，每个相机图像包括二维图像。同样在各种实施例中，相机图像表示如下：A(x,y)，

其中，“A”代表相机图像，“x”和“y”分别代表相机图像的二维x和y轴。在各种实施例中，相机图像由相机提供给处理器(例如，图2中描绘的并且下面结合其进一步描述的计算机系统140的处理器142)以进行处理。参考图3，提供了示例性相机图像304(例如，表示图2的车辆100的驾驶员104的事实的二维视图)。

在步骤206，对相机图像应用傅里叶逆变换。具体地，在各个实施例中，处理器(例如图2的处理器142)对步骤204的相机图像应用傅里叶逆变换。

在各个实施例中，对A(x,y)执行的傅立叶逆变换表示为(相对于图1的208)如下：

其中A’(p,q)和e

在各个实施例中，在210处丢弃傅立叶逆变换的幅度部分A’(p,q)。在212处，相位部分，二维“m”x“n”相全息图e

在各个实施例中，在步骤214期间，对逆傅立叶变换的结果的相位部分e

其中A”(x’,y’)和e

参考图3，提供了示例性的仅相位全息图e

在各个实施例中，增强图像|A”(x,y)|

在某些实施例中，在步骤222为图像提供进一步的降噪。例如，在某些实施例中，处理器142通过定义|A”(x’,y’)|

在各个实施例中，进一步增强的图像从相机图像提供加亮的边缘，包括图2的车辆100的驾驶员104的面部，同时进一步减少了与驾驶员104的面部轮廓无关的噪声。参考图3，提供了示例性的进一步重构的图像312。另外，在图3的进一步重构的图像312中示出了驾驶员104的面部的加亮显示的图像，其中边缘(包括驾驶员104的眼睛的边缘)在进一步重构的图像312中进一步突出(standing out)，并且代表驾驶员104的面部的边缘增强图像，

在步骤226处提供眼睛的位置的标识。在各种实施例中，图2的处理器142使用驾驶员104的面部的相位模型、使用具有在该图像中驾驶员104面部的加强边缘的图3的重构的图像310和/或312，来识别驾驶员104的一只或多只眼睛的位置。

在各种实施例中，至少部分地基于驾驶员的一只或多只眼睛的识别，在步骤228处提供一种或多种车辆动作。例如，在某些实施例中，处理器142可以基于眼睛的位置来控制图2的平视显示单元120。例如，在某些实施例中，处理器142可以例如朝向驾驶员104的一只或多只眼睛调整平视显示单元120的显示器的角度，例如使得驾驶员104可以容易地从平视显示单元120读取信息。此外，在某些实施例中，处理器142还可以利用眼睛的位置来控制车辆100的一个或多个其他系统122。例如，在某些实施例中，如果驾驶员104看起来正在闭上眼睛和/或未注意路，则处理器142可以提供指令以进行警告或警报或对更多其他系统122进行自动控制(例如制动、转向等)。

在各个实施例中，该过程然后返回到步骤204以获取下一帧。

图2示出了根据示例性实施例的车辆100。如下面更进一步详细描述的，车辆100包括用于识别车辆100的乘员104的眼睛的位置的控制系统102。在各个实施例中，控制系统102被构造为识别坐在车辆100的前座106中的驾驶员104的眼睛的位置，并使用结合图1和3描述的技术将所识别的位置用于车辆的平视单元120和/或一个或多个其他系统122的操作。

在各种实施例中，车辆100可包括任何数量的不同类型的车辆或移动平台。在某些实施例中，车辆100包括陆基车辆，例如许多不同类型的汽车中的任何一种，例如轿车、货车、卡车或运动型多用途车(SUV)、摩托车和/或其他陆上车辆。在某些其他实施例中，车辆100包括水基车辆，例如船、潜艇或其他水基车辆。在又一些其他实施例中，车辆100包括飞行器(例如，飞机、直升机、航天器和/或其他飞行器)。

在所示的示例性实施例中，车辆100包括布置在底盘109上的上述车身110。车身110基本上包围了车辆100的其他部件。车身110和底盘109可以共同形成一框架。车辆100还包括多个轴112和车轮114。每个车轮114在车身110的相应拐角附近均可旋转地联接至一个或多个轴112，以促进车辆100的运动。在一个实施例中，车辆100包括四个车轮114，尽管这在其他实施例中可以变化(例如，对于卡车和某些其他车辆)。

另外，在所示的示例性实施例中，驱动系统116安装在底盘109上，并驱动车轮114。驱动系统116优选地包括推进系统。在某些示例性实施例中，驱动系统116包括与其传动装置联接的内燃发动机和/或电动机/发电机。在某些实施例中，驱动系统116可以改变，和/或可以使用两个或更多个驱动系统116。举例来说，车辆100还可结合多种不同类型的推进系统中的任何一种或其组合，例如汽油或柴油燃料的内燃机、“柔性燃料车辆”(FFV)发动机(即，使用汽油和酒精的混合物)、气态化合物(例如，氢气和/或天然气)为燃料的发动机、燃烧/电动机混合动力发动机和电动机。

如图2所示，在各个实施例中，控制系统102包括传感器阵列130和计算机系统140。在各个实施例中，控制系统102安装在底盘109上。

在各种实施例中，传感器阵列包括靠近驾驶员104的一个或多个相机132。在某些实施例中，相机132定位在车辆100的平视单元120内(例如，在车辆100的前仪表板内或之上)。在某些其他实施例中，相机132被定位在车辆100的镜子118(例如后视镜)之内或之上。在各种实施例中，相机132朝向驾驶员104定位，特别是朝向其面部定位，以捕获驾驶员104的面部的图像。在某些实施例中，传感器阵列130还可包括一个或多个用于操作车辆100的其他传感器。

在各个实施例中，计算机系统140联接到传感器阵列130。在各个实施例中，计算机系统140从相机132接收相机图像，并使用相机图像识别车辆100的驾驶员104的眼睛的位置。同样如图2所示，在各种实施例中，计算机系统104经由通信链路111联接到相机132，并经由通信链路111从相机132接收相机图像。在某些实施例中，通信链路111包括一个或多个有线连接，例如一根或多根电缆(例如同轴电缆和/或一种或多种其他类型的电缆)和/或一个或多个无线连接(例如使用无线总线技术)。

在各个实施例中，计算机系统140进一步联接至车辆100的平视显示单元和其他系统122。在某些实施例中，计算机系统140还在执行一辆或多辆车辆动作时利用眼睛的位置。例如，举例来说，控制平视显示单元120(例如，通过使平视显示单元120朝向驾驶员104的眼睛倾斜)。另外，在某些实施例中，计算机系统140还在控制车辆100的一个或多个其他系统122时利用眼睛的位置(例如，通过提供警告或警报，或者对一个或多个其他系统122进行自动控制，例如制动、转向等，如果驾驶员104似乎正在闭上他的眼睛和/或不注意道路)。

在各个实施例中，计算机系统140根据以上结合图1描述的过程200以及如图3所示的实施方式来执行这些功能。

在所描绘的实施例中，计算机系统140包括处理器142、存储器144、接口146、存储设备148和总线150。处理器142执行计算机系统140的计算和控制功能，并可以包括任何类型的处理器或多个处理器、单个集成电路(例如微处理器)或任何适当数量的集成电路设备和/或协同工作以完成处理单元的功能的电路板。在操作期间，处理器142执行存储器144内包含的一个或多个程序152，并且因此通常在执行本文所述的过程中控制计算机系统140的一般操作和计算机系统140的计算机系统，例如如以上结合图1和3所述的过程200。

存储器144可以是任何类型的合适的存储器。例如，存储器144可以包括诸如SDRAM的各种类型的动态随机存取存储器(DRAM)、各种类型的静态RAM(SRAM)以及各种类型的非易失性存储器(PROM、EPROM和闪存)。在某些示例中，存储器144与处理器142位于同一计算机芯片上和/或共同位于同一计算机芯片上。在所描绘的实施例中，存储器144存储以上所述的程序152以及一个或多个存储的值154。

总线150用于在计算机系统140的计算机系统的各个部件之间传输程序、数据、状态和其他信息或信号。接口146允许例如从系统驱动器和/或另一个计算机系统到计算机系统140的计算机系统的通信，并且可以使用任何合适的方法和装置来实现。在一个实施例中，接口146从相机132获得各种数据。接口146可包括一个或多个网络接口以与其他系统或部件通信。接口146还可包括用于与技术人员通信的一个或多个网络接口，和/或用于连接到诸如存储设备148的存储装置的一个或多个存储接口。

存储设备148可以是任何合适类型的存储装置，包括直接访问存储设备，例如硬盘驱动器、闪存系统、软盘驱动器和光盘驱动器。在一个示例性实施例中，存储设备148包括程序产品，存储器144可以从该程序产品接收程序152，该程序152执行本公开的一个或多个过程的一个或多个实施例，例如结合图1和图3描述的过程200的步骤(以及其任何子步骤)。在另一个示例性实施例中，程序产品可以直接存储在存储器144和/或磁盘(例如，磁盘156)中和/或由其访问，如下所述。

总线150可以是连接计算机系统和部件的任何合适的物理或逻辑器件。这包括但不限于直接硬连线连接、光纤、红外和无线总线技术。在操作期间，程序152被存储在存储器144中并由处理器142执行。

应当认识到，尽管在功能全面的计算机系统的上下文中描述了该示例性实施例，但是本领域技术人员将认识到，本发明的机制能够作为程序产品分发，该程序产品具有用于存储程序及其指令并执行其分发的一种或多种类型的非临时计算机可读信号承载介质，例如承载程序并包含存储在其中的用于使计算机处理器(例如处理器142)实施和执行程序的计算机指令的非暂时性计算机可读介质。这样的程序产品可以采取多种形式，并且不管用于执行分发的计算机可读信号承载介质的特定类型如何，本公开都同样适用。信号承载介质的示例包括：可记录介质，例如软盘、硬盘驱动器、存储卡和光盘，以及传输介质，例如数字和模拟通信链接。应当理解，在某些实施例中也可以利用基于云的存储和/或其他技术。类似地，将意识到，计算机系统140的计算机系统也可以与图2所示的实施例不同，例如，计算机系统140的计算机系统可以联接至或者可以利用一个或多个远程计算机系统和/或其他控制系统。

因此，所公开的方法、系统和车辆提供了对车辆乘员(例如车辆驾驶员)的一只或多只眼睛的位置的识别。在各个实施例中，执行多个傅立叶变换(包括逆傅立叶变换和傅立叶变换)以便从相机图像生成增强图像，包括驾驶员104的面部的加亮边缘。在各个实施例中，增强图像用于识别驾驶员的一只或多只眼睛的位置，并用于执行可能取决于一只或多只眼睛的位置的各种车辆命令。另外，在各个实施例中，使用来自处理后的相机像素化强度信息的相位信息来识别眼睛的位置。在各种实施例中，这又允许在所公开的方法、系统和车辆中使用的相机范围更广(例如，特别是当针对特定乘员多次执行该过程时，相机的图像质量要求可能会由于对乘员面部的熟悉而进一步减少等等)。

应当理解，系统、车辆和方法可以与图中所示和本文所述的那些不同。例如，在各种实施例中，车辆100、控制系统102和/或其各种部件可以不同于图2中描绘的以及结合图2描述的那些。将类似地认识到，过程200的步骤和/或实现方式可以不同于图1和图3中所描绘的，和/或过程200的各个步骤可以与图1和3中所描绘的过程同时地和/或以不同的顺序发生。

尽管在前面的详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或构造。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应该理解的是，在不脱离所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。