纵深取得装置、纵深取得方法以及程序

技术领域

本公开涉及取得图像的纵深的纵深取得装置等。

背景技术

过去，提出测定到被摄体的距离的测距装置(例如参考专利文献1)。该测距装置具备光源和摄像部。光源对被摄体照射光。摄像部对被该被摄体反射的反射光摄像。然后，测距装置通过将以该摄像得到的图像的各像素值变换成到被摄体的距离，来测定到该被摄体的距离。即，测距装置取得由摄像部得到的图像的纵深。

现有技术文献

专利文献

专利文献1：JP特开2011-64498号公报

发明内容

发明要解决的课题

但在上述专利文献1的测距装置中，有不能正确取得图像的纵深的课题。

为此，本公开提供能正确取得图像的纵深的纵深取得装置。

用于解决课题的手段

本公开的一个方案所涉及的纵深取得装置具备存储器和处理器，所述处理器，取得表示光源对被摄体照射红外光的定时的定时信息，取得红外图像，所述红外图像通过与由所述定时信息表示的所述定时相应且包含所述被摄体的场景的基于红外光的摄像而得到，并被保持于所述存储器，取得可见光图像，所述可见光图像通过与所述红外图像实质相同场景的基于可见光的摄像且与所述红外图像实质相同的视点以及摄像时刻的摄像而得到，并被保持于所述存储器，从所述红外图像检测映出粉尘的区域作为粉尘区域，基于所述红外图像、所述可见光图像以及所述粉尘区域来估计所述粉尘区域的纵深。

另外，这些总括或具体的方案可以用系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质实现，也可以用系统、方法、集成电路、计算机程序以及记录介质的任意的组合实现。另外，记录介质可以是非暂时的记录介质。

发明的效果

本公开的纵深取得装置能正确取得图像的纵深。本公开的一个方案中的进一步的优点以及效果根据说明书以及附图得以明确。相关的优点以及/或者效果通过几个实施方式、和记载于说明书以及附图的特征来分别提供，但为了得到1个或其以上的相同特征未必需要提供全部特征。

附图说明

图1是表示实施方式中的纵深取得装置的硬件结构的框图。

图2是表示实施方式中的固体摄像元件所具有的像素阵列的示意图。

图3是表示实施方式中的光源的发光元件的发光定时与固体摄像元件的第1像素的曝光定时的关系的定时图。

图4是表示实施方式中的纵深取得装置的功能结构的一例的框图。

图5是表示实施方式中的纵深取得装置的功能结构的其他示例的框图。

图6是表示实施方式中的纵深取得装置的整体的处理动作的流程图。

图7是表示实施方式中的纵深取得装置的处理器的整体的处理动作的流程图。

图8是表示实施方式中的纵深取得装置的处理器的具体的功能结构的框图。

图9A是表示IR图像的一例的图。

图9B是表示BW图像的一例的图。

图10是表示通过IR图像的二值化得到的二值化图像的一例的图。

图11是表示IR图像内的粉尘候补区域的一例的图。

图12是表示对BW图像检测的FOE的一例的图。

图13是表示对粉尘区域检测的主轴的一例的图。

图14是表示粉尘区域以及非粉尘区域的一例的图。

图15A是表示IR图像的其他示例的图。

图15B是表示BW图像的其他示例的图。

图16是表示通过IR图像的二值化得到的二值化图像的一例的图。

图17是表示IR图像内的粉尘候补区域的一例的图。

图18是表示对BW图像检测的FOE的一例的图。

图19是表示各粉尘候补区域的配置的一例的图。

图20是表示实施方式中的纵深取得装置的仿真结果的图。

图21是表示图8所示的纵深取得装置的整体的处理动作的流程图。

图22是表示图21的步骤S31～S34的详细的处理的一例的流程图。

图23是表示图21的步骤S31～S34的详细的处理的其他示例的流程图。

图24是表示取代图21的步骤S31～S34的处理的一例的流程图。

图25是表示图21的步骤S31～S34的详细的处理的其他示例的流程图。

图26是表示实施方式的变形例中的纵深取得装置的功能结构的一例的框图。

图27是表示实施方式的变形例中的纵深取得装置的功能结构的其他示例的框图。

具体实施方式

(成为本公开的基础的见解)

本发明的发明者关于“背景技术”栏中记载的专利文献1的测距装置，发现产生以下的问题。

专利文献1的测距装置如上述那样从光源对被摄体照射光，对被照射光的被摄体摄像，由此取得图像，并测定该图像的纵深。在该纵深的测定中使用ToF(Time Of Flight，飞行时间)。在这样的测距装置中，为了提升测距精度而进行相互不同的摄像条件的摄像。即，测距装置按照给定的摄像条件进行摄像，对应于其摄像结果来设定与该给定的摄像条件不同的摄像条件。然后，测距装置按照该设定的摄像条件再次进行摄像。

但在通过摄像得到的图像中，有位于测距装置的附近的粉尘作为噪声而拍到(映り込む)的情况。其结果，不能从该映出粉尘的图像去除该粉尘即噪声，不能正确地测定纵深。另外，即使变更摄像条件，也有难以简单地抑制拍到粉尘的情况。进而，若例如搭载于车辆的测距装置在该车辆的行驶中在相互不同的摄像条件下反复摄像，则由于反复进行的摄像的视点位置不同，因此得到的多个图像各自的场景会不同。即，不能对相同的场景反复摄像，不能适当地估计映出该场景的图像的纵深、特别是映出粉尘的区域的纵深。

为了解决这样的问题，本公开的一个方案所涉及的纵深取得装置具备存储器和处理器，所述处理器，取得表示光源对被摄体照射红外光的定时的定时信息，取得红外图像，其中所述红外图像通过与由所述定时信息表示的所述定时相应且包含所述被摄体的场景的基于红外光的摄像得到，并被保持于所述存储器，取得可见光图像，其中所述可见光图像通过与所述红外图像实质相同场景的基于可见光的摄像且与所述红外图像实质相同的视点以及摄像时刻的摄像得到，并被保持于所述存储器，从所述红外图像检测映出粉尘的区域作为粉尘区域，基于所述红外图像、所述可见光图像以及所述粉尘区域来估计所述粉尘区域的纵深。

由此，由于从红外图像检测粉尘区域，在该粉尘区域中，不仅基于红外图像还基于可见光图像来估计纵深，因此能适当地取得该粉尘区域的纵深。即，在红外图像和可见光图像中，成为摄像的对象的场景实质相同，视点以及摄像时刻也实质相同。在此，作为在实质相同的视点以及摄像时刻摄像到的实质相同的场景的图像的一例，是用相同摄像元件的不同像素摄像的图像。这样的图像与用拜尔(Bayer)排列的滤色镜摄像到的彩色图像的红、绿以及蓝的各通道图像同样，各图像的视角、视点以及摄像时刻大致相等。即，在实质相同的视点以及摄像时刻摄像到的实质相同的场景的图像在被摄像到的各图像中被摄体的图像上的位置不会相差2个像素以上。例如在场景中存在具有可见光和红外分量的点光源、可见光图像中仅高亮度地摄像1个像素的情况下，在红外图像中，也会在与可见光图像中摄像的像素位置对应的像素的比2个像素更靠近地摄像点光源。另外，所谓实质相同的摄像时刻，表示摄像时刻的差以1帧以下相等。因此，红外图像和可见光图像有高的相关性。但在进行红外图像以及可见光图像的摄像的摄像机的附近有粉尘的情况下，照射的红外光在该粉尘较强地反射，由于该强的反射光而有时会在红外图像中拍到该粉尘。因此，即使在红外图像中拍到粉尘，在可见光图像中不拍到的可能性也高。为此，能从与该粉尘区域对应的可见光图像内的区域(即对应区域)补充在粉尘区域中缺失的信息。其结果，能去除粉尘即噪声的影响而适当地取得粉尘区域的纵深。

例如可以，所述处理器也可在所述粉尘区域的纵深的估计中，估计表示所述红外图像内的各位置处的纵深的第1纵深信息，通过基于所述可见光图像来补正由所述第1纵深信息表示的所述粉尘区域内的各位置处的纵深，来估计表示所述粉尘区域内的各位置处的补正后的纵深的第2纵深信息，进而生成表示由所述第1纵深信息表示的所述红外图像的所述粉尘区域外的各位置处的纵深、和由所述第2纵深信息表示的所述红外图像的所述粉尘区域内的各位置处的纵深的第3纵深信息。另外，在第1纵深信息的估计中，也可以对红外图像运用TOF等。

由此，第3纵深信息表示从该红外图像得到的纵深作为红外图像的粉尘区域外的纵深，表示从该红外图像得到并基于可见光图像补正过的纵深，作为红外图像的粉尘区域的纵深。因此，即使是在红外图像中有粉尘区域的情况，也能适当地估计该红外图像的整体的纵深。

另外，所述处理器也可以在所述粉尘区域的检测中，在所述红外图像当中具有第1阈值以上的亮度的高亮度区域满足第1条件的情况下，将所述高亮度区域检测为所述粉尘区域。

在粉尘区域内中处于亮度高的倾向。因此，通过检测红外图像当中具有第1阈值以上的亮度的高亮度区域，能容易地将映出粉尘的可能性高的区域缩小范围。进而，由于将满足第1条件的高亮度区域检测为粉尘区域，因此，通过适当地设定第1条件，能高精度地检测粉尘区域。

另外，所述第1条件也可以是在所述红外图像中的与所述高亮度区域不同的其他至少2个高亮度区域各自的重心与所述红外图像或所述可见光图像的FOE(Focus ofExpansion，延伸焦点)相交的直线上或圆弧上配置所述高亮度区域的重心的条件。

例如在摄像机对1个粉尘进行摄像的情况下，若对1帧的红外图像的摄像进行多次曝光，则每当进行该曝光，该粉尘就作为高亮度区域而在红外图像映出。为此，在上述的摄像机搭载于车辆等移动体并移动的情况下，该粉尘从FOE吹出那样在该红外图像映出的可能性高。例如若上述的移动体的移动速度高速，则粉尘引起的这些多个高亮度区域处于配置于与FOE相交的直线上的倾向。或者，若该摄像机的镜头的失真大，则粉尘所引起的多个高亮度区域处于配置在与FOE相交的圆弧上的倾向。因此，通过将至少3个高亮度区域的重心配置于上述的直线上或圆弧上设定为第1条件，能高精度地检测粉尘区域。

另外，在红外图像和可见光图像中，由于成为摄像的对象的场景实质相同，视点也实质相同，因此红外图像的FOE和可见光图像的FOE实质相同。

或者，所述第1条件也可以是所述高亮度区域的主轴或所述主轴的延长线与所述红外图像或所述可见光图像的FOE(Focus of Expansion，延伸焦点)相交的条件。

例如，若与上述的示例相反，搭载摄像机的移动体的移动速度是低速，则上述的多个高亮度区域重合。其结果，这些多个高亮度区域作为细长的形状换言之拖尾的形状的1个高亮度区域而在红外图像映出。这样的粉尘所引起的高亮度区域的主轴或该主轴的延长线处于与FOE相交的倾向。因此，通过将高亮度区域的主轴或该主轴的延长线与FOE相交设定为第1条件，能高精度地检测粉尘区域。

另外，所述处理器也可以在所述粉尘区域的检测中，在所述高亮度区域还满足第2条件的情况下，将所述高亮度区域检测为所述粉尘区域。

例如，可以将即使在红外图像中观测到粉尘区域但在可见光图像中观测不到粉尘区域的性质利用在第2条件中。由此，能更高精度地检测粉尘区域。

另外，所述第2条件也可以是与所述红外图像内的所述高亮度区域的重心对应的所述可见光图像内的位置的亮度小于第2阈值的条件。

由于粉尘区域在BW图像中观测不到，因此与该粉尘区域的重心对应的可见光图像内的位置的亮度处于低的倾向。因此，通过将与红外图像内的高亮度区域的重心对应的可见光图像内的位置的亮度小于第2阈值设定为第2条件，能更高精度地检测粉尘区域。

另外，所述第2条件也可以是所述红外图像的高亮度区域内的亮度、和与所述高亮度区域对应的所述可见光图像的区域内的亮度之间的相关系数小于第3阈值的条件。

由于有即使在红外图像观测到粉尘区域在可见光图像中也观测不到粉尘区域的性质，因此红外图像的粉尘区域内的亮度、和与该粉尘区域对应的可见光图像的区域内的亮度的相关性处于低的倾向。因此，通过将红外图像的高亮度区域内的亮度、和与该高亮度区域对应的可见光图像的区域内的亮度之间的相关系数小于第3阈值设定为第2条件，从而能更高精度地检测粉尘区域。

另外，所述处理器也可以在所述粉尘区域的纵深的估计中，估计表示所述红外图像内的各位置处的纵深的纵深信息，通过将所述红外图像、所述可见光图像、所述粉尘区域以及所述纵深信息输入到学习模型，来补正由所述纵深信息表示的所述粉尘区域内的各位置处的纵深。

由此，若使学习模型预先学习，使得针对红外图像、可见光图像、粉尘区域以及纵深信息的输入而输出粉尘区域内的各位置处的正解的纵深，就能适当地补正从红外图像估计的纵深信息。即，能适当地补正由纵深信息表示的粉尘区域内的各位置处的纵深。

另外，本公开的其他方案所涉及的纵深取得装置具备存储器和处理器，所述处理器取得表示光源对被摄体照射红外光的定时的定时信息，取得红外图像，其中所述红外图像通过与由所述定时信息表示的所述定时相应的包含所述被摄体的场景的基于红外光的摄像得到，并被保持于所述存储器，取得可见光图像，其中所述可见光图像通过与所述红外图像实质相同场景的基于可见光的摄像且与所述红外图像实质相同的视点以及摄像时刻的摄像得到，并被保持于所述存储器，估计表示所述红外图像内的各位置处的纵深的纵深信息，通过将所述红外图像、所述可见光图像以及所述纵深信息输入到学习模型来补正由所述纵深信息表示的在所述红外图像中映出粉尘的粉尘区域内的各位置处的纵深。

由此，若使学习模型预先学习，以使针对红外图像、可见光图像以及纵深信息的输入而输出红外图像的粉尘区域内的各位置处的正解的纵深，就能适当地补正从红外图像估计的纵深信息。即，不检测粉尘区域就能适当地补正由纵深信息表示的粉尘区域内的各位置处的纵深。

另外，本公开的其他方案所涉及的纵深取得装置具备存储器和处理器，所述处理器执行：取得所述存储器中所保持的红外图像，在此，所述红外图像通过基于红外光的摄像得到，取得所述存储器中所保持的可见光图像，在此，所述可见光图像在与所述红外图像实质相同的视点以及摄像时刻通过基于可见光的摄像得到，从所述红外图像检测映出粉尘的区域作为粉尘区域，基于所述可见光图像来估计所述粉尘区域的纵深。另外，在对所述可见光图像以及所述红外图像分别分成粉尘区域和其他区域时，所述粉尘区域基于所述可见光图像来估计纵深，其他区域基于所述红外图像来估计纵深。

由此，与本公开的上述一个方案所涉及的纵深取得装置同样，能去除粉尘即噪声的影响而适当地取得粉尘区域的纵深。

另外，这些总括或具体的方案可以用系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质实现，也可以用系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。另外，记录介质可以是非暂时的记录介质。

以下参考附图来具体说明实施方式。

另外，以下说明的实施方式均表示总括或具体的示例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并不是限定本公开的主旨。另外，关于以下的实施方式中的构成要素当中未记载于表示最上位概念的独立权利要求的构成要素，说明为任意的构成要素。

另外，各图是示意图，不一定是严密的图示。另外，在各图中，对相同构成构件标注相同附图标记。

(实施方式)

[硬件结构]

图1是表示实施方式所涉及的纵深取得装置1的硬件结构的框图。本实施方式中的纵深取得装置1具有能通过对实质相同的场景且实质相同的视点以及摄像时刻的摄像取得基于红外光(或近红外线光)的图像和基于可见光的图像的硬件结构。另外，所谓实质相同，是指与能起到本公开中的效果的程度相同。

如图1所示那样，纵深取得装置1包含光源10、固体摄像元件20、处理电路30、扩散板50、透镜60和带通滤波器70而构成。

光源10照射照射光。更具体地，光源10在由处理电路30生成的发光信号表示的定时发出对被摄体照射的照射光。

光源10例如包含电容器、驱动电路以及发光元件而构成，通过用蓄积于电容器的电能驱动发光元件而发光。发光元件作为一例而通过激光二极管、发光二极管等实现。另外，光源10可以是包含1种类的发光元件的结构，也可以是包含与目的相应的多种类的发光元件的结构。

以下，发光元件例如是发出近红外线光的激光二极管、或发出近红外线光的发光二极管等。但光源10所照射的照射光并不需要限定于近红外线光。光源10所照射的照射光例如可以是近红外线光以外的频带的红外光(也称作红外线光)。以下在本实施方式中，将光源10所照射的照射光说明为红外光，但该红外光可以是近红外线光，也可以是近红外线光以外的频带的红外光。

固体摄像元件20对被摄体摄像并输出表示曝光量的摄像信号。更具体地，固体摄像元件20在由处理电路30中生成的曝光信号表示的定时进行曝光，输出表示曝光量的摄像信号。

固体摄像元件20具有将使用照射光由被摄体反射了的反射光来进行摄像的第1像素、和对被摄体摄像的第2像素配置为阵列状而成的像素阵列。固体摄像元件20例如可以根据需要具有防护玻璃、AD转换器等逻辑功能。

以下，与照射光同样，反射光为红外光来进行说明，但反射光只要是照射光由被摄体反射了的光，就不需要限定于红外光。

图2是表示固体摄像元件20所具有的像素阵列2的示意图。

如图2所示那样，像素阵列2配置成阵列状而构成，使得使用照射光由被摄体反射了的反射光来进行摄像的第1像素21(IR像素)和对被摄体摄像的第2像素22(BW像素)以列为单位交替地排列。

另外，在图2中，在像素阵列2中配置成第2像素22和第1像素21排列成在行方向上相邻，并在行方向上排列为条带状，但并不限定于此，也可以每隔多行(作为一例是每隔2行)而配置。即，第2像素22排列成在行方向上相邻的第1行和第1像素21排列成在行方向上相邻的第2行可以每隔M行(M是自然数)交替配置。进而，第2像素22排列成在行方向上相邻的第1行和第1像素21排列成在行方向上相邻的第2行也可隔开不同的行(交替重复第1行为N行、第2行为L行(N和L是不同的自然数))配置。

第1像素21例如用对作为反射光的红外光有灵敏度的红外光像素实现。第2像素22例如用对可见光有灵敏度的可见光像素实现。

红外光像素例如包含仅使红外光透射的光学滤波器(也称作IR滤波器)、微透镜、作为光电变换部的受光元件以及蓄积由受光元件生成的电荷的蓄积部等而构成。因此，由从像素阵列2中所含的多个红外光像素(即第1像素21)输出的摄像信号表现表示红外光的亮度的图像。以下将该红外光的图像也称作IR图像或红外图像。

另外，可见光像素例如包含仅使可见光透射的光学滤波器(也称作BW滤波器)、微透镜、作为光电变换部的受光元件以及蓄积由受光元件变换的电荷的蓄积部等而构成。因此，可见光像素即第2像素22输出表示亮度以及色差的摄像信号。即，通过从像素阵列2中所含的多个第2像素22输出的摄像信号来表现表示可见光的亮度以及色差的彩色图像。另外，可见光像素的光学滤波器可以使可见光和红外光双方透射，也可以仅使可见光当中红(R)、绿(G)或蓝(B)等特定的波段的光透射。

另外，可见光像素可以仅检测可见光的亮度。在该情况下，可见光像素即第2像素22输出表示亮度的摄像信号。因此，由从像素阵列2中所含的多个第2像素22输出的摄像信号表现表示可见光的亮度的黑白的图像、换言之单色的图像。以下将该单色的图像也称作BW图像。另外，将上述的彩色图像以及BW图像也总称作可见光图像。

再次回到图1，继续纵深取得装置1的说明。

处理电路30使用由固体摄像元件20输出的摄像信号来运算被摄体所涉及的被摄体信息。

处理电路30例如包含微型计算机等运算处理装置。微型计算机包含处理器(微处理器)、存储器等，通过由处理器执行存储于存储器的驱动程序，来生成发光信号以及曝光信号。另外，处理电路30可以使用FPGA或ISP等，可以包含1个硬件，也可以包含多个硬件。

处理电路30例如通过使用来自固体摄像元件20的第1像素21的摄像信号进行的TOF测距方式来算出到被摄体的距离。

以下参考附图来说明处理电路30所进行的基于TOF测距方式的到被摄体的距离的算出。

图3是处理电路30使用TOF测距方式进行到被摄体的距离的算出时的光源10的发光元件的发光定时与固体摄像元件20的第1像素21的曝光定时的关系的定时图。

在图3中，Tp是光源10的发光元件发出照射光的发光期间，Td是从光源10的发光元件发出照射光起、到该照射光由被摄体反射的反射光返回固体摄像元件20为止的延迟时间。并且，第1曝光期间成为与光源10发出照射光的发光期间相同的定时，第2曝光期间成为从第1曝光期间的结束时间点到经过发光期间Tp为止的定时。

在图3中，q1表示第1曝光期间内的反射光所引起的固体摄像元件20的第1像素21中的曝光量的总量，q2表示第2曝光期间内的反射光所引起的固体摄像元件20的第1像素21中的曝光量的总量。

通过在图3所示的定时进行光源10的发光元件所进行的照射光的发光和固体摄像元件20的第1像素21所进行的曝光，将光速设为c，则到被摄体的距离d能用以下的(式1)示出。

d＝c×Tp/2×q2/(q1+q2)…(式1)

为此，处理电路30通过利用(式1)，能使用来自固体摄像元件20的第1像素21的摄像信号来算出到被摄体的距离。

另外，固体摄像元件20的多个第1像素21可以在第1曝光期间以及第2曝光期间的结束后仅在第3曝光期间Tp曝光。多个第1像素21能根据在该第3曝光期间Tp得到的曝光量来检测反射光以外的噪声。即，处理电路30通过在上述(式1)中分别从第1曝光期间的曝光量q1以及第2曝光期间的曝光量q2删除噪声，能更正确地算出到被摄体的距离d。

再次回到图1，继续纵深取得装置1的说明。

处理电路30例如可以使用来自固体摄像元件20的第2像素22的摄像信号来进行被摄体的探测、以及到被摄体的距离的算出。

即，处理电路30可以基于由固体摄像元件20的多个第2像素22摄像的可见光图像来进行被摄体的探测以及到被摄体的距离的算出。在此，被摄体的探测例如可以用被摄体的奇点的边缘检测以图案识别进行形状的判别，从而实现，也可以利用事前进行了学习的学习模型通过深度学习(Deep Learning)等处理实现。另外，到被摄体的距离的算出可以使用世界坐标变换进行。当然，也可以不仅利用可见光图像，还利用由第1像素21摄像的红外光的亮度、距离信息，通过多模态的学习处理来实现被摄体的探测。

处理电路30生成表示进行发光的定时的发光信号和表示进行曝光的定时的曝光信号。然后，处理电路30将生成的发光信号向光源10输出，将生成的曝光信号向固体摄像元件20输出。

处理电路30例如可以通过生成并输出发光信号，使得以给定的周期使光源10发光，生成并输出曝光信号，使得以给定的周期使固体摄像元件20曝光，从而使纵深取得装置1实现基于给定的帧频的连续摄像。另外，处理电路30例如包含处理器(微处理器)、存储器等，通过由处理器执行存储于存储器的驱动程序来生成发光信号以及曝光信号。

扩散板50调整照射光的强度分布和角度。另外，在强度分布的调整中，扩散板50使来自光源10的照射光的强度分布一样。另外，在图1所示的示例中，纵深取得装置1具备扩散板50，但也可以不具备该扩散板50。

透镜60是使从纵深取得装置1的外部进入的光在固体摄像元件20的像素阵列2的表面聚光的光学透镜。

带通滤波器70是使作为反射光的红外光、和可见光透射的光学滤波器。另外，在图1所示的示例中，纵深取得装置1具备带通滤波器70，但也可以不具备该带通滤波器70。

上述结构的纵深取得装置1被搭载于运输设备而利用。例如纵深取得装置1搭载于在路面行驶的车辆而利用。另外，搭载纵深取得装置1的运输设备不一定需要限定于车辆。纵深取得装置1例如也可以搭载于摩托车、船、飞机等这样的车辆以外的运输设备来利用。

[纵深取得装置的概要]

本实施方式中的纵深取得装置1用图1所示的硬件结构，通过对实质相同的场景的摄像且实质相同的视点以及相同时刻的摄像来取得IR图像和BW图像。然后，纵深取得装置1使用BW图像来补正从该IR图像得到的该IR图像内的各位置中的纵深。具体地，在IR图像中存在映出粉尘的区域(以下称作粉尘区域)的情况下，纵深取得装置1使用与该粉尘区域对应的BW图像的区域内的图像来补正从该IR图像得到的粉尘区域内的各位置中的纵深。由此，能去除粉尘即噪声的影响而适当地取得粉尘区域的纵深。

图4是表示纵深取得装置1的功能结构的一例的框图。

纵深取得装置1具备光源101、IR摄像机102、BW摄像机103、纵深估计部111和粉尘检测部112。

光源101可以包含图1所示的光源10以及扩散板50。

IR摄像机102可以包含图1所示的固体摄像元件20的多个第1像素21、透镜60以及带通滤波器70。这样的IR摄像机102通过与光源101对被摄体照射红外光的定时相应地进行包含该被摄体的场景的基于红外光的摄像，来取得IR图像。

BW摄像机103可以包含图1所示的固体摄像元件20的多个第2像素22、透镜60以及带通滤波器70。这样的BW摄像机103通过进行与红外图像实质相同的场景的基于可见光的摄像且与该红外图像实质相同的视点以及摄像时刻的摄像，来取得可见光图像(具体是BW图像)。

纵深估计部111以及粉尘检测部112可以作为图1所示的处理电路30的功能、具体地是处理器110的功能而实现。

粉尘检测部112基于通过IR摄像机102的摄像得到的IR图像和通过BW摄像机103的摄像得到的BW图像，来从IR图像检测粉尘区域。换言之，粉尘检测部112将通过摄像得到的IR图像分割成映出粉尘的粉尘区域和未映出粉尘的非粉尘区域。

在IR摄像机102的近旁存在粉尘等微粒子的情况下，在IR图像中，该粉尘作为大的噪声而映出。本实施方式中的粉尘区域是映出粉尘的高亮度的区域。例如在纵深取得装置1的附近存在粉尘的情况下，从光源101对粉尘照射并在被该粉尘反射的红外光以保持高的亮度的状态在固体摄像元件20被接收。因此，在IR图像中，映出粉尘的区域即粉尘区域中的各像素的亮度高。

纵深估计部111估计包含由粉尘检测部112检测到的粉尘区域的IR图像内的各位置处的纵深。具体地，纵深估计部111取得与光源101对被摄体照射红外光的定时相应地IR摄像机102进行摄像而得到的IR图像，基于该IR图像来估计IR图像内的各位置处的纵深。进而，纵深估计部111基于BW图像来补正在由粉尘检测部112检测到的粉尘区域中估计出的各位置处的纵深。即，纵深估计部111基于IR图像、BW图像以及粉尘区域来估计粉尘区域的纵深。

图5是表示纵深取得装置1的功能结构的其他示例的框图。

纵深取得装置1可以具备存储器200和处理器110。

另外，处理器110可以不仅具备纵深估计部111以及粉尘检测部112，还如图5所示那样具备发光定时取得部113、IR图像取得部114以及BW图像取得部115。另外，这些构成要素实现为处理器110的功能。

发光定时取得部113取得表示光源101对被摄体照射红外光的定时的定时信息。即，发光定时取得部113通过将图1所示的发光信号输出到光源101，来取得表示该输出的定时的信息，作为上述的定时信息。

IR图像取得部114取得IR图像，其中该IR图像通过与由该定时信息表示的定时相应且包含被摄体的场景的基于红外光的摄像而得到，并被保持在存储器200。

BW图像取得部115取得BW图像，其中该BW图像通过与上述的IR图像实质相同的场景的基于可见光的摄像且与该IR图像实质相同的视点以及摄像时刻的摄像而得到，并被保持在存储器200。

粉尘检测部112如上述那样从IR图像检测粉尘区域，纵深估计部111基于该IR图像、BW图像以及粉尘区域来估计纵深。

另外，本实施方式中的纵深取得装置1可以不具备光源101、IR摄像机102以及BW摄像机103，由处理器110以及存储器200构成。

图6是表示纵深取得装置1的整体的处理动作的流程图。

(步骤S11)

首先，光源101通过进行发光来对被摄体照射红外光。

(步骤S12)

接下来IR摄像机102取得IR图像。即，IR摄像机102对包含由光源101照射红外光的被摄体的场景进行摄像。由此，IR摄像机102取得基于从被摄体反射的红外光的IR图像。具体地，IR摄像机102取得通过图3所示的第1曝光期间、第2曝光期间以及第3曝光期间各自的定时和曝光量而得到的IR图像。

(步骤S13)

接下来BW摄像机103取得BW图像。即，BW摄像机103取得与步骤S12中取得的IR图像对应的BW图像、即与该IR图像相同场景、相同视点以及相同摄像时刻的BW图像。

(步骤S14)

然后粉尘检测部112从步骤S12中取得的IR图像检测粉尘区域。

(步骤S15)

接下来，纵深估计部111基于步骤S12中取得的IR图像、步骤S13中取得的BW图像以及步骤S14中检测到的粉尘区域来估计粉尘区域的纵深。

图7表示纵深取得装置1的处理器110的整体的处理动作的流程图。

(步骤S21)

首先，处理器110的发光定时取得部113取得表示光源101对被摄体照射红外光的定时的定时信息。

(步骤S22)

接下来，IR图像取得部114从与由步骤S21中取得的定时信息表示的定时相应地进行了摄像的IR摄像机102取得IR图像。例如IR图像取得部114在从发光定时取得部113输出图1所示的发光信号的定时将曝光信号输出到IR摄像机102。由此，IR图像取得部114使IR摄像机102开始摄像，从该IR摄像机102取得通过该摄像得到的IR图像。这时，IR图像取得部114可以经由存储器200从IR摄像机102取得IR图像，也可以从IR摄像机102直接取得。

(步骤S23)

接下来，BW图像取得部115从BW摄像机103取得与步骤S22中取得的IR图像对应的BW图像。这时，BW图像取得部115可以经由存储器200从BW摄像机103取得BW图像，也可以从BW摄像机103直接取得。

(步骤S24)

然后，粉尘检测部112从IR图像检测粉尘区域。

(步骤S25)

接下来，纵深估计部111基于步骤S22中取得的IR图像、步骤S23中取得的BW图像以及步骤S24中检测到的粉尘区域来估计粉尘区域的纵深。由此，至少算出表示该粉尘区域的纵深的纵深信息。另外，这时，纵深估计部111不仅估计粉尘区域，还估计IR图像的整体的纵深，算出表示该估计结果的纵深信息。

具体地，本实施方式中的纵深估计部111从步骤S22中取得的IR图像估计该IR图像内的各位置处的纵深。然后，纵深估计部111使用BW图像来补正粉尘区域内的各位置处的纵深。另外，各位置可以是多个像素各自的位置，也可以是由多个像素构成的块的位置。

在这样的本实施方式中的纵深取得装置1中，从IR图像检测粉尘区域，在该粉尘区域中，不仅基于IR图像还基于BW图像来估计纵深，因此能适当地取得该粉尘区域的纵深。即，在IR图像和BW图像中，成为摄像的对象的场景实质相同，且视点以及摄像时刻也实质相同。因此，IR图像和BW图像有高的相关性。另外，即使在IR图像拍到粉尘，在BW图像拍不到粉尘的可能性也高。因此，能从与该粉尘区域对应的BW图像内的区域(即对应区域)补充粉尘区域中缺失的信息。其结果，能适当地取得粉尘区域的纵深。

[纵深取得装置的具体的功能结构]

图8是表示纵深取得装置1的处理器110的具体的功能结构的框图。

处理器110具备第1纵深估计部111a、第2纵深估计部111b、粉尘检测部112、和高亮度区域检测部116、FOE检测部117以及输出部118。另外，第1纵深估计部111a以及第2纵深估计部111b相当于图5所示的纵深估计部111。另外，处理器110也可以具备上述的发光定时取得部113、IR图像取得部114以及BW图像取得部115。

高亮度区域检测部116在IR图像中检测有第1阈值以上的亮度的区域，作为高亮度区域。

FOE检测部117检测BW图像中的FOE(Focus ofExpansion，延伸焦点)。FOE也称作消失点。已知在IR摄像机102平行移动、被摄体停止的情况下，画面上的看得见的运动即光流在1点相交。这1点是FOE。

粉尘检测部112对IR图像内的至少1个高亮度区域分别判定该高亮度区域是否是粉尘区域。在此，发明者们发现，在IR图像中映出的各粉尘如从FOE吹出那样沿着与该FOE相交的直线或圆弧而较长地形成，或者沿着该直线或圆弧配置。在IR摄像机120设置于汽车等移动体的情况下，粉尘的运动与IR摄像机120的运动比较足够小，能假定为静止。为此在，IR图像中，映出成粉尘从FOE吹出。

另外，在本实施方式中的纵深取得装置1中，出于噪声除去的观点，IR图像以及BW图像的各自的1帧的图像是通过反复多次曝光和遮光的摄像而得到的图像。为此，通过在帧周期内的相互不同定时的曝光，相同粉尘在1帧中的多个部位映出。在图像上，由于粉尘如从FOE吹出那样移动，因此，位于该多个部位的各自的粉尘区域和FOE配置在直线上。另外，在对相同粉尘摄像的IR摄像机120的运动缓慢的情况下，通过1帧周期中的多次曝光产生的多个粉尘区域在IR图像中重叠。其结果，形成拖尾那样的形状的1个粉尘区域。在该情况下，在从该粉尘区域来看的尾的朝向上存在FOE。粉尘检测部112利用这些性质来检测粉尘区域。

即，本实施方式中的粉尘检测部112在IR图像当中有第1阈值以上的亮度的高亮度区域满足第1条件的情况下，将该高亮度区域检测为粉尘区域。具体地，该第1条件是在与IR图像中的与高亮度区域不同的其他至少2个高亮度区域各自的重心、和IR图像或BW图像的FOE(Focus of Expansion，延伸焦点)相交的直线上或圆弧上配置该高亮度区域的重心的条件。或者，第1条件是高亮度区域的主轴或该主轴的延长线与IR图像或BW图像的FOE相交的条件。另外，该主轴是高亮度区域为拖尾的形状的情况下的该尾的轴。由此，能高精度地检测粉尘区域。

另外，粉尘检测部112可以进一步使用即使在IR图像中观测到粉尘区域在BW图像中也观测不到粉尘区域的性质来检测粉尘区域。即，粉尘检测部112可以在高亮度区域进一步满足第2条件的情况下将该高亮度区域检测为粉尘区域。例如，第2条件是与IR图像内的高亮度区域的重心对应的BW图像内的位置的亮度小于第2阈值的条件。或者，第2条件是IR图像的高亮度区域内的亮度、和与该高亮度区域对应的BW图像的区域内的亮度之间的相关系数小于第3阈值的条件。另外，与IR图像的高亮度区域对应的BW图像的区域是与IR图像的高亮度区域在空间上相同的位置且具有与IR图像的高亮度区域相同形状以及尺寸的区域。由此，能进一步高精度地检测粉尘区域。

第1纵深估计部111a以及第2纵深估计部111b具有作为上述的纵深估计部111的功能。

第1纵深估计部111a基于与光源101的红外光的照射的定时相应地取得的IR图像来估计该IR图像内的各位置处的纵深。第1纵深估计部111a将表示估计出的该IR图像内的各位置处的纵深的信息作为第1纵深信息而输出。即，第1纵深估计部111a估计表示IR图像内的各位置处的纵深的第1纵深信息。

第2纵深估计部111b基于BW图像和IR图像内的粉尘区域来补正第1纵深信息。由此，将由第1纵深信息表示的IR图像内的各位置处的纵深当中粉尘区域的纵深补正。第2纵深估计部111b将表示该粉尘区域内的各位置处的补正后的纵深的信息作为第2纵深信息而输出。即，第2纵深估计部111b通过基于BW图像补正由第1纵深信息表示的粉尘区域内的各位置处的纵深，来估计表示该粉尘区域内的各位置处的补正后的纵深的第2纵深信息。

输出部118将由第1纵深信息表示的粉尘区域内的各位置处的纵深置换成由第2纵深信息表示的粉尘区域内的各位置处的补正后的纵深。由此，生成第3纵深信息，该第3纵深信息包含由第1纵深信息表示的IR图像的粉尘区域以外的各位置处的纵深、和由第2纵深信息表示的IR图像的粉尘区域内的各位置处的补正后的纵深。输出部118输出该第3纵深信息。

由此，第3纵深信息表示从该IR图像得到的纵深，作为IR图像的粉尘区域外的纵深，表示从该IR图像得到并基于BW图像补正过的纵深，作为IR图像的粉尘区域的纵深。因此，在本实施方式中，在IR图像中有粉尘区域的情况下，也能适当地估计该IR图像的整体的纵深。

图9A表示IR图像的一例。图9B表示BW图像的一例。

如图9B所示那样，在BW图像中，通过例如安装于车辆的BW摄像机103所进行的摄像，被映出该车辆正行驶的道路的周围远离BW摄像机103的场景。在该道路中，例如通过车辆的行驶而粉尘飞舞。为此，若IR摄像机102在与BW摄像机103相同视点以及相同时刻对与该图9B所示的场景相同的场景进行摄像，就取得图9A所示的IR图像。

在上述那样取得的IR图像中，如图9A所示那样存在高的亮度的区域。在这些区域中包含映出粉尘的区域即粉尘区域。例如，确认到在IR图像的中央部和右侧的部分存在该粉尘区域。另一方面，在BW图像中未映出粉尘。这是因为，在IR图像的摄像中，从光源101照射的红外光由于位于IR摄像机102以及BW摄像机103的近旁的粉尘而漫反射，但在BW图像的摄像中，该漫反射的影响小的缘故。为此，粉尘检测部112利用虽然在IR图像中观测到粉尘区域但在BW图像中观测不到粉尘区域的性质来检测粉尘区域。

图10表示通过IR图像的二值化得到的二值化图像的一例。

高亮度区域检测部116在图9A所示的IR图像中将有第1阈值以上的亮度的区域检测为高亮度区域。即，高亮度区域检测部116将IR图像内的各位置(即各像素)处的亮度二值化。其结果，例如如图10所示那样，生成包含白色的区域和黑色的区域(图10中打阴影的区域)的二值化图像。

图11表示IR图像内的粉尘区域的候补的一例。

粉尘检测部112首先检测二值化图像内的白色的区域即高亮度区域的重心。这样的重心的检测对二值化图像内的全部高亮度区域分别进行。接下来，粉尘检测部112对该二值化图像中的全部高亮度区域分别判定与该高亮度区域的重心对应的BW图像内的位置(以下称作重心对应位置)的亮度是否小于第2阈值。即，粉尘检测部112判定高亮度区域是否满足上述的第2条件。其结果，粉尘检测部112将与判别为亮度小于第2阈值的重心对应位置相对应的高亮度区域决定为粉尘区域的候补。例如如图11所示那样，粉尘检测部112将5个高亮度区域A～E分别检测为粉尘区域的候补。即，IR图像或二值化图像被区域分割成5个粉尘候补区域A～E、和不是粉尘区域的非粉尘区域。

图12表示对BW图像检测的FOE的一例。

FOE检测部117从例如包含图9B所示的BW图像的多帧的BW图像检测光流，通过用RANSAC(Random Sample Consensus，随机采样一致性)等鲁棒性估计求取光流的交点来检测FOE。

图13表示对粉尘候补区域A～E检测的主轴的一例。

粉尘检测部112对如图11所示那样检测到的粉尘候补区域A～E分别检测主轴。具体地，粉尘检测部112通过对IR图像或二值化图像中的粉尘候补区域的各像素进行主分量分析，来将第1主分量轴检测为其粉尘候补区域的主轴。

图14表示粉尘区域以及非粉尘区域的一例。

粉尘检测部112对IR图像或二值化图像中的粉尘候补区域A～E分别判定该粉尘候补区域的主轴或该主轴的延长线是否与由FOE检测部117检测到的FOE相交。即，粉尘检测部112判定粉尘候补区域是否满足上述的第1条件。然后，粉尘检测部112将具有与FOE相交的主轴或延长线的粉尘候补区域检测为粉尘区域，将具有不与FOE相交的主轴或延长线的粉尘候补区域检测为非粉尘区域。例如，如图14所示那样，粉尘候补区域B、C以及E各自的主轴的延长线与FOE相交，粉尘候补区域A以及D各自的主轴及其延长线不与FOE相交。因此，粉尘检测部112将粉尘候补区域B、C以及E检测为粉尘区域，将粉尘候补区域A以及D检测为非粉尘区域。

图15A表示IR图像的其他示例。图15B表示BW图像的其他示例。

图15B所示的BW图像是通过与图9B所示的BW图像不同的定时的摄像得到的图像。在该图15B所示的BW图像中，与图9B所示的示例同样，通过安装于车辆的BW摄像机103的摄像而映出该车辆正行驶的道路的周围靠近BW摄像机103的场景。另外，在该道路，例如由于车辆的行驶而粉尘飞舞。为此，若IR摄像机102在与BW摄像机103相同视点以及相同时刻对该图15B所示的场景相同的场景摄像，就取得图15A所示的IR图像。

在如此取得的IR图像中，如图15A所示那样存在高的亮度的区域。在这些区域中包含映出粉尘的区域即粉尘区域。例如确认到在IR图像的左侧的部分存在该粉尘区域。另一方面，与图9B所示的示例同样，在BW图像中未映出粉尘。

图16表示通过IR图像的二值化得到的二值化图像的一例。

高亮度区域检测部116在图15A所示的IR图像中将有第1阈值以上的亮度的区域检测为高亮度区域。即，高亮度区域检测部116将IR图像内的各位置(即各像素)处的亮度二值化。其结果，例如如图16所示那样，生成包含白色的区域和黑色的区域(图16中打阴影的区域)的二值化图像。

图17表示IR图像内的粉尘区域的候补的一例。

粉尘检测部112首先检测二值化图像内的白色的区域即高亮度区域的重心。这样的重心的检测对二值化图像内的全部高亮度区域分别进行。接下来，粉尘检测部112对该二值化图像中的全部高亮度区域分别判别与该高亮度区域的重心对应的BW图像内的位置(即重心对应位置)的亮度是否小于第2阈值。即，粉尘检测部112判别高亮度区域是否满足上述的第2条件。其结果，粉尘检测部112将与判别为亮度小于第2阈值的重心对应位置相对应的高亮度区域决定为粉尘区域的候补。例如如图17所示那样，粉尘检测部112将包含多个高亮度区域的区域群A、高亮度区域B、包含多个高亮度区域的区域群C、和高亮度区域D分别检测为粉尘区域的候补。即，IR图像或二值化图像被区域分割成粉尘候补区域和不是粉尘区域的非粉尘区域。粉尘候补区域包含区域群A中所含的各区域、区域B、区域群C中所含的各区域、和区域D。

图18表示对BW图像检测的FOE的一例。

FOE检测部117例如从包含图15B所示的BW图像的多帧的BW图像检测光流，通过用RANSAC(Random Sample Consensus，随机采样一致性)等鲁棒性估计求取光流的交点，来检测FOE。

图19表示各粉尘候补区域的配置的一例。

例如在搭载IR摄像机102的车辆的车速快的情况下，如上述那样，通过在帧周期内的相互不同定时的曝光，相同粉尘在1帧的IR图像中的多个部位映出。由于粉尘如从FOE吹出那样移动，因此位于该多个部位的各自的粉尘区域和FOE被配置在直线上。另外，在IR摄像机102的镜头中使用广角镜头或鱼眼镜头等的情况下，该镜头的失真大。在镜头失真的影响大的情况下，画面上的看得见的运动即光流不在1点相交，为此，各粉尘区域以及FOE也存在于直线上。如此地，在镜头的失真大的情况下，各粉尘区域以及FOE由于镜头失真的影响而配置在圆弧上。

在图19所示的示例的情况下，粉尘检测部112判定图17所示那样检测到的区域群A的各粉尘候补区域、粉尘候补区域B、区域群C的各粉尘候补区域、和粉尘候补区域D是否分别与FOE一起配置在圆弧上。即，粉尘检测部112在对1个粉尘候补区域进行判定的情况下，判定在该判定对象的与粉尘候补区域不同的其他至少2个粉尘候补区域各自的重心、和BW图像的FOE相交的圆弧上是否配置了该判定对象的粉尘候补区域的重心。即，粉尘检测部112判定粉尘候补区域即高亮度区域是否满足上述的第1条件。若判定对象的粉尘候补区域的重心被配置在圆弧上，则粉尘检测部112就将该粉尘候补区域检测为粉尘区域。反之，若判定对象的粉尘候补区域的重心未被配置在圆弧上，则粉尘检测部112就将该粉尘候补区域检测为非粉尘区域。

因此在图19所示的示例中，由于区域群A中所含的多个粉尘候补区域的各自和FOE配置在圆弧上，因此，粉尘检测部112将区域群A中所含的多个粉尘候补区域分别检测为粉尘区域。同样地，由于区域群B中所含的多个粉尘候补区域的各自和FOE配置在圆弧上，因此粉尘检测部112将区域群B中所含的多个粉尘候补区域也分别检测为粉尘区域。另一方面，由于粉尘候补区域B以及D分别未被配置在与其他至少2个粉尘候补区域和FOE相交的圆弧上，因此粉尘检测部112将粉尘候补区域B以及D分别检测为非粉尘区域。

另外，在镜头的失真大的情况下，粉尘检测部112也可以对被摄像的BW图像和IR图像实施失真补正处理。例如粉尘检测部112可以利用非专利文献(R.Tsai，“A versatilecamera calibration technique for high-accuracy3D machine vision metrologyusing off-the-shelf TV cameras and lenses”，IEEE Journal on Robotics andAutomation，Vol.3，Iss.4，pp.323-344，1987.)等的摄像机校准方法来实施失真补正处理。在该情况下，若在实施过失补正处理的IR图像或其二值化图像中，判定对象的粉尘候补区域配置于与其他至少2个粉尘候补区域和FOE相交的直线上，则粉尘检测部112就将该判定对象的粉尘候补区域检测为粉尘区域。

图20示出纵深取得装置1的仿真结果。

纵深取得装置1通过BW摄像机103的摄像取得图20的(a)所示的BW图像，进而通过IR摄像机102的摄像取得图20的(b)所示的IR图像。该BW图像以及IR图像是通过在相同视点以及相同时刻对相同场景进行摄像而得到的图像。在图20的(b)所示的示例中，在IR图像中存在几个粉尘区域。

第1纵深估计部111a通过从该IR图像估计纵深来生成图20的(c)所示的第1纵深信息。该第1纵深信息被表现为用亮度表示IR图像内的各位置处的纵深的第1纵深图像。在该第1纵深图像中，不适当地表现粉尘区域的纵深。

第2纵深估计部111b对该粉尘区域中的不适当的纵深进行补正。然后，如图20的(e)所示那样，输出部118生成表示该粉尘区域的补正过的纵深和非粉尘区域的纵深的第3纵深信息。该第3纵深信息也与第1纵深信息同样，表现为用亮度表示纵深的第3纵深图像。另外，第2纵深估计部111b可以基于BW图像的对应区域对第1纵深图像中的非粉尘区域的纵深也进行补正。

如此地，在本实施方式中的纵深取得装置1中，在包含粉尘区域的图像整体中，能使第3纵深图像接近于图20的(d)所示的正解的纵深图像。

[纵深取得装置的具体的处理流程]

图21是表示图8所示的纵深取得装置1的整体的处理动作的流程图。

(步骤S31)

首先，高亮度区域检测部116从IR图像检测高亮度区域。

(步骤S32)

粉尘检测部112决定高亮度区域是否是粉尘候补区域。由此，将IR图像分割成粉尘候补区域和非粉尘区域。

(步骤S33)

FOE检测部117利用BW图像来检测FOE。

(步骤S34)

粉尘检测部112基于粉尘候补区域和FOE来检测粉尘区域。由此，IR图像被分割成粉尘区域和非粉尘区域。

(步骤S35)

第1纵深估计部111a例如使用TOF，来从IR图像生成第1纵深信息。

(步骤S36)

第2纵深估计部111b基于IR图像的第1纵深信息和BW图像来生成表示粉尘区域的纵深的第2纵深信息。

(步骤S37)

输出部118通过将由该第1纵深信息表示的粉尘区域的纵深置换成由第2纵深信息表示的纵深来生成第3纵深信息。

图22是表示图21的步骤S31～S34的详细的处理的一例的流程图。

(步骤S41)

首先，高亮度区域检测部116判定IR图像内的各位置处的亮度是否是第1阈值以上。在此，例如若IR图像是12比特灰度的图像，则第1阈值可以是256程度。当然，该第1阈值也可以是按照环境条件或IR摄像机102的设定而变化的值。例如，在对夜晚这样的暗的场景摄像的情况下，由于IR图像整体的亮度变低，因此第1阈值可以是比对白天的明亮的场景摄像的情况小的值。另外，在IR摄像机102的曝光时间长的情况下，由于IR图像整体的亮度变高，因此第1阈值可以是比曝光时间短的情况大的值。

(步骤S42)

在此，若判定为哪个位置处的亮度都不是第1阈值以上(步骤S41“否”)，高亮度区域检测部116就判定为在该IR图像中未映出粉尘。即，IR图像的整体被判定为非粉尘区域。

(步骤S43)

另一方面，若判定为任意位置处的亮度为第1阈值以上(步骤S41“是”)，则高亮度区域检测部116将IR图像进行区域分割。即，高亮度区域检测部116将IR图像分割成至少1个高亮度区域和高亮度区域以外的区域。在该区域分割中可以利用例如SuperPixel等基于亮度的手法。另外，高亮度区域检测部116可以在该区域分割中进行利用了区域的大小的过滤处理。例如若高亮度区域内的像素数为预先确定的数以下，则高亮度区域检测部116也可将该高亮度区域删除。即，高亮度区域检测部116即使检测到高亮度区域，若该区域的像素数少，就将该高亮度区域重新分类成高亮度区域以外的区域。

(步骤S44)

接下来，粉尘检测部112对通过步骤S43的区域分割检测到的至少1个高亮度区域分别检测其该高亮度区域的重心。具体地，粉尘检测部112通过算出高亮度区域中所含的多个像素的X轴坐标位置以及Y轴坐标位置各自的平均值，来检测该高亮度区域的重心。

(步骤S45a)

粉尘检测部112判定与该高亮度区域的重心对应的BW图像内的位置(即重心对应位置)的亮度是否小于第2阈值。即，粉尘检测部112判定高亮度区域是否满足第2条件。若判定为并非小于第2阈值(步骤S45a“否”)，则粉尘检测部112将该高亮度区域判别为非粉尘区域(步骤S42)。即，在该情况下，估计为在IR图像的高亮度区域和BW图像内的与该高亮度区域对应的区域的各自中映出光的反射率高的被摄体。因此，在该情况下，将该高亮度区域判别为非粉尘区域。另外，例如若BW图像是12比特灰度的图像，则第2阈值也可是20000程度。当然，该第2阈值可以是按照环境条件或BW摄像机103的设定而变化的值。例如在对夜晚这样的暗的场景摄像的情况下，由于BW图像整体的亮度变低，因此第2阈值可以是比对白天的明亮的场景摄像的情况小的值。另外，在BW摄像机103的曝光时间长的情况下，由于BW图像整体的亮度变高，因此第2阈值可以是比曝光时间短的情况大的值。

(步骤S46)

另一方面，若由粉尘检测部112判定为重心对应位置的亮度小于第2阈值(步骤S45a“是”)，则FOE检测部117基于BW图像检测FOE。

(步骤S47a)

粉尘检测部112判定步骤S44中检测到的3个以上的粉尘候补区域的重心和FOE是否被配置在直线上。即，粉尘检测部112判定粉尘候补区域是否满足上述的第1条件。具体地，粉尘检测部112进行3个以上粉尘候补区域各自的重心、和与FOE相交的直线的拟合，判定该直线与各重心之间的误差(即距离)是否是容许值以下。由此判定3个以上粉尘候补区域各自的重心和FOE是否被配置在直线上。若误差为容许值以下，则判定为这些粉尘候补区域的重心和FOE被配置在直线上，若误差不是容许值以下，则判定为这些粉尘候补区域的重心和FOE未配置在直线上。

(步骤S50)

粉尘检测部112若判定为各粉尘候补区域的重心和FOE被配置在直线上(步骤S47a“是”)，则将这些粉尘候补区域判别为粉尘区域。

(步骤S48)

另一方面，粉尘检测部112若判定为3个以上粉尘候补区域的重心和FOE未被配置在直线上(步骤S47a“否”)，则检测各粉尘候补区域的主轴。

(步骤S49)

接下来，粉尘检测部112判定步骤S48中检测到的各粉尘候补区域的主轴或其延长线是否与FOE相交。即，粉尘检测部112判定粉尘候补区域是否满足与步骤S47a的第1条件不同的其他第1条件。在此，粉尘检测部112若判定为主轴或其延长线与FOE相交(步骤S49“是”)，就将具有该主轴的粉尘候补区域判别为粉尘区域(步骤S50)。另一方面，粉尘检测部112若判定为主轴或其延长线不与FOE相交(步骤S49“否”)，就将具有该主轴的粉尘候补区域判别为非粉尘区域(步骤S42)。

在这样的手法中，需要视点位置实质相等的IR图像和BW图像。在本实施方式中的纵深取得装置1中，按每个像素将在该像素中所用的滤波器设定为IR滤波器以及BW滤波器的任一者。即，如图2所示那样，具有IR滤波器的第1像素21和具有BW滤波器的第2像素22在列方向上交替地排列。由此，由于能取得实质相同视点以及相同时刻的IR图像和BW图像，因此能适当地判别粉尘区域。

图23是表示图21的步骤S31～S34的详细的处理的其他示例的流程图。图23所示的流程图取代图22的流程图的各步骤当中的步骤S47a而包含步骤S47b。

(步骤S47b)

例如在IR摄像机102的镜头的失真大的情况下，如上述那样，各粉尘区域以及FOE不是配置在直线上，而是配置在与镜头失真相应的圆弧上。

因此，粉尘检测部112可以判定步骤S44中检测到的3个以上的粉尘候补区域的重心和FOE是否配置在圆弧上。具体地，粉尘检测部112求取3个以上粉尘候补区域各自的重心和FOE的近似曲线，判定该近似曲线与各重心之间的误差(即距离)是否在容许值以下。由此判定3个以上粉尘候补区域各自的重心和FOE是否配置在圆弧上。即，若误差为容许值以下，则判定为这些粉尘候补区域的重心和FOE配置在圆弧上，若误差不是容许值以下，则判定为这些粉尘候补区域的重心和FOE未配置在圆弧上。另外，上述的近似曲线以设为判定对象的3个以上粉尘候补区域的数量以下的次数表现。

另外，在步骤S46，FOE检测部117不是从BW图像而是从多个IR图像检测光流，通过RANSAC等鲁棒性估计来求取光流的交点，将该交点检测为FOE。另外也可以，FOE检测部117检测IR摄像机102或BW摄像机103的运动，通过利用了该运动、和IR摄像机102或BW摄像机103的内部参数的运算来检测FOE。

图24是表示取代图21的步骤S31～S34的处理的一例的流程图。在图24所示的流程图中省去图21的步骤S32。换言之，在图24所示的流程图中，省去图22的流程图的步骤S45a。

即，在图21～图23所示的示例中，粉尘检测部112利用粉尘即使在IR图像中被观测到但在BW图像中也观测不到的性质来判定高亮度区域是否是粉尘候补区域。即，如图22以及图23的各个步骤S45a所示那样，粉尘检测部112基于BW图像中的重心对应位置的亮度来判定高亮度区域是否是粉尘候补区域。但也可以如图24所示的流程图那样，粉尘检测部112进行步骤S45a的判定。在该情况下，通过步骤S43的区域分割得到的任何高亮度区域都作为粉尘候补区域来处置。

图25是表示图21的步骤S31～S34的详细的处理的其他示例的流程图。图25所示的流程图取代图22的流程图的各步骤当中的步骤S45a而包含步骤S45b。

为了粉尘候补区域的决定，可以更积极地利用粉尘即使在IR图像中被观测到但在BW图像也观测不到的性质。例如，可以将IR图像与BW图像的相关系数作为该性质来利用。如前述那样，若存在粉尘，则虽然在IR图像中映出该粉尘，但在BW图像中未映出该粉尘。即，在BW图像中，由于映出更远方的被摄体，因此在视点位置分别相等的IR图像和BW图像中图像较大不同。为此，通过利用IR图像与BW图像的相关系数判断映出的被摄体是相等还是不相等，能判别各高亮度区域是否是粉尘候补区域。

(步骤S45b)

在步骤S45b，粉尘检测部112对通过步骤S43的区域分割得到的至少1个高亮度区域分别算出IR图像的该高亮度区域、和与该高亮度区域对应的BW图像内的区域(即对应区域)之间的亮度的相关系数。将IR图像和BW图像各自的各像素的亮度在每个区域矢量状排列，计算其内积值，以像素数进行归一化，由此求取相关系数。即，粉尘检测部112将包含IR图像的高亮度区域中的各像素的亮度的矢量、与包含BW图像的对应区域中的各像素的亮度的矢量的内积值归一化。由此，算出针对该高亮度区域的相关系数。

然后，粉尘检测部112判定该算出的相关系数是否小于第3阈值。即，粉尘检测部112判定该高亮度区域是否满足上述的第2条件。在此，在并非小于第3阈值的情况下(步骤S45b“否”)，由于在该IR图像的高亮度区域和BW图像的对应区域中映出相同被摄体，因此有相关系数高的可能性。因此，在该情况下，粉尘检测部112判别为该高亮度区域不是粉尘区域(步骤S42)。另一方面，在相关系数小于第3阈值的情况下(步骤S45b“是”)，由于在该IR图像的高亮度区域和BW图像的对应区域映出不同的被摄体，因此有相关系数低的可能性。因此，在该情况下，粉尘检测部112判别为该高亮度区域是粉尘候补区域(步骤S50)。

另外，可以在粉尘区域和非粉尘区域的判别中利用学习处理来实现。在学习处理中例如利用深度学习(Deep Learning)等处理即可。在该情况下，为了学习，事前准备IR图像以及BW图像、和该IR图像被分割成粉尘区域和非粉尘区域的正解图像。接下来，将作为输入的该IR图像以及BW图像给到学习模型。然后，使该学习模型学习，以使得针对该输入而从学习模型的输出与正解图像一致。例如学习模型是神经网络。从该学习模型的输出是对每个像素表示数值“0”或数值“1”的图像，数值“0”表示该像素属于非粉尘区域，数值“1”表示该像素属于粉尘区域。

粉尘检测部112通过利用这样事前进行学习的学习模型来进行粉尘区域和非粉尘区域的判别。即，粉尘检测部112将IR图像和BW图像作为输入而输入到学习模型。然后，粉尘检测部112将从学习模型输出的包含与数值“0”对应的像素的区域判别为非粉尘区域。进而，粉尘检测部112将从学习模型输出的包含与数值“1”对应的像素的区域判别为粉尘区域。

通过以上的处理，粉尘检测部112将摄像的IR图像分割成映出粉尘的粉尘区域和未映出粉尘的非粉尘区域。

<纵深补正处理>

第2纵深估计部111b利用BW图像、第1纵深信息以及粉尘区域(即上述的区域的判别结果)来生成第2纵深信息。

如上述那样，粉尘引起的噪声是基于从光源101照射的红外光的漫反射所引起的现象。为此，在IR图像中作为噪声而映出的粉尘在BW图像中不被映出的情况较多。为此，仅粉尘区域不是从IR图像求得的第1纵深信息，通过利用BW图像对第1纵深信息进行补正，能取得不受在IR图像映出的粉尘的影响的第2纵深信息。

在第2纵深信息的取得中，可以利用作为图像补正滤波器的一种的导向滤波器。关于导向滤波器，在非专利文献(Kaiming He，Jian Sun and Xiaoou Tang，“Guided ImageFiltering”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.35，Iss.6，pp.1397-1409，2013.)公开。导向滤波器是利用对象图像与参考图像的相关来补正该对象图像的滤波器。在导向滤波器中，参考图像I和对象图像p如以下的(式2)所示那样假定为用参数a和b表现。

[数学式1]

在此，q表征对对象图像p进行过补正的输出图像，i表征各像素的编号，ωk表征像素k的周边区域。另外，参数a和b用以下的(式3)表现。

[数学式2]

其中，ε是正则化参数。另外，μ和σ是参考图像的块内的平均和方差，用以下的(式4)计算。

[数学式3]

其中，为了抑制求得的参数a和b中所含的噪声，利用平均化的参数，如以下的(式5)那样求取输出。

[数学式4]

在本实施方式中，第2纵深估计部111b通过作为参考图像而给出BW图像，来对对象图像即第1纵深信息(或第1纵深图像)进行补正。由此生成或取得第2纵深信息。在这样的第2纵深信息的生成中，需要视点位置实质相等的IR图像和BW图像。在本实施方式的纵深取得装置1中，对每个像素，将在该像素中所用的滤波器设定为IR滤波器以及BW滤波器的任一者。即，如图2所示那样，具有IR滤波器的第1像素21和具有BW滤波器的第2像素22在列方向上交替排列。由此，由于能取得实质相同视点的IR图像和BW图像，因此能取得适当的第2纵深信息。

当然，第2纵深估计部111b也可以使用导向滤波器以外的处理。例如第2纵深估计部111b可以使用双边滤波器(非专利文献：C.Tomasi，R.Manduchi，“Bilateral filteringfor gray and color images”，IEEE International Conference on Computer Vision(ICCV)，pp.839-846，1998)、或Mutual-Structure for Joint Filtering(非专利文献：Xiaoyong Shen，Chao Zhou，Li Xu and Jiaya Jia，“Mutual-Structure for JointFiltering”，IEEE International Conference on Computer Vision(ICCV)，2015.)等的处理。

如以上那样，在本实施方式中，在判别为未映出粉尘的区域(即非粉尘区域)利用第1纵深信息，在映出粉尘的区域(即粉尘区域)利用第2纵深信息。由此，即使在IR图像中映出粉尘，也能取得更高精度的纵深信息。

(变形例)

在上述实施方式中，在第2纵深信息的生成中使用导向滤波器等滤波器，但也可以使用学习模型来生成第2纵深信息。

例如，可以如非专利文献(Shuran Song，Fisher Yu，Andy Zeng，Angel X.Chang，Manolis Savva and Thomas Funkhouser，“Semantic Scene Completion from a SingleDepth Image”，IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，pp.190-198，2017.)那样，利用作为学习处理的深度学习(Deep Learning)。即，可以使学习模型学习，使得若输入BW图像和第1纵深信息，就输出第2纵深信息。在上述非专利文献中，提出若输入包含缺损区域的纵深信息和彩色图像就对该纵深信息的缺损区域进行插补的网络。本实施方式中的第2纵深估计部111b对与该非专利文献同样的网络(即学习模型)给予IR图像、BW图像以及第1纵深信息，进而给予由粉尘检测部112检测到的粉尘区域，作为缺损区域的掩模图像。由此，能从该网络取得更高精度的第2纵深信息。

图26是表示本变形例中的纵深取得装置1的功能结构的一例的框图。

本变形例中的纵深取得装置1具备图8所示的各构成要素，进而具备例如包含神经网络等构成的学习模型104。

第2纵深估计部111b对该学习模型104输入IR图像、BW图像以及第1纵深信息这3种类的数据，利用粉尘区域作为补正的掩模区域，来生成第2纵深信息。

在学习模型104的学习中，除了IR图像、BW图像以及第1纵深信息以外，还事前准备正解纵深图像。接下来，将IR图像、BW图像、第1纵深信息、和指定粉尘区域的掩模图像作为输入而提供给学习模型104。然后，使该学习模型104学习，以使得针对该输入而从学习模型104的输出与正解纵深图像一致。另外，在学习时，随机给出掩模图像。第2纵深估计部111b利用如此事前进行过学习的学习模型104。即，第2纵深估计部111b通过将IR图像、BW图像、第1纵深信息、和指定粉尘区域的掩模图像输入到学习模型104，能取得从该学习模型104输出的第2纵深信息。

如此地，在本变形例中，第2纵深估计部111b估计表示IR图像内的各位置处的纵深的纵深信息，通过将IR图像、BW图像、粉尘区域以及该纵深信息输入到学习模型，来补正由该纵深信息表示的粉尘区域内的各位置处的纵深。因此，若使学习模型预先学习，以使得针对IR图像、BW图像、粉尘区域以及纵深信息的输入而输出粉尘区域内的各位置处的正解的纵深，则能适当地补正从IR图像估计的纵深信息。即，能适当地补正由纵深信息表示的粉尘区域内的各位置处的纵深。

如以上那样，第2纵深估计部111b可以利用深度学习(Deep Learning)。在该情况下，可以不需要输出粉尘区域，而是通过深度学习(Deep Learning)直接生成第2纵深信息。

图27是表示本变形例中的纵深取得装置1的功能结构的其他示例的框图。

本变形例中的纵深取得装置1不具备图26所示的各构成要素当中粉尘检测部112、高亮度区域检测部116以及FOE检测部117，具备这些以外的构成要素。

在学习模型104的学习中，与图26所示的示例同样，除了IR图像、BW图像以及第1纵深信息以外，还事前准备正解纵深图像。接下来，将IR图像、BW图像和第1纵深信息作为输入而提供给学习模型104。然后，使该学习模型104学习，以使得针对该输入的从学习模型104的输出与正解纵深图像一致。作为学习模型104，可以如非专利文献(Caner Hazirbas，Laura Leal-Taixe and Daniel CremersC.Hazirbas，“Deep Depth From Focus”，InArXiv preprint arXiv，1704.01085，2017.)那样，使用追加了跳过结合的VGG-16网络。变更学习模型104的通道数，以使对该学习模型104，作为输入而给予IR图像、BW图像和第1纵深信息。通过利用如此事前进行过学习的学习模型104，第2纵深估计部111b能通过将IR图像、BW图像和第1纵深信息输入到学习模型104来从该学习模型104简单地取得第2纵深信息。

即，图27所示的纵深取得装置1具备存储器和处理器110。另外，虽然存储器在图27中未图示，但可以如图5所示那样装备在纵深取得装置1。处理器110取得表示光源101对被摄体照射红外光的定时的定时信息。接下来，处理器110取得IR图像，其中该IR图像通过与由该定时信息表示的定时相应的、包含被摄体的场景的基于红外光的摄像而取得，并被保持在存储器。接下来，处理器110取得BW图像，其中该BW图像通过与该IR图像实质相同的场景的基于可见光的摄像且与该IR图像实质相同的视点以及摄像时刻的摄像而得到，并被保持在存储器。然后，处理器110的第1纵深估计部111a估计表示该IR图像内的各位置处的纵深的纵深信息。第2纵深估计部111b通过将该IR图像、BW图像以及纵深信息输入到学习模型104，来补正由该纵深信息表示的IR图像的粉尘区域内的各位置处的纵深。

因此，若使学习模型104预先学习，以使针对IR图像、BW图像以及纵深信息的输入而输出IR图像的粉尘区域内的各位置处的正解的纵深，就能适当地补正从IR图像估计的纵深信息。即，不检测粉尘区域就能适当地补正由纵深信息表示的粉尘区域内的各位置处的纵深。

以上，在本实施方式及其变形例中的纵深取得装置1中，即使是在IR图像中有粉尘区域的情况，也能通过使用BW图像的对应区域的图像来取得该粉尘区域内的各位置处的合适的纵深。

另外，在上述各实施方式中，各构成要素可以用专用的硬件构成，或通过执行适合各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等程序执行部将记录于硬盘或半导体存储器等记录介质的软件程序读出并执行来实现。在此，实现上述实施方式以及变形例的纵深取得装置等的软件使计算机执行图6、图7、以及图21～图25的任一者的流程图中所含的各步骤。

以上对一个或多个方案所涉及的纵深取得装置基于实施方式及其变形例进行了说明，但本公开并不限定于该实施方式以及其变形例。只要不脱离本公开的主旨，对本实施方式以及变形例实施本领域技术人员想到的各种变形而得到的方案、将实施方式以及变形例中的构成要素组合而构建的形态也可以包含在本公开的范围内。

例如在上述实施方式及其变形例中，粉尘检测部112检测粉尘区域，但只要是与粉尘同样作为噪声而映出物体的区域，就也可以检测粉尘区域以外的区域。例如，粉尘检测部112可以检测映出雨滴的雨区域、或映出雪粒的雪区域。在下小雨的环境中，在相对于由BW摄像机103或BW图像取得部115取得的BW图像的解析度而雨滴的大小充分小的情况下，在该BW图像中不会拍到雨滴。但在由IR摄像机102或IR图像取得部114取得的IR图像中，来自光源101的红外光在雨滴反射而被观测成高亮度。为此，在第1纵深估计部111a生成的第1纵深信息或第1纵深图像中，雨区域的纵深变得不合适。同样地，在降雪环境中，在相对于由BW摄像机103或BW图像取得部115取得的BW图像的解析度而雪粒的大小充分小的情况下，在该BW图像中不会拍进雪粒。但在由IR摄像机102或IR图像取得部114取得的IR图像中，来自光源101的红外光在雪粒反射而被观测成高亮度。为此，在第1纵深估计部111a生成的第1纵深信息或第1纵深图像中，雪区域的纵深变得不合适。为此，粉尘检测部112用与粉尘区域的检测同样的手法检测雨区域或雪区域。其结果，第2纵深估计部111b利用BW图像、第1纵深信息以及由粉尘检测部112检测到的区域(即雨区域或雪区域)，来生成第2纵深信息。由此，能取得不受雨或雪的影响的第2纵深信息。另外，本公开中的粉尘例如包含尘土等固体的粒子，但并不限于固体的粒子，也可以包含液体的粒子。例如本公开中的粉尘可以包含尘土、雨滴以及雪粒当中至少一方。

另外，在本公开中，组件、器件的全部或一部分、或图1、图4、图5、图8、图26以及图27所示的框图的功能块的全部或一部分可以由半导体装置、包含半导体集成电路(IC)或LSI(large scale integration，大规模集成电路)的一个或一个以上的电子电路执行。LSI或IC可以集成在一个芯片上，也可以组合多个芯片而构成。例如可以将存储元件以外的功能块集成在一个芯片。在此称作LSI、IC，但根据集成的程度而叫法改变，有可能称作系统LSI、VLSI(very large scaleintegration，很大规模集成电路)或ULSI(ultra largescale integration，超大规模集成电路)。出于相同目的还能使用在LSI的制造后编程的现场可编程门阵列(FPGA，Field Programmable Gate Array)、或能进行LSI内部的接合关系的重构或LSI内部的电路区划的设置的可重构逻辑器件(reconfigurable logic device)。

进而，组件、装置或装置的一部分的、全部或一部分功能或操作能通过软件处理执行。在该情况下，软件记录于一个或一个以上的ROM、光学盘、硬盘驱动器等非暂时的记录介质，在软件被处理装置(processor)执行的情况下，软件使处理装置(processor)和周边的器件执行软件内的特定的功能。系统或装置可以具备记录软件的一个或一个以上的非暂时的记录介质、处理装置(processor)以及需要的硬件器件例如接口。

产业上的可利用性

本公开能运用于从通过拍摄得到的图像取得纵深的纵深取得装置，例如能作为车载设备等而利用。

附图标记的说明

1 纵深取得装置

10、101 光源

20 固体摄像元件

21 第1像素(IR)

22 第2像素(BW)

30 处理电路

50 扩散板

60 透镜

70 带通滤波器

102 IR摄像机

103 BW摄像机

104 学习模型

110 处理器

111 纵深估计部

111a 第1纵深估计部

111b 第2纵深估计部

112 粉尘检测部

113 发光定时取得部

114 IR图像取得部

115 BW图像取得部

116 高亮度区域检测部

117 FOE检测部

118 输出部

200 存储器。