道路标记识别装置

技术领域

本发明涉及道路标记识别装置。

背景技术

已经提出了例如如下装置作为这样一种装置：该装置从通过对路面成像而获取的图像来检测道路标记的多个特征部分，在特征部分的检测置信水平高于阈值时判定道路标记已被识别为检测目标，改变检测置信水平低于阈值的特征部分的检测条件，并且执行再检测(参见日本专利申请公开No.2010-108049(JP 2010-108049A))。还提出了如下装置：该装置根据在车辆周围是否存在形状与作为识别目标的道路标记类似的道路标记来改变与道路标记识别相关的确定条件，例如要被检测的特征的数量(参见日本专利申请公开No.2009-139306(JP 2009-139306A))。

发明内容

在上面提及的相关技术中，当车辆以相对高的速度行驶时，例如由于多个特征部分的检测或重新检测，与识别道路标记的过程相关的计算负荷可能会增加。

本发明提供了一种道路标记识别装置，该道路标记识别装置可以在使计算负荷最小化的同时提高识别精度。

本发明的第一方面提供了一种道路标记识别装置，其从通过对车辆行驶的道路的路面成像而获取的图像来识别道路标记。根据第一方面的道路标记识别装置包括：存储单元，该存储单元被配置成存储多个模板，所述多个模板中的每个模板与目标道路标记的多个特征部分中的相应一个特征部分对应，并且所述多个模板之间的相对位置关系是已知的，该目标道路标记是作为识别目标的道路标记；以及识别单元，该识别单元被配置成当从图像检测到与多个模板中的第一模板对应的第一特征部分时，检测与多个模板中的第二模板对应的第二特征部分，该第二特征部分沿行驶方向位于第一特征部分的前侧。

在道路标记识别装置中，当从通过对路面成像而获取的图像检测到作为识别目标的道路标记的多个特征部分中的特征部分(即，当检测到与第一模板对应的特征部分)时，检测与检测到的特征部分的相对位置关系已知的另一特征部分(即，与第二模板对应的特征部分)。即，道路标记识别装置不是一次识别整个道路标记，而是检测与作为识别目标的道路标记的一部分对应的部分，并且当从通过对路面成像而获得的图像检测到该部分时，检测与作为识别目标的道路标记的另一部分对应的部分。因此，根据该道路标记识别装置，与一次识别整个道路标记的情况相比，可以减少与识别过程相关的计算负荷。

此外，当存在干扰时，诸如当道路标记的一部分被磨损时或当建筑物的阴影等悬浮在道路标记的一部分上时，由于该道路标记识别装置着眼于部分(局部)特征部分，因此可以执行识别过程，而很少受干扰影响或不受干扰影响。因此，根据该道路标记识别装置，与一次识别整个道路标记的情况相比，可以提高识别过程的准确性。

在第一方面中，识别单元可以被配置成：当检测到第二特征部分时，判定识别到目标道路标记。

根据第一方面的道路标记识别装置使用已知相对位置关系的模板来检测作为识别目标的道路标记。因此，与第一模板和第二模板对应的检测特征部分之间的相对位置关系和第一模板与第二模板之间的相对位置关系相同。因此，当检测到与第一模板和第二模板对应的两个特征部分时，将识别出作为识别目标的道路标记的可能性相对较高。因此，根据上述配置，可以在使计算负荷最小化的同时，相对容易地提高识别过程的精度。

本发明的第二方面提供了一种安装在设有摄像机的车辆中的道路标记识别装置，摄像机被配置成通过对车辆行驶的道路的路面成像来获取图像。道路标记识别装置包括：存储单元，该存储单元被配置成存储多个模板以及多个模板之间的相对位置关系，所述多个模板中的每个模板与目标道路标记的多个特征部分中的相应一个特征部分对应，该目标道路标记是作为识别目标的道路标记；以及至少一个电子控制单元，该至少一个电子控制单元被配置成：从由摄像机捕获的第一图像检测与多个模板中的第一模板对应的第一特征部分，并且当从图像检测到第一特征部分时，检测与多个模板中的第二模板对应的第二特征部分。

在第二方面中，电子控制单元可以被配置成：当检测到第二特征部分时，判定识别到目标道路标记。

在第二方面中，电子控制单元可以被配置成：检测作为第二特征部分的候选的候选部分，该候选部分是具有与第二模板匹配的特征的部分；并且当候选部分的位置位于使用第一模板与第二模板之间的相对位置设置的允许范围内时，确定候选部分是第二特征部分。

在第二方面中，电子控制单元可以被配置成从捕获第一图像之后捕获的第二图像检测第二特征部分。

在第二方面，第二模板可以被设置为与沿车辆的行驶方向位于第一特征部分的前侧的部分对应。

本发明的操作和其他优点将从以下实施方式中变得显见。

附图说明

下面将参照附图描述本发明的示例性实施方式的特征、优点和技术及工业意义，其中，相似的附图标记表示相似的元件，并且在附图中：

图1是示出了根据实施方式的车辆的配置的框图；

图2是示出了根据实施方式的用于实现道路标记识别的配置的框图；

图3A是示出了根据实施方式的模板的示例的图；

图3B是示出了根据实施方式的模板的示例的图；

图4A是示出了根据实施方式的使用集合模板的匹配方法的概念图；

图4B是示出了根据实施方式的使用集合模板的匹配方法的概念图；

图5是示出了根据实施方式的道路标记识别过程的一部分的流程图；

图6是示出了在图5所示的流程图之后的例程的一部分的流程图；

图7是示出了在图5所示的流程图之后的例程的另一部分的流程图；以及

图8是示出了在图6和图7所示的流程图之后的例程的一部分的流程图。

具体实施方式

将参照图1至图8描述根据本发明的实施方式的道路标记识别装置。在下面的实施方式中，将使用安装有根据本发明的道路标记识别装置的车辆M进行描述。

(车辆的配置)

下面参照图1描述车辆M的配置。图1是示出了根据实施方式的车辆的配置的框图。

在图1中，车辆M包括车辆控制器1。车辆控制器1控制车辆M的行驶。具体地，例如，车辆控制器1控制车辆M，使得车辆M基于地图信息沿着从车辆M的当前位置到目的地的路线通过自动驾驶来行驶。

车辆控制器1包括电子控制单元(ECU)2、外部传感器3、内部传感器4、全球定位系统(GPS)接收器5、地图相关信息提供单元6和致动器7。

外部传感器3包括摄像机31和雷达32。摄像机31例如被设置在车辆M的前挡风玻璃的背面和车辆M的后表面上。摄像机31将车辆M的前侧和后侧的成像信息发送至ECU 2。摄像机31可以是单目摄像机或立体摄像机。当摄像机31是立体摄像机时，视差信息(即，距离信息)可以被包括在成像信息中。

雷达32使用无线电波来检测车辆M外部的障碍物(例如，另一车辆、行人、自行车或建筑物)，无线电波诸如为1毫米至10毫米的无线电波。雷达32将指示所检测到的障碍物的障碍物信息发送至ECU 2。可以使用利用光的光探测和测距(LIDAR)来代替雷达32。

内部传感器4是检测车辆M的行驶状态的检测器。内部传感器4例如包括车速传感器、加速度传感器和横摆率传感器。内部传感器4例如将指示车速、加速度和横摆率的信息发送至ECU 2。

GPS接收器5通过从三个或更多个GPS卫星接收信号来测量车辆M的位置(例如，车辆M的纬度和经度)。GPS接收器5将指示车辆M的测量位置的位置信息发送至ECU 2。

地图相关信息提供单元6是安装在车辆M中的信息提供系统。地图相关信息提供单元6响应于来自ECU 2的请求将例如关于地图信息、转向点和车速目标点的数据发送至ECU2。在此，转向点和车速目标点与地图信息相关联。转向点是指在车道中设定车辆M转向所在的点(例如，弯道或十字路口)。车速目标点是指在车道中设定车辆M的目标车速所在的点(例如，设置停止线或行人十字路口的点)。

地图相关信息提供单元6包括地图信息存储单元61、点信息存储单元62和目标存储单元63作为逻辑地实现的处理块或在其中物理地实现的处理电路。

地图信息存储单元61是存储地图信息的数据库。点信息存储单元62是存储与地图信息相关的转向点和车速目标点的数据库。

目标存储单元63是存储关于地标目标的目标信息的数据库。目标信息包括地标目标的位置信息(例如，沿着车道的车道行驶距离的信息)和地标目标的检测特征信息。

地标目标的检测特征信息是用于使用摄像机31和雷达32检测地标目标的信息。检测特征信息包括例如用于通过摄像机31进行检测的形状信息和用于通过雷达32进行检测的反射特性信息。

地图相关信息提供单元6可以具有执行与设施诸如外部信息管理中心的计算机进行无线通信的功能。在这种情况下，地图相关信息提供单元6可以根据需要通过执行无线通信来更新地图信息、转向点和车速目标点。

致动器7是对车辆M的行驶进行控制的装置。致动器7包括例如节气门致动器、制动致动器和转向致动器。

(通过车辆控制器的自动驾驶的概要)

下面将描述由具有上面提及的配置的车辆控制器1执行的车辆M的自动驾驶的概要。

当车辆M应当行驶的路线被设定时，车辆控制器1基于地图信息、转向点和车速目标点生成用于车辆M的行驶的车道行驶地图数据。“路线”包括车辆M从当前位置行驶到目的地的道路(车道)。路线可以由车辆M的驾驶员手动设定，或者也可以由车辆控制器1自动设定。

车道行驶地图数据包括沿着路线行驶的车辆M的目标位置的信息、目标方向的信息和目标车速的信息。为每个车道生成车道行驶地图数据。车道行驶地图数据基于车道行驶距离来生成，该车道行驶距离是车辆M在车道中从车道入口位置行驶的距离。

车道行驶地图数据包括例如路点地图、地标地图和控制目标地图。路点地图是与沿路线行驶的车辆M的目标位置和目标方向相关的数据阵列。在此，目标位置和目标方向在地图信息上相关联的点被称为路点。路点地图是基于每个车道的车道行驶距离每隔预定距离设定路点的数据阵列。

车辆控制器1在车辆M行驶期间使用车辆M的路线、车辆M的当前值和转向点来动态地生成路点地图。车辆控制器1在假定构成路线的车道的除转向点以外的部分具有直线形状的情况下生成路点地图。即，路点地图包括沿着车道在除转向点以外的部分中直线地连接的路点。

地标地图是与用于车辆M的位置校正的地标目标相关的数据阵列。地标目标是相对于车道的位置固定的检测目标。地标目标的示例包括在路面上绘制的道路标记，诸如数字或菱形标记。地标目标的示例还包括路边的结构，诸如护栏。例如，当摄像机31检测到地标目标时，车辆控制器1基于地标目标与车辆M之间的距离，参考地图信息的地标目标的位置来校正车辆M的位置。

控制目标地图是与沿着路线行驶的车辆M的目标车速相关的数据阵列。控制目标地图例如是根据车道行驶距离布置各车道的车速目标点的数据阵列。

车辆控制器1通过基于生成的车道行驶地图数据控制车辆M来实现车辆M沿着路线的行驶。具体地，车辆控制器1基于路点地图来控制车辆M的转向，并且基于路点地图和控制目标地图来控制车辆M的车速。

(ECU的配置)

在车辆控制器1中，对车辆控制器1综合地进行控制的ECU 2包括位置检测单元21、目标检测单元22、目标距离检测单元23、位置校正单元24、行驶方向检测单元25、车道行驶距离检测单元26、数据生成单元27、前视点计算单元28和车辆控制单元29作为逻辑地实现的处理块或在其中物理地实现的处理电路，以便实现车辆M的自动驾驶。

位置检测单元21检测车辆M的位置。位置检测单元21使用现有的方法来检测车辆M在车道中的位置，例如基于由GPS接收器5测量的车辆M的位置信息来检测车辆M在车道中的位置。位置检测单元21可以通过基于摄像机31的成像信息识别与车辆M行驶的车道相关的白线来检测车辆M的横向位置(即，沿车道的宽度方向的位置)。

目标检测单元22基于外部传感器3的检测结果和地图相关信息提供单元6的目标信息，具体地参考目标存储单元63的目标信息，从摄像机31的成像信息和雷达32的障碍物信息中的至少一者检测车辆M前后的地标目标。

当目标检测单元22检测到地标目标时，目标距离检测单元23检测地标目标与车辆M之间的距离。

当目标距离检测单元23检测地标目标与车辆M之间的距离时，位置校正单元24基于地标目标与车辆M之间的距离以及地图信息中的地标目标的位置以地标目标的位置(其在这种情况下表示为xy坐标系中的位置)为基准来校正由位置检测单元21检测到的车辆M的位置信息。位置校正单元24基于地标目标与车辆M之间的距离和地图信息中的地标目标的位置以地标目标的位置(在这种情况下由车道行驶距离表示)为基准来校正通过车道行驶距离检测单元26计算的车道行驶距离。

行驶方向检测单元25基于内部传感器4的横摆率信息和由位置检测单元21检测到的车辆M的位置信息的时间变化中的至少一者来检测车辆M的行驶方向。

车道行驶距离检测单元26基于由位置检测单元21检测到的车辆M的位置信息来计算第一车道行驶距离候选，第一车道行驶距离候选是车辆M在行驶车道中的车道行驶距离的候选。车道行驶距离检测单元26基于内部传感器4的从行驶车道的车道入口位置到当前值的车速信息来计算作为车道行驶距离的候选的第二车道行驶距离候选。

车道行驶距离检测单元26判断第一车道行驶距离候选与第二车道行驶距离候选之间的差是否等于或大于预定阈值。当判定该差不等于或大于预定阈值时，车道行驶距离检测单元26将第一车道行驶距离候选设定为车道行驶距离。另一方面，当判定该差等于或大于预定阈值时，车道行驶距离检测单元26将第二车道行驶距离候选设定为车道行驶距离。

数据生成单元27生成车道行驶地图数据。数据生成单元27包括路点地图生成单元271、地标地图生成单元272和控制目标地图生成单元273作为逻辑地实现的处理块或在其中物理地实现的处理电路，以便生成车道行驶地图数据。

路点地图生成单元271基于车辆M的路线和车辆M的位置(当前位置)、参考地图相关信息提供单元6的点信息存储单元62的转向点来生成路点地图。地标地图生成单元272基于车辆M的路线和车辆M的位置(当前位置)、参考地图相关信息提供单元6的目标存储单元63的目标信息来生成用于地标目标的地标地图。控制目标地图生成单元273基于车辆M的路线和车辆M的位置(当前位置)、参考点信息存储单元62的车速目标点来生成控制目标地图。

前视点计算单元28基于内部传感器4的车速信息来计算车辆M的前视点。前视点是设定在车辆M的前方的点，并且是与驾驶员在驾驶员手动驾驶车辆M时观察到的点对应的点。前视点计算单元28将前视点设定为车辆M的前方的位置，其随着车辆M的车速越高而与车辆M分离越远。

车辆控制单元29基于车辆M的位置、车辆M的车道行驶距离、路点地图和前视点来控制车辆M的转向。车辆控制单元29基于车辆M的位置、车辆M的车道行驶距离、路点地图和控制目标地图来控制车辆M的车速。

在本发明的申请人的日本专利申请中公开了使用车辆控制器1自动驾驶车辆M的细节(日本专利申请No.2015-100287)。

(道路标记识别)

下面将描述使用作为根据本发明的道路标记识别装置的具体示例的目标检测单元22识别(检测)作为地标目标的示例的道路标记的方法。

如上所述，道路标记用于校正车辆M的位置。由于正在行驶的车辆M的当前值每时每刻变化，所以需要相对快速地识别道路标记。此外，要求识别精度达到可以用于校正车辆M的位置的程度。另一方面，当识别道路标记的目标检测单元22所需的性能相对提高时，例如，导致成本的增加。

因此，与识别道路标记相关的处理必须是如下处理，该处理能够满足所需的识别精度并能够在使处理负荷(计算负荷)最小化的同时以相对高的速度识别道路标记。因此，在根据该实施方式的道路标记的识别中，着眼于作为识别目标的道路标记的局部(部分)特征来识别道路标记。具体地，通过使用指示作为识别目标的道路标记的局部特征的图案图像(即，模板)的模板匹配来执行道路标记的识别。

作为识别目标的道路标记的尺寸和形状由法律限定。此外，车辆M经过道路标记所沿的方向几乎恒定。即，识别目标的大小或方向的变化在识别道路标记时不必考虑。因此，模板匹配可以被认为是适合于识别道路标记的识别方法。

用于识别道路标记的配置

首先将参照图2描述用于识别道路标记(并校正车辆M的位置)的配置。图2是示出了根据本实施方式的用于实现道路标记的识别的配置的框图。在图2中，箭头指示信息流。

在图2中，目标检测单元22包括系统起动单元2201、失真校正单元2202、投影变换单元2203、匹配单元2204、2206和2208、检测可靠性计算单元2205和2209、匹配范围计算单元2207、以及检测结果选择单元2210作为逻辑地实现的处理块或在其中物理地实现的处理电路。

目标距离检测单元23包括车辆与标记距离计算单元2301和误差校正单元2302作为逻辑地实现的处理块或在其中物理地实现的处理电路。位置校正单元24包括车辆位置计算单元2401作为逻辑地实现的处理块或在其中物理地实现的处理电路。

在假定车辆M在距离作为识别目标的道路标记的预定范围内的情况下，目标检测单元22的系统起动单元2201基于由位置校正单元24校正的车辆M的位置信息和作为由地标地图生成单元272生成的地标地图中包括的地标目标的道路标记来起动道路标记的检测系统(换言之，检测程序)。

失真校正单元2202使用现有方法来校正从摄像机31的成像信息获取的图像的失真，例如基于在与目标存储单元63对应的存储单元6301中预先存储的失真校正系数来校正从摄像机31的成像信息获取的图像的失真。投影变换单元2203基于预先存储在存储单元6301中的投影变换参数对失真已被失真校正单元2202校正的图像执行投影变换，并且生成作为从道路的正上方观察的鸟瞰图的图像。由投影变换单元2203生成的图像在下文中被称为“搜索目标图像”。

在系统起动单元2201起动检测系统之后，失真校正单元2202和投影变换单元2203对从摄像机31的成像信息顺序获取的多个图像顺序地执行失真校正和投影变换。因此，顺序地生成搜索目标图像。可以例如基于与摄像机31相关的校准结果来获取“失真校正系数”和“投影变换参数”。

在存储单元6301中，预先存储模板作为地标目标的检测特征信息，所述模板是指示作为识别目标的道路标记的局部特征的图案图像。将参照图3A和图3B描述根据该实施方式的模板。图3A和图3B是示出了根据该实施方式的模板的示例的图。在图3A和图3B中，“限速40km/h”(图3A)和“存在行人十字路口或自行车十字路口”(图3B)被示出为道路标记的示例，但是本发明不限定于此。

在图3A的上部中，道路标记(限速40km/h)中的虚线所包围的部分是道路标记的特征部分。因此，图3A的下部所示的五个图像40_1至40_5被设置为模板。类似地，在图3B的上部中，道路标记(存在行人十字路口或自行车十字路口)中虚线所包围的部分是道路标记的特征部分。因此，图3B的下部所示的四个图像dia_1至dia_4被设置为模板。

优选地，模板被设定为满足以下四个条件，即，(i)每个模板不是诸如直线部分的简单部分而是具有几何特征的部分的条件，(ii)一个道路标记的多个模板在整个道路标记上均匀分布的条件，(iii)每个模板包括如下部分的条件，轮胎通过该部分的机会数被认为小到使由磨损导致的道路标记劣化的影响最小化，以及(iv)每个模板包括如下部分的条件，在铺设道路标记时涂料在该部分中交叠。

在该实施方式中，用于一个道路标记的多个模板中的每个模板具有以下三种类型的功能中的至少一种功能，即，(i)直接模板，(ii)触发模板，和(iii)集合模板。

直接模板是指仅用设定为模板的包括在图像中的特征部分来指定一个道路标记的模板。触发模板和集合模板是模板之间的相对位置关系已知的模板。触发模板是指通过检测该模板来起动集合模板的检测的模板。触发模板通常是包括道路标记中的位于向前行驶的车辆接近的一侧的特征部分的模板(例如，图像40_1和图像dia_4)。集合模板是指使用模板之间的相对位置关系来检测的模板。集合模板是包括道路标记中的沿车辆的行驶方向位于与触发模板对应的特征部分的前侧的特征部分的模板(例如，图像40_2至40_5和图像dia_1至dia_3)。用作触发模板或集合模板的图像可以用作直接模板。

再次参照图2，匹配单元2204从存储单元6301获取与作为识别目标的道路标记对应的直接模板，并且使用所获取的直接模板执行匹配。

由地标地图生成单元272生成的地标地图是与如上述的地标目标(在此为道路标记)相关的数据阵列。即，匹配单元2204获取与要预先识别的道路标记相关的数据(例如，类型)。因此，例如，当要识别的道路标记为“限速40km/h”时，匹配单元2204从存储单元6301仅获取与“限速40km/h”相关的直接模板。(随后将描述的匹配单元2206和2208的情况也是如此)。例如，模板匹配可以使用例如如下方法的现有方法来执行：基于亮度来计算模板与搜索目标图像之间的相关性程度的相关性计算方法，或基于边缘特征量的匹配方法。用于确定在模板匹配中是否匹配成功的多个阈值优选地被准备成与诸如天气或时区的多种情况对应。

检测可靠性计算单元2205计算当使用直接模板匹配成功时的匹配结果的可靠性程度。例如，当将相关性计算方法用于模板匹配时，“可靠性程度”可以是“可靠性程度＝相关性程度/预定阈值”。

匹配单元2206从存储单元6301获取与作为识别目标的道路标记对应的触发模板，并且使用所获取的触发模板执行匹配。

当通过匹配单元2206的匹配成功时，匹配范围计算单元2207基于触发模板与和作为识别目标的道路标记对应的集合模板之间的相对位置关系来设置搜索集合模板的范围。

匹配单元2208从存储单元6301获取与作为识别目标的道路标记对应的集合模板，并且使用所获取的集合模板在由匹配范围计算单元2207设置的范围内执行匹配。

当使用集合模板的匹配成功时，检测可靠性计算单元2209计算匹配结果的可靠性程度。

下面将参照图4A和图4B描述使用集合模板的匹配。图4A和图4B是示出了根据该实施方式的使用集合模板的匹配方法的概念图。在图4A和图4B中，假定车辆M从附图中的底部向上行驶。

假定图3A中的图像40_1是触发模板，而图3A中的图像40_2至40_5是集合模板。在图4A中，图像40_1被分类为“组A”，图像40_3和40_4被分类为“组B”，而图像40_2和40_5被分类为“组C”。

在图4A中，当通过匹配单元2206从一个搜索目标图像检测到与作为触发模板的图像40_1对应的特征部分时，匹配范围计算单元2207基于作为触发模板的图像40_1与组B中包括的集合模板(即，图像40_3和40_4)之间的相对位置关系确定沿车辆M的行驶方向(即，图4A中从底部到顶部的方向)的组B的搜索范围，并且基于作为触发模板的图像40_1与组C中包括的集合模板(即，图像40_2和40_5)之间的相对位置关系来确定沿车辆M的行驶方向的组C的搜索范围。

匹配单元2208在组B的搜索范围中使用作为集合模板的图像40_3和40_4对包括与道路标记中的组B的搜索范围对应的部分的搜索目标图像(其不应与上面提及的搜索目标图像相同)执行匹配。匹配单元2208在组C的搜索范围中使用作为集合模板的图像40_2和40_5对包括与道路标记中的组C的搜索范围对应的部分的搜索目标图像(其不应与上面提及的搜索目标图像相同)执行匹配。

例如，当从搜索目标图像检测到与图像40_2对应的特征部分时，匹配单元2208基于作为触发模板的图像40_1与作为集合模板的图像40_2之间的相对位置关系判断所检测到的特征部分沿车辆M的宽度方向(即，沿图4A和图4B中的左右方向)的位置是否是适合的。具体地，匹配单元2208判断所检测到的特征部分是否存在于图4B中的“40_2的存在允许范围”中。

仅当检测到的特征部分存在于“40_2的存在允许范围”中时，使用作为集合模板的图像40_2的匹配实际上才成功。即使当检测到的特征部分存在于由图4B中的虚线w1或w2包围的范围内时，特征部分不满足作为触发模板的图像40_1与作为集合模板的图像40_2之间的相对位置关系，并且因此可以将检测到的特征部分视为基于外观匹配。

在该实施方式中，当检测到与作为集合模板的图像40_2至40_5中的至少一个对应的特征部分时，判定使用集合模板的匹配成功。

再次参照图2，检测结果选择单元2210比较由检测可靠性计算单元2205和2209计算的可靠性程度，并且选择具有最高可靠性程度的匹配结果。

目标距离检测单元23的车辆与标记距离计算单元2301基于由检测结果选择单元2210选择的匹配结果，通过使用预先存储在存储单元6301中的用于坐标变换的参数进行坐标变换来计算车辆M的重心与道路标记的中心之间的距离。

误差校正单元2302基于捕获作为匹配目标的图像(即，搜索目标图像的原始图像)的时间、当前时间和从内部传感器4获取的车速信息来计算车辆M在执行与道路标记识别等相关联的处理的时段中行驶的距离，并且校正由车辆与标记距离计算单元2301计算出的距离。例如，车辆M的行驶距离在车辆M以36km/h的速度行驶且道路标记识别花费0.1秒时为1m。通过使误差校正单元2302考虑行驶距离，适当地执行使用车辆控制器1的车辆M的自动驾驶。

位置校正单元24的车辆位置计算单元2401基于由误差校正单元2302校正的车辆M的重心与道路标记的中心之间的距离和地图信息上的地标目标(此处为道路标记)的位置来计算地图上的车辆M的重心。计算出的车辆M的重心与由位置校正单元24校正的车辆M的位置信息对应。

道路标记识别过程

下面将参照图5至图8所示的流程图描述道路标记识别过程。

在图5中，目标检测单元22的系统起动单元2201获取与作为由地标地图生成单元272生成的地标地图中包括的地标目标的道路标记中的最接近车辆M的当前位置的道路标记相关的信息(例如，位置和类型)(步骤S101)。与步骤S101的过程并行，系统起动单元2201获取由位置校正单元24校正的车辆M的位置信息(即，先前过程中计算的车辆M的位置信息)(步骤S102)。

然后，系统起动单元2201基于与要识别的道路标记有关的信息和车辆M的位置信息判断车辆M与要识别的道路标记之间的距离是否满足设置条件(即，车辆M是否存在于要识别的道路标记的预定范围内)(步骤S103)。当判定不满足设置条件(步骤S103中为“否”)时，再次执行步骤S102的过程。

另一方面，当在步骤S103中判定满足设置条件(步骤S103中为“是”)时，系统起动单元2201起动道路标记的检测系统(步骤S104)。

然后，失真校正单元2202从摄像机31的成像信息获取捕获图像(步骤S105)。随后，失真校正单元2202调用预先存储在存储单元6301中的失真校正系数(步骤S106)，并且校正捕获图像的失真(步骤S107)。

然后，投影变换单元2203从存储单元6301调用投影变换参数(步骤S108)，对失真已被失真校正单元2202校正的图像执行投影变换，并且生成搜索目标图像(步骤S109)。如在“用于识别道路标记的配置”中所述，顺序地生成搜索目标图像。即，在检测系统已经起动之后，不管步骤S110及其后的处理情况如何，重复执行步骤S105至S109的过程。

然后，匹配单元2204从存储单元6301调用与要识别的道路标记对应的直接模板。匹配单元2206从存储单元6301调用与要识别的道路标记对应的触发模板(步骤S110)。

在图6中，匹配单元2204判断使用直接模板的匹配是否成功(步骤S111)。当判定匹配未成功(步骤S111中为“否”)时，执行稍后将描述的步骤S126(参见图8)的过程。

另一方面，当在步骤S111中判定匹配成功时(步骤S111中为“是”)，匹配单元2204将搜索目标图像中的、被检测为与直接模板对应的特征部分的部分呈现至检测可靠性计算单元2205(步骤S112)。

然后，检测可靠性计算单元2205通过匹配单元2204计算匹配结果的可靠性程度(步骤S113)。此后，执行稍后将描述的步骤S126(参见图8)的过程。

在图7中，匹配单元2206判断使用触发模板的匹配是否成功(步骤S114)。当判定匹配未成功(步骤S114中为“否”)时，执行稍后将描述的步骤S126(参见图8)的过程。用于使用触发模板进行匹配的搜索目标图像不能被认为与用于使用直接模板进行匹配的搜索目标图像相同。

当在步骤S114中判定匹配成功(步骤S114中为“是”)时，匹配范围计算单元2207基于触发模板与集合模板之间的相对位置关系来设置搜索集合模板的沿纵向方向(即，车辆M的行驶方向)的搜索范围(步骤S115)。

与步骤S115的过程并行，匹配单元2206将搜索目标图像中的、被检测为与触发模板对应的特征部分的部分呈现至匹配单元2208(步骤S116)。匹配单元2208记录检测到与触发模板对应的特征部分的时间(步骤S117)，并且经由控制器区域网络(CAN)调用内部传感器4的车速信息(步骤S118)。

匹配单元2208基于从步骤S117的过程中记录的时间起经过的时间和车速信息来计算在车辆M穿过与要识别的道路标记中的触发模板对应的特征部分被放置的地点之后的距离(步骤S119)。

然后，匹配单元2208基于在步骤S119的过程中计算的距离来判断车辆M是否已经穿过在步骤S115的过程中设置的搜索范围(步骤S120)。即，判断车辆M是否没有穿过摄像机31可以对要识别的道路标记中的、与步骤S115的过程中设置的搜索范围对应的特征部分进行成像的地点。当判定车辆已经穿过搜索范围(步骤S120中为“是”)时，执行稍后将描述的步骤S126(参见图8)的过程。

另一方面，当在步骤S120中判定车辆M未穿过搜索范围(步骤S120中为“否”)时，匹配单元2208基于在步骤S119的过程中计算的距离判断车辆M是否已经到达搜索范围(步骤S121)。即，判断车辆M是否已经到达摄像机31可以对要识别的道路标记中的、与步骤S115的过程中设置的搜索范围对应的特征部分进行成像的地点。当判定车辆M尚未到达搜索范围(步骤S121中为“否”)时，再次执行步骤S119的过程。

另一方面，当在步骤S121中判定车辆M已经到达搜索范围(步骤S121中为“是”)时，匹配单元2208判断使用集合模板的匹配是否成功(步骤S122)。当判定匹配未成功(步骤S122中为“否”)时，再次执行步骤S119的过程。用于使用集合模板进行匹配的搜索目标图像不能被认为与用于使用直接模板和/或触发模板进行匹配的搜索目标图像相同。

另一方面，当在步骤S122中判定匹配成功(步骤S122中为“是”)时，匹配单元2208判断与匹配成功的集合模板对应的特征部分的横向位置(即，沿车辆M的宽度方向的位置)是否适合作为与集合模板对应的特征部分(步骤S123)。当判定横向位置不适合(步骤S123中为“否”)时，错误检测的可能性很高，因此再次执行步骤S119的过程。

另一方面，当在步骤S123中判定横向位置适合(步骤S123中为“是”)时，匹配单元2208将搜索目标图像中的、被检测为与集合模板对应的特征部分的部分呈现至检测可靠性计算单元2209(步骤S124)。然后，检测可靠性计算单元2209通过匹配单元2208计算匹配结果的可靠性程度(步骤S125)。

在图8中，检测结果选择单元2210判断是否检测到与直接模板或集合模板对应的特征部分(步骤S126)。当判定没有检测到与直接模板对应的特征部分和与集合模板对应的特征部分(步骤S126中为“否”)时，执行稍后将描述的步骤S136的过程。

另一方面，当在步骤S126中判定已经检测到与直接模板或集合模板对应的特征部分(步骤S126中为“是”)时，检测结果选择单元2210比较通过检测可靠性计算单元2205和2209计算出的可靠性程度，并且选择具有最高可靠性程度的匹配结果(步骤S127)。当仅检测到与直接模板对应的特征部分或仅检测到与集合模板对应的仅特征部分时，自动选择与检测到的特征部分相关的匹配结果。

然后，目标距离检测单元23的车辆与标记距离计算单元2301从存储单元6301调用用于坐标变换的参数(步骤S128)。随后，车辆与标记距离计算单元2301使用用于坐标变换的参数根据由检测结果选择单元2210选择的匹配结果来计算车辆M的重心与道路标记的中心之间的距离(步骤S129)。

然后，误差校正单元2302记录计算车辆M的重心与道路标记的中心之间的距离的时间(当前时间)(步骤S130)，并且经由CAN调用内部传感器4的车速信息(步骤S131)。

然后，误差校正单元2302基于捕获到要匹配的图像(即，搜索目标图像的原始图像)的时间、当前时间和从内部传感器4获取的车速信息来计算车辆M在执行与道路标记识别等相关的处理的时段中行驶的距离，并且校正由车辆与标记距离计算单元2301计算的距离(步骤S132)。

然后，位置校正单元24的车辆位置计算单元2401调用地图信息上的作为地标目标的道路标记的位置(步骤S133)。随后，车辆位置计算单元2401基于道路标记的位置和由误差校正单元2302校正的车辆M的重心与道路标记的中心之间的距离来计算地图上的车辆M的重心(步骤S134)，并且将计算结果输出至位置校正单元24(步骤S135)。

此后，目标检测单元22的系统起动单元2201获取与地标地图生成单元272生成的地标地图中包括的作为地标目标的道路标记中的最接近车辆M的当前位置的新的道路标记相关的信息(步骤S136)。此后，执行步骤S102和其后的步骤的过程。

(技术优点)

在根据该实施方式的道路标记识别中，着眼于道路标记的部分特征部分(即，使用直接模板、触发模板和集合模板)来执行道路标记的识别。因此，例如，当存在干扰时，诸如当道路标记的一部分被磨损时，当建筑物的阴影等悬浮在道路标记的一部分上时，或当道路标记的一部分被另一车辆覆盖时，可以识别作为识别目标的道路标记。

在道路标记识别中，由于着眼于道路标记的部分特征部分来识别道路标记，所以与一次识别整个道路标记的情况相比，可以减少处理负荷。由于用于模板匹配的搜索目标图像可以不是包括整个道路标记的图像，所以可以例如在无需累积通过对路面成像而获取的多个图像的情况下识别道路标记。在道路标记识别中，由于仅当车辆M到达要被识别的道路标记的附近时才生成搜索目标图像或执行匹配，所以与总是执行搜索目标图像的生成等的情况相比，可以减少处理负荷。

在道路标记识别中，特别地，执行使用触发模板或集合模板的模板匹配，在模板匹配中，使用相对位置关系。即，在道路标记识别中，由于从特征部分和相对位置关系这两个方面识别道路标记，所以可以提高道路标记的识别精度。

实施方式中的“匹配单元2208”和“存储单元6301”可以被认为是权利要求书中的“识别单元”和“存储器”的示例。实施方式中的“触发模板”和“集合模板”可以被认为是权利要求书中的“第一模板”和“第二模板”的示例。

本发明不限于上述实施方式，并且可以在不脱离可从所附权利要求书和整个说明书读取的本发明的主旨或精神的情况下适当地修改，并且包括这样的修改的道路标记识别装置也包括在本发明的技术范围内。