法律状态公告日
法律状态信息
法律状态
2016-12-28
授权
授权
2014-11-26
实质审查的生效 IPC(主分类):G06T7/00 申请日:20121115
实质审查的生效
2014-10-22
公开
公开
技术领域
本发明涉及局部特征量提取装置、用于提取局部特征量的方法和 程序。
背景技术
已经提出了打算在存在拍摄大小或角度的变化或遮挡的情况下， 鲁棒地识别图像中的被写体(object)的方案。这些方案涉及检测图像 中的大量兴趣点(特征点)以及提取特征点的每一个周围的局部区域 中的特征量(局部特征量)。作为典型的方案，专利文献1和非专利 文献1公开了使用SIFT(规模不变特征变换)特征量的局部特征量提 取装置。
图31是示出使用SIFT特征量的局部特征量提取装置的一般配置 的示例的图。此外，图32是示出图31中所示的局部特征量提取装置 中的SIFT特征量的提取的图像的图。
如图31所示，局部特征量提取装置包括特征点检测单元200、局 部区域获取单元210、子区域分割单元220和子区域特征向量生成单元 230。特征点检测单元200检测图像中的大量兴趣点(特征点)并且输 出特征点的每一个的坐标位置、规模(大小)和定向。局部区域获取 单元210基于所检测的特征点的每一个的坐标值、规模和定向，获取 将从其提取特征量的局部区域。子区域分割单元220将局部区域分割 成子区域。在图32所示的例子中，子区域分割单元220将局部区域分 割成16个块(4×4个块)。子区域特征向量生成单元230针对局部区 域的子区域的每一个，生成梯度定向直方图。具体地，子区域特征向 量生成单元230针对每个子区域中的像素中的每一个计算梯度定向并 且执行量化以获得8个方向。所确定的定向方向是相对于由特征点检 测单元200输出的特征点的定向的方向。即，定向方向是相对于由特 征点检测单元200输出的定向所规范化的方向。然后，子区域特征向 量生成单元230合计每个子区域的量化的8个定向的频率以生成梯度 定向直方图。由此，针对每个特征点生成的16个块×8个定向的梯度定 向直方图被输出为128维度的局部特征量。
现有技术文献
专利文献1：U.S.专利No.6711293
非专利文献1：David G.Lowe,"Distinctive image features from scale-invariant keypoints",(U.S.),International Journal of Computer Vision, 60(2),2004,p.91-110
发明内容
本发明要解决的问题
上述局部特征量不利地具有增加的大小。例如，为了以1字节表 示每一维度中的直方图值，SIFT特征量需要128维度×1字节的大小。 当使用局部特征量来使图像彼此匹配(匹配)时，由此增加的局部特 征量的大小可能产生问题。例如，当用户终端(例如具有照相机的便 携式终端)从图像中提取局部特征量，并且将局部特征量传送到服务 器，以便于搜索与已经从其提取了局部特征量的图像类似的图像时， 大的局部特征量的大小使通信时间增加。这增加了直至获得图像搜索 的结果为止的时间量。此外，当基于局部特征量使图像彼此匹配时， 大的局部特征量的大小使处理时间增加。此外，在使用局部特征量的 图像搜索中，将图像中的局部特征量存储在存储器中。然而，大的局 部特征量的大小减小可以在存储器上存储其局部特征量的图像的数 目。因此，使用局部特征量不适合于预期用于大量图像的大规模图像 搜索。
由此，本发明的目的是减小特征量的大小，同时保持被写体识别 的精度。
对问题的解决方案
根据本发明的一方面的局部特征量提取装置包括检测图像中的特 征点的特征点检测单元、获取针对各个特征点的局部区域的局部区域 获取单元、将各个局部区域分割成多个子区域的子区域分割单元、针 对各个局部区域中的子区域中的每一个生成具有多个维度的特征向量 的子区域特征向量生成单元、以及基于各个局部区域中的子区域的位 置关系来从各个子区域中的特征向量中选择维度以便于减少邻近子区 域中的特征向量之间的相关性并且将所选择的维度的元素作为局部区 域的特征量进行输出的维度选择单元。
此外，在根据本发明的一方面的用于提取局部特征量的方法中， 计算机检测图像中的特征点，获取针对各个特征点的局部区域，将各 个局部区域分割成多个子区域，针对各个局部区域中的子区域中的每 一个生成具有多个维度的特征向量，以及基于各个局部区域中的子区 域中的位置关系来从各个子区域中的特征向量中选择维度以便于减小 邻近子区域中的特征向量之间的相关性，并且将所选择的维度的元素 作为局部地区的特征量进行输出。
此外，根据本发明的一方面的程序允许计算机实现检测图像中的 特征点的功能，获取针对各个特征点的局部区域的功能，将各个局部 地区分割成多个子区域的功能，针对各个局部区域中的子区域中的每 一个生成具有多个维度的特征向量的功能，以及基于各个局部区域中 的子区域中的位置关系来从各个子区域的特征向量中选择维度以便于 减小邻近子区域中的特征向量之间的相关性，并且将所选择的维度的 元素作为局部地区的特征量进行输出的功能。
根据本发明，“单元”不是简单的是物理装置，而是包括通过软 件实现“单元”的功能。此外，一个“单元”或装置的功能可以由两 个或以上物理装置或设备实现或两个或以上“单元”或设备的功能可 以由一个物理装置或设备实现。
本发明的效果
本发明可以在保持被写体识别的精度的情况下减小特征量的大 小。
附图说明
图1是示出作为本发明的第一实施例的局部特征量提取装置的配 置的图。
图2是示出从128维的特征向量中选择维度的例子的图。
图3是示出维度选择的其他例子的图。
图4是示出用于维度的选择的优先次序的例子的图。
图5是示出150维中的特征向量的元素的编号的图。
图6是示出150维中的特征向量的元素的编号的另一例子的图。
图7是示出根据优先次序，局部特征量输出的配置的例子的图。
图8A和8B是示出用于维度的选择的优先次序的例子的图。
图9A和9B是示出用于维度的选择的优先次序的另一例子的图。
图10是示出圆形局部区域的例子的图。
图11是示出用于圆形局部区域的维度选择的例子的图。
图12是示出局部特征量提取装置中的处理的例子的流程图。
图13是示出根据本发明的第二实施例的局部特征量提取装置的 配置的图。
图14是示出根据本发明的第三实施例的局部特征量提取装置的 配置的图。
图15是示出将梯度定向直方图中的维度量化为二进制的例子的 图。
图16是示出根据本发明的第四实施例的局部特征量提取装置的 配置的图。
图17是示出根据本发明的第五实施例的局部特征量提取装置的 配置的图。
图18是示出特征向量的扩展的例子的图。
图19是示出特征向量的扩展的例子的图。
图20是示出使用不同于由后级维度选择单元选择的维度的维度 的梯度定向直方图的扩展的例子的图。
图21是示出用于维度的选择的优先次序的另一例子的图。
图22是示出根据优先次序的局部特征量输出的配置例子的图。
图23是示出用于维度的选择的优先次序的另一例子的图。
图24是示出根据优先次序的局部特征量输出的配置例子的图。
图25是示出根据本发明的第六实施例的局部特征量提取装置的 配置的图。
图26是示出根据本发明的第七实施例的局部特征量提取装置的 配置的图。
图27是示出根据本发明的第八实施例的局部特征量提取装置的 配置的图。
图28是示出根据本发明的第九实施例的局部特征量提取装置的 配置的图。
图29是示出可应用局部特征量提取装置的匹配系统的例子的图。
图30是示出在匹配装置中，使用局部特征量匹配的例子的图。
图31是示出使用SIFT特征量的局部特征量提取装置的一般配置 的例子的图。
图32是示出在局部特征量提取装置中，SIFT局部特征量的提取 的图像的图。
具体实施方式
在下文中，将参考图，描述本发明的实施例。
第一实施例
图1是示出作为本发明的第一实施例的局部特征量提取装置的配 置的图。局部特征量提取装置1A被配置成包括特征点检测单元10、 局部区域获取单元12、子区域分割单元14、子区域特征向量生成单元 16和维度选择单元18。局部特征量提取装置1A可以被配置成例如使 用信息处理装置，诸如个人计算机或个人数字助理。局部特征量提取 装置1A的单元可以通过例如使用诸如存储器的存储区域或通过执行 存储在存储区域中的程序的处理器来实现。可以类似地实现下述其他 实施例中的组件。
特征点检测单元10检测图像中的多个兴趣点(特征点)，并且输 出各个特征点的坐标位置、规模(大小)和定向。
局部区域获取单元12基于所检测的特征点的每一个的坐标值、规 模和角度来获取将从其提取特征量的局部区域。
子区域分割单元14将局部区域分割成子区域。例如，子区域分割 单元14可以将局部区域分成16个块(4×4个块)，如图32所示。替 代地，子区域分割单元14可以将局部区域分割成25个块(5×5个块)。
子区域特征向量生成单元16生成针对局部区域中的子区域中的 每一个的特征向量。作为子区域中的特征向量，例如，可以使用梯度 定向直方图。具体地，子区域特征向量生成单元16计算各个子区域中 的像素中的每一个的梯度定向(gradient orientation)，并且执行量化 来获得8个定向。所确定的定向方向是相对于由特征点检测单元10输 出的特征点的定向的方向。即，定向方向是相对于由特征点检测单元 10输出的定向规范化的方向。然后，子区域特征向量生成单元16合计 各个子区域的量化的8个方向的频率以生成梯度定向直方图。在该情 况下，子区域特征向量生成单元16输出特征向量，包括针对各个特征 点生成的16割块×8个方向＝128个维度的梯度定向直方图。此外，从 量化得到的梯度定向的数目不限于8，而是可以是任何量化数目，诸如 4、6或10。当要通过量化获得D个梯度定向时，如果量化前的梯度定 向由G(0至2π弧度)表示，则可以使用例如公式(1)或公式(2) 来确定用于梯度定向的量化值(i)(i＝0,…,D-1)。然而，第一实施例 不限于这些公式。
[公式1]
[公式2]
在这种情况下，floor()表示舍去小数点后的数字的函数，round() 表示用于圆整(round-off)的函数，以及mod表示用于确定余数的计 算。此外，当生成梯度定向直方图时，代替仅合计频率，能够将梯度 的大小相加在一起以进行合计。另外，当对梯度定向直方图执行合计 时，基于子区域之间的距离，加权值不仅可以与像素所属于的子区域 相加，而且可以与邻近子区域(相邻块等等)相加。此外，加权值可 以与量化梯度定向前后的梯度定向相加。子区域中的特征向量不限于 梯度定向直方图，而是可以是具有多个维度(元素)的颜色信息等。 在第一实施例的描述中，梯度定向直方图用作子区域中的特征向量。
维度选择单元18选择(挑选)将输出为局部特征量以减少邻近子 区域中的特征向量之间的相关性的维度(元素)。更具体地说，维度 选择单元18选择维度，使得在至少一个梯度定向中，相邻子区域彼此 不同。根据第一实施例，相邻子区域主要用作邻近子区域。然而，邻 近子区域不限于相邻子区域，而是可以是例如处于与对象子区域预定 距离或更短的子区域。
此外，维度选择单元18不仅可以简单地选择维度，而且可以确定 选择的优先次序。即，维度选择单元18可以提供维度选择的优先次序， 使得从相邻子区域中选择的维度不在同一梯度定向中。然后，维度选 择单元18将包括所选择的维度的特征向量输出为局部特征量。维度选 择单元18可以输出具有基于优先次序重新排列的维度的局部特征量。
参考图2至图7，将描述维度选择单元18的维度选择的具体例子。 图2是示出从通过将局部区域分割成对应于4×4个块的子区域并且执 行量化来获得8个梯度定向所生成的128个维度的梯度定向直方图中 的特征向量选择维度的例子的图。在图2所示的例子中，从与SIFT特 征量类似的128个维度(4×4＝16个块×8个方向)中的特征向量选择维 度。
如图2所示，当选择128个维度的一半时，即，64个维度，维度 选择单元18可以选择该维度，使得从水平或垂直相邻块(子区域)选 择的维度不在同一梯度定向中。图2示出了下述例子：当用"i" (i＝0,1,2,3,4,5,6和7)表示梯度定向直方图中的量化定向时，与选择具 有i＝1,3,5和7的元素的块交替地排列选择具有i＝0,2,4和6的元素的块。 图2还示出另一例子：与选择具有i＝1,2,5和6的元素的块交替地排列 选择具有i＝0,3,4和7的块。在图2所示的例子中，从相邻块选择总共 8个梯度定向(维度)。即，相邻块的每一个补充其他块中的特征量。
此外，如图2所示，维度选择单元18可以选择维度，使得从位于 相对于彼此45°的角度的块中选择的维度也不在同一梯度定向中。在图 2所示的例子中，从相邻2×2个块选择总共8个梯度定向(维度)。即， 在这种情况下，相邻块的每一个也补充其他块中的特征量。
由此，执行选择以防止相邻块中的梯度定向重叠并且允许均匀地 选择所有梯度定向。此外，期望从整个局部区域均匀选择维度，如在 图2所示的例子中的情况。用于图2所示的维度选择的方法是说明性 的，并且第一实施例不限于该方法。
图3是示出维度选择的其他例子的图。在图3所示的例子中，子 区域分割单元14将局部区域分成对应于5×5＝25个块的子区域。然后， 子区域特征向量生成单元16生成在每个子区域中具有6个定向的梯度 定向直方图。即，如图3所示，子区域特征向量生成单元16生成具有 150个维度的特征向量。
如图3所示，当选择150个维度的一半时，即，75个维度，维度 选择单元18可以选择该维度使得从水平或垂直相邻块选择的维度不在 同一梯度定向中。在该例子中，当由"i"(i＝0,1,2,3,4和5)表示梯度定 向直方图中的量化定向时，与从其选择具有i＝1,3和5的元素的块交替 地排列从其选择具有i＝0,2和4的元素的块。在图3所示的例子中，从 相邻块选择总共6个梯度定向。
此外，当从75个维度中选择50个维度时，维度选择单元18可以 选择这些维度，使得位于相对于彼此45°的角度的两个块中的一个中的 梯度定向中的仅一个与另一块中的梯度定向中的一个相同(块中的一 个的剩余梯度定向不同于另一块中的剩余一个定向)。此外，当从50 个维度中选择25个维度时，维度选择单元18可以选择这些维度，使 得从位于相对于彼此45°的角度的两个块中的一个选择的梯度定向没 有一个与从另一块选择的梯度定向相同。
在图3所示的例子中，维度选择单元18从第1维度至第25维度 的每一子区域选择一个梯度定向、从第26维度至第50维度的每一子 区域选择两个梯度定向，并且从第51维度至第75维度的子区域选择 三个梯度定向。
此外，在第1维度和第25维度之间、第26维度和第50维度之间 以及第51维度和第75维度之间，维度选择单元18可以通过顺序地增 加维度，例如按如图4所示的块的顺序，来选择维度。当使用图4所 示的优先次序时，维度选择单元18可以选择梯度定向，使得更接近中 心的块具有较高优先次序。图5是示出具有150维度的特征向量的元 素的数目的例子的图。在该例子中，当根据光栅扫描顺序，用编号“b” (b＝0,1,...,或24)分别表示5×5＝25个块，并且由“i”(i＝0,1,2,3,4或 5)表示量化定向方向时，特征向量的每个元素的编号“k”(k＝0,1,…, 或149)为k＝6×b+i。示意性地示出图5所示的梯度定向和相应的编号 “k”，并且不一定与实际图像上的梯度定向一致。例如，在图5中， 元素编号0被示为向上梯度，但是通常与实际图像上的图像坐标系中 的0°方向的梯度相关联。举例来说，图6示出了不同于图5中所示的 关联的梯度定向的关联。与图5中的关联相比，图6所示的关联更类 似于图像坐标系中的实际图像的关联，但在图5和6的关联之间不存 在本质区别。
此外，图7示出了通过根据图4所示的优先次序来选择图5或图 6中所示的元素所获得的局部特征量的配置例子的图。例如，维度选择 单元18可以按图7所示的顺序输出维度(元素)。具体地，在输出例 如150维度的局部特征量中，维度选择单元18可以按图7所示的顺序 来输出150维度的全部元素。另外，当输出例如25维度的局部特征量 时，维度选择单元18可以按图7所示的顺序(从左到右)输出图7所 示的第一行中的元素(第76元素、第45元素、第83元素，…，和第 120元素)。此外，当输出例如50维度的局部特征量时，除图7所示 的第一行中的元素外，维度选择单元18可以按图7所示的顺序(从左 到右)输出图7中的第二行中的元素。
在图7所示的例子中，局部特征量具有分层配置。即，例如，对 25维度的局部特征量和150维度的局部特征量来说，前25维度的局部 特征量的元素的排列是相同的。由此，通过以分层方式(逐行地)选 择维度，维度选择单元18可以根据应用、通信容量、终端的规格等提 取和输出任何数目维度的局部特征量，即，任何大小的局部特征量。 此外，通过以分层方式选择维度、基于优先次序重新排列维度以及输 出重新排列的维度，维度选择单元18可以使用不同数目维度的局部特 征量来使图像相互匹配。例如，当使用75维度的局部特征量和50维 度的局部特征量来使图像相互匹配时，仅使用前50维度可以计算局部 特征量之间的距离。
图4至图7中所示的优先次序是说明性的，并且用于维度的选择 的顺序不限于这些优先次序。例如，代替图4的例子中所示的顺序， 可以按如图8A或图8B所示的顺序选择块。此外，例如，可以设置优 先次序，使得从所有子区域均匀地选择维度。替代地，可以设置优先 次序，使得根据局部区域的中心邻近的重要性，在中心附近的子区域 中，选择的频率更高。另外，有关维度选择的顺序的信息可以例如在 程序中指定或存储在当执行程序时所参考的表等(选择顺序存储单元) 中。
替代地，维度选择单元18可以执行如图9A或图9B所示的选择。 在这种情况下，从一些子区域选择6维度，而从与某些子区域相邻的 其他子区域选择0维度。而且在这种情况下，针对子区域选择维度， 使得减少相邻子区域之间的相关性。
此外，局部区域和子区域的形状不限于图2和图3所示的方形， 而是可以任选。例如，如图10所示，局部区域获取单元12可以获取 圆形的局部区域。在这种情况下，如图10所示，子区域分割单元14 可以将圆形局部区域分成例如9个子区域或17个子区域。而且在这种 情况下，维度选择单元18可以从每一子区域选择维度，例如，如图11 所示。在图11所示的例子中，当从72维度选择40维度时，不对中心 子区域执行维度的挑选。
图12是示出局部特征量提取装置1A中的处理的例子的流程图。 首先，特征点检测单元10检测图像中的特征点，并且输出每一特征点 的坐标位置、规模(大小)和定向(S1101)。当检测到特征点时，局 部区域获取单元12基于所检测的特征点的每一个的坐标位置、规模和 定向来获取将从其提取特征量的局部区域(S1102)。然后，子区域分 割单元14将局部区域分割成子区域(S1103)。子区域特征向量生成 单元16针对局部区域中的子区域中的每一个生成梯度定向直方图 (S1104)。最后，维度选择单元18根据指定的选择顺序来选择将输 出为局部特征量的维度(元素)(S1105)。
由此，在根据第一实施例的局部特征量提取装置1A中，维度选择 单元18基于子区域中的位置关系来选择将输出为局部特征量的维度 (元素)，使得降低邻近子区域之间的相关性。换句话说，邻近子区 域通常具有高的相关性，并且由此，维度选择单元18可以选择维度， 使得防止从邻近子区域选择相同特征向量的维度(元素)。由此，能 够在保持被写体识别的精度的情况下降低特征量的大小。
此外，维度选择单元18可以以分层方式(逐行)输出局部特征量， 如图7所示。这正好实现某些数目的所选择的维度的局部特征量与不 同数目的所选择的维度(特征量的不同大小)的局部特征量的匹配(距 离计算)。
此外，维度选择单元18基于子区域中的位置关系来选择维度，并 且由此，不需要执行选择维度的学习。即，可以在不依赖于数据(图 像)的情况下执行局部特征量的广义提取。
在局部特征量提取装置1A中，可以相互改变子区域特征向量生成 单元16中的处理和维度选择单元18中的处理的顺序。即，局部特征 量提取装置1A可以允许在维度选择单元18选择维度后，子区域特征 向量生成单元16生成具有所选择的维度的特征向量的处理。
第二实施例
接着，在下文中，将描述第二实施例。图13示出了根据本发明的 第二实施例的局部特征量提取装置的配置。第二实施例允许改变所选 择的维度。如图13所示，局部特征量提取装置1B被配置成包括特征 点检测单元10、局部区域获取单元12、子区域分割单元14、子区域特 征向量生成单元16、维度数目确定单元20和维度选择单元18。由此， 局部特征量提取装置1B的配置对应于添加了维度数目确定单元20的 根据第一实施例的局部特征量提取装置1A。由相同的附图标记表示与 第一实施例的相应部件相同的第二实施例的部件，并且在下文中不再 描述。
维度数目确定单元20可以确定由维度选择单元18选择的维度数 目。例如，维度数目确定单元20可以通过从用户接收表示维度数目的 信息来确定维度数目。指示维度数目的信息不一定指示维度本身的数 目，而是可以指示例如搜索精度或搜索速度。具体地，例如，在接收 到请求增加搜索精度的输入时，维度数目确定单元20可以将维度数目 确定为被增加的值。此外，例如，在接收到请求降低搜索精度的输入 时，维度数目确定单元20可以将维度数目确定为被降低的值。
此外，维度数目确定单元20可以基于使用局部特征量提取装置 1B的应用、通信容量、终端的处理规格等来确定维度数目。具体地， 例如，当通信容量小(通信速度低)时，维度数目确定单元20可以将 维度数目确定成小于当通信容量大(通信速度高)时选择的维度数目 的值。替代地，例如，当终端的处理规格低时，维度数目确定单元20 可以将维度数目确定为小于当处理规格高时选择的维度数目的值。替 代地，维度数目确定单元20可以根据终端上的处理负担，动态地确定 维度数目。替代地，例如，当确定可以用于整个图像的局部特征量的 大小时，维度数目确定单元20可以通过逆向地计算从整个图像提取的 特征点数来确定从每一特征点选择的维度数目。
维度数目确定单元20可以针对在图像中检测到的所有特征点确 定相同维度数目，或者针对各个特征点确定不同维度数目。例如，在 经由外部信息提供特征点的重要性时，维度数目确定单元20可以对更 重要的特征点确定更多维度数目，而对不太重要的特征点确定较少维 度数目。
例如，维度数目确定单元20可以根据图像中的区域来确定重要 性。具体地，维度数目确定单元20可以认为图像的中心的特征点比图 像的周边部分中的特征点更重要，并且确定维度数目，使得对图像的 中心的特征点提供更多维度。
此外，例如，维度数目确定单元20可以基于特征向量来确定特征 点的重要性。具体地，例如，维度数目确定单元20可以参考特征向量 的值，并且当可以确定该特征量对应于频繁出现的图案(pattern)时， 认为该特征向量作为用于识别的局部特征量不是非常有用并且确定该 特征点不太重要。相反，在这种情况下，维度数目确定单元20可以增 加维度数目来增强识别能力。
替代地，例如，维度数目确定单元20可以基于与图像中的其他特 征点的特征向量的值的关系来确定每个特征点的重要性。具体地，例 如，通过将每个特征向量的值与其他特征点的特征向量的值进行比较， 维度数目确定单元20可以确定该特征向量是否对应于频繁出现的图 案，并且基于确定结果，确定特征点的重要性。
替代地，例如，维度数目确定单元20可以基于当特征点检测单元 10检测特征点时获得的信息，确定每个特征点的重要性。具体地，例 如，维度数目确定单元20可以基于有关特征点的规模的信息来确定每 个特征点的重要性。例如，维度数目确定单元20可以确定具有较大规 模值的特征点更重要。
基于由维度数目确定单元20确定的维度数目，维度选择单元18 可以选择用于特征向量的维度并且将维度输出为局部特征量，与根据 第一实施例的维度选择单元18类似。如上所述，所选择的维度数目对 在图像中检测到的所有特征点可以是相同的，或可以在特征点之间改 变。
由此，在根据第二实施例的局部特征量提取装置1B中，维度数目 确定单元20可以确定由维度选择单元18选择的维度数目。由此，可 以基于用户输入、通信容量、终端的处理规格等来确定适当的维度数 目。
第三实施例
现在，将描述第三实施例。图14是示出根据本发明的第三实施例 的局部特征量提取装置的配置的图。第三实施例通过量化特征向量来 实现局部特征量的大小的进一步减小。如图14所示，局部特征量提取 装置1C被配置成包括特征点检测单元10、局部区域获取单元12、子 区域分割单元14、子区域特征向量生成单元16、维度选择单元18和 量化单元22。由此，局部特征量提取装置1C的配置对应于增加了量化 单元22的根据第一实施例的局部特征量提取装置1A。由相同的附图 标记表示与第一实施例的相应部件相同的第二实施例的部件并且在下 文中将不再描述。
量化单元22可以将由子区域特征向量生成单元16输出的梯度定 向直方图中的维度量化成N值。可以在量化单元22中使用任何量化技 术。量化单元22可以使用向量量化等单独地量化维度而不是集中地量 化多个维度。由此，即使在执行量化后，维度选择单元18也可以选择 维度，与第一实施例的情形相同。
将描述量化的具体例子。例如，对于N＝2，量化单元22可以将梯 度定向直方图中的维度量化成二进制，如图15所示。这里，梯度定向 直方图中的梯度定向的数目由D表示(例如，D＝6或D＝8)，并且由 hi(i＝0,…,D-1)表示用于梯度定向直方图中的每个子区域的值。量化 单元22可以基于公式(3)，确定hi的量化值(i＝0,…,D-1)。
[公式3]
此外，量化单元22可以例如使用公式(4)计算阈值th。
[公式4]
在这种情况下，α表示预定系数。α对所有子区域可以具有相同的 值或可以子区域之间改变的值。
此外，使用公式(4)计算的阈值是说明性的，并且量化单元22 可以基于另一公式计算阈值th。例如，量化单元22可以通过计算 th＝α·max(hi:i＝0,…,D-1)确定阈值th。替代地，量化单元22可以设 定阈值，使得量化值的近一半为0或1。具体地，量化单元22可以将 按升序，从排序hi(i＝0,…,D-1)产生的量化值的前一半确定为0，而 将量化值的后一半确定为1。
替代地，量化单元22可以对每个子区域或对整个局部区域设定阈 值th。例如，量化单元22可以使用用于整个局部区域的梯度定向直方 图的值，而不是用于每个子区域的值，根据公式(4)，计算阈值th， 由此对整个局部区域设定阈值th。
如上所述，在根据第三实施例的局部特征量提取装置1C中，量化 单元22量化特征向量，实现局部特征量的大小的进一步缩减。
第四实施例
现在，将描述第四实施例。图16是示出根据本发明的第四实施例 的局部特征量提取装置的配置的图。第四实施例在选择维度后，执行 量化，实现局部特征量的大小的进一步缩减。如图16所示，局部特征 量提取装置1D被配置成包括特征点检测单元10、局部区域获取单元 12、子区域分割单元14、子区域特征向量生成单元16、维度选择单元 18和量化单元24。由此，局部特征量提取装置1D的配置对应于增加 量化单元24的根据第一实施例的局部特征量提取装置1A。用相同的 参考数字表示与第一实施例的相应部件相同的第四实施例的部件，并 且在下文中，将不再描述。
与根据第三实施例的量化单元22相同，量化单元24能单独地量 化特征向量的维度。此外，量化单元24能例如通过向量量化，集中地 量化特征向量的多个维度。
由此，在根据第四实施例的局部特征量提取装置1D中，量化单元 24量化特征向量，实现局部特征量的大小的进一步缩减。此外，当量 化单元24集中地量化多个维度时，与第三实施例相比，第四实施例能 减少待量化的维度数目，由此减少量化所需的吞吐量。
第五实施例
现在，将描述第五实施例。图17是示出根据本发明的第五实施例 的局部特征量提取装置的配置的图。如图17所示，局部特征量提取装 置1E被配置成包括特征点检测单元10、局部区域获取单元12、子区 域分割单元14、子区域特征向量生成单元16、维度选择单元18和特 征向量扩展单元26。由此，局部特征量提取装置1E的配置对应于增加 特征向量扩展单元26的根据第一实施例的局部特征量提取装置1A。 用相同的参考数字表示与第一实施例的相应部件相同的第五实施例的 部件，并且在下文中，将不再描述。此外，特征向量扩展单元26不仅 能应用于根据第一实施例的局部特征量提取装置，而且能应用于根据 其他实施例的局部特征量提取装置。
通过使用由子区域特征向量生成单元16生成的特征向量来以较 大规模(扩展分割区域)生成维度，特征向量扩展单元26能扩展特征 向量。特征向量扩展单元26可以使用仅有关由子区域特征向量生成单 元16输出的特征向量的信息，扩展特征向量。这消除了恢复成原始图 像来执行用于扩展特征向量的提取的需要。由此，与由原始图像生成 特征向量所需的处理时间相比，扩展特征向量所需的处理时间非常短。
例如，特征向量扩展单元26可以将用于相邻子区域的梯度定向直 方图合成为新的梯度定向直方图。例如，特征向量扩展单元26可以基 于由子区域分割单元14执行的分割产生的N×N块的梯度定向直方图 (N×N×D维度)，加总相邻2×2＝4块的梯度定向直方图(加总具有相 同梯度的元素)来生成(N-1)×(N-1)块的梯度定向直方图((N-1)×(N-1)×D 维度)。由此，特征向量扩展单元26可以基于原始特征向量，以(2×2 块)的规模生成梯度定向直方图。由此生成的特征向量是未包含在原 始特征向量中的新信息(以较大规模的直方图信息)，由此使得提高 识别的精度。此外，扩展所考虑的块不限于2×2块。例如，特征向量 扩展单元26可以将3×3块的梯度定向直方图加总成(N-2)×(N-2)块的梯 度定向直方图((N-2)×(N-2)×D)。由此，特征向量扩展单元26可以 以分层规模，将块大小顺序地增加到梯度定向直方图。
图18示出了通过加总2×块的梯度定向直方图(加总具有相同梯 度的元素)的特征向量的扩展的例子。如图18所示，特征向量扩展单 元26可以将5×5×6维度(150维度)的梯度定向直方图扩展成4×4×6 维度(96维度)的梯度定向直方图。
在图18所示的例子中，当根据光栅扫描顺序，用编号b1 (b1＝0,1,…,24)表示5×5块的层(在下文中，称为层1)中的块，以 及根据光栅扫描顺序，由编号b2(b2＝0,1,…,15)表示由扩展生成的 4×4＝16块的层(在下文中，称为层2)中的块时，
由块b1＝0,1,5和6生成块b2＝0的直方图，
由块b1＝1,2,6和7生成块b2＝1，
由块b1＝2,3,7和8生成块b2＝2，
由块b1＝3,4,8和9生成块b2＝3，
由块b1＝5,6,10和11生成块b2＝4，
由块b1＝6,7,11和12生成块b2＝5，
由块b1＝7,8,12和13生成块b2＝6，
由块b1＝8,9,13和14生成块b2＝7，
由块b1＝10,11,15和16生成块b2＝8，
由块b1＝11,12,16和17生成块b2＝9，
由块b1＝12,13,17和18生成块b2＝10，
由块b1＝13,14,18和19生成块b2＝11，
由块b1＝15,16,20和21生成块b2＝12，
由块b1＝16,17,21和22生成块b2＝13，
由块b1＝17,18,22和23生成块b2＝14，和
由块b1＝18,19,23和24生成块b2＝15。
类似地，特征向量扩展单元26可以基于5×5×6维度(150维度)， 加总相邻3×3块的梯度定向直方图来生成3×3×6维度(54维度)的梯 度定向直方图。此外，基于由扩展产生的4×4×6维度(96维度)的梯 度定向直方图，特征向量扩展单元26可以生成进一步扩展的梯度定向 直方图。例如，通过基于由扩展产生的4×4×6维度(96维度)的梯度 定向直方图，加总2×2块的梯度定向直方图，特征向量扩展单元26可 以进一步生成3×3×6维度(54维度)的梯度定向直方图，如图18所示。
在该例子中，当根据光栅扫描方向，由编号b3(b3＝0,1,…,8)表 示3×3＝9块的层(在下文中，称为层3)中的块时，
由块b1＝0,1,4和5生成块b3＝0的直方图，
由块b1＝1,2,5和6生成块b3＝1，
由块b1＝2,3,6和7生成块b3＝2，
由块b1＝4,5,8和9生成块b3＝3，
由块b1＝5,6,9和10生成块b3＝4，
由块b1＝6,7,10和11生成块b3＝5，
由块b1＝8,9,12和13生成块b3＝6，
由块b1＝9,10,13和14生成块b3＝7，和
由块b1＝10,11,14和15生成块b3＝8。
此外，特征向量扩展单元26可以使用不同于由后续维度选择单元 18选定的维度的维度，扩展梯度定向直方图。图20示出了具体例子。 例如，当维度选择单元18从150维度的梯度定向直方图选择75维度 时，特征向量扩展单元26可以将剩余(未选择的)75维度扩展成96 维度的梯度定向直方图。
例如，假定在层1，根据图7所示的优先次序，选择75维度。在 这种情况下，当由(i)(i＝0,1,2,3,4或5)表示梯度定向直方图中的量 化梯度定向时，从块b1＝偶数块选择具有i＝0,2和4的元素的维度，以 及从块b1＝奇数块选择具有i＝1,3和5的元素的维度。
由此，当根据扩展结果，在层2生成96维度的梯度定向直方图时， 特征向量扩展单元26可以在层1，将具有i＝1,3和5的元素的未选择维 度仅用于块b1＝偶数块和在层1，将具有i＝0,2和4的元素的未选择维 度仅用于块b1＝奇数块，在层2生成梯度定向直方图。
例如，在上述例子中，当由层1，块b1＝0,1,5和6的梯度定向直 方图生成块b2＝0的梯度定向直方图时，特征向量扩展单元26可以将 具有i＝1,3和5的元素的未被选择的维度仅用于块b1＝0和6，以及可以 将具有i＝0,2和4的元素的未被选择的维度仅用于块b1＝1和5。
根据与层1的模式类似的模式(使将选择具有i＝0,2和4的元素的 块与将选择具有i＝1,3和5的元素的块交替地排列)，维度选择单元18 可以从由此生成的96维度的梯度定向直方图，选择一半的维度，即48 维度(75+48＝总共123维度)。
当从层2扩展到层3时，特征向量扩展单元26可以类似地使用层 2未被选择的48维度来生成层3的54维度的梯度定向直方图。然后， 以类似的模式(使将选择具有i＝0,2和4的元素的块与与将选择具有 i＝1,3和5的元素的块交替地排列)，将维度选择单元18可以从层3 生成的54维度的梯度定向直方图选择一半维度，即，27维度 (75+48+27＝总共150维度)。
由此，由扩展产生的梯度定向直方图是未包含在由维度选择单元 18输出的特征向量中的新信息。因此，能提高识别的精度。
如图18的右边所示，维度选择单元18可以通过选择维度，输出 局部特征量，使得对以每个规模生成的梯度定向直方图，从相邻子区 域选择的维度不在同一梯度定向中。
现在，将示例用于维度选择的优先次序的例子，其中，从在层2 生成的96维度(4×4＝16块)的梯度定向直方图选择维度。对从层2 选择的维度，维度选择单元18可以通过在第1维度和第16维度之间、 第17维度和第32维度之间和第33维度和第48维度之间，例如，以 图21所示的块的顺序，顺序地增加维度来选择维度。
使用图21所示的优先次序允许维度选择单元18选择具有位于更 接近中心的块的较高优先次序的梯度定向。此外，当由b2表示块编号 时，由(i)(i＝0,1,2,3,4或5)表示梯度定向直方图中的量化方向，以 及96维度的梯度定向直方图中的特征向量的每个元素的编号k (k＝0,1,…,或95)为k＝6×b+i时，可以例如根据图22所示的优先次序， 顺序地选择维度(元素)。
现在，示例用于维度选择的优先次序的例子，其中，从在层3生 成的54维度的梯度定向直方图(3×3＝9块)选择维度。对从层3选择 的维度，维度选择单元18可以通过在第1维度和第9维度之间、第10 维度和第18维度之间和第19维度和第27维度之间，按图23所示的 块的顺序，顺序地增加维度来选择维度。使用图23所示的优先次序允 许维度选择单元18选择具有位于更接近中心的块的较高优先级的梯度 定向。此外，当由b3表示块编号时，由(i)(i＝0,1,2,3,4或5)表示 梯度定向直方图中的量化方向，以及54维度的梯度定向直方图中的特 征向量的每个元素的编号k(k＝0,1,…,或53)为k＝6×b+i时，维度选择 单元18可以例如根据图24所示的优先次序，顺序地选择维度(元素)。
在具体例子中，维度选择单元18可以通过根据图7所示的层1的 优先次序，按顺序选择第1维度至第75维度(150维度的一半)，然 后根据图22所示的层2的优先次序，按顺序选择第1维度至第48维 度(96维度的一半)，构造第76维度至第123维度(75维度+48维度 ＝128维度)。此外，维度选择单元18通过根据图24所示的层3的优 先次序，按顺序选择第1维度至第27维度(54维度的一半)，由此构 造第124维度至第150维度(75维度+48维度+27维度)。
由特征向量扩展单元26执行的扩展的模式不限于上述例子。例 如，特征向量扩展单元26可以通过量化用于每个子区域(块)的梯度 定向直方图，生成扩展特征向量。具体地，例如，可以通过将用于整 个局部区域的梯度定向直方图的和乘以系数α来获得阈值以及当用于 子区域的梯度定向直方图的和等于或小于该阈值时设定0，而当用于子 区域的梯度定向直方图的和等于或大于该阈值时设定1，生成扩展的特 征向量。替代地，特征向量扩展单元26能例如基于差值而不是梯度定 向直方图的和，扩展特征向量。具体地，特征向量扩展单元26可以基 于梯度定向直方图中，不同子区域之间的同一维度的值的差，扩展特 征向量。
可以使用第三实施例和第四实施例的组合，量化特征向量(梯度 定向直方图)。可以将不同参数用于各个层(层1、层2和层3)，执 行量化。例如，可以基于公式(1)，执行量化，以及当根据公式2计 算阈值th时，系数α的值可以在层之间改变。例如，对层1，α＝0.063， 对层2，α＝0.10，以及对层3，α＝0.12。
如上所述，在根据第五实施例的局部特征量提取装置1E中，特征 向量扩展单元26可以扩展特征向量。由此，生成包含原始特征向量中 不存在的新信息的特征向量，使得提高识别的精度。
第六实施例
现在，将描述第六实施例。图25是示出根据本发明的第六实施例 的局部特征量提取装置的配置的图。如图25所示，局部特征量提取装 置1F被配置成包括特征点检测单元10、局部区域获取单元12、子区 域分割单元14、第一子区域特征向量生成单元16、第二子区域特征向 量生成单元28和维度选择单元18。由此，局部特征量提取装置1F的 配置对应于增加第二子区域特征向量生成单元28的根据第一实施例的 局部特征量提取装置1A。用相同的参考数字表示与第一实施例的相应 部件相同的第六实施例的部件，并且在下文中，将不再描述。此外， 第二子区域特征向量生成单元28不仅可应用于根据第一实施例的局部 特征量提取装置，而且可应用于根据其他实施例的局部特征量提取装 置。
第二子区域特征向量生成单元28可以生成与由第一子区域特征 向量生成单元16提供的梯度定向不同的梯度定向的梯度定向直方图。 例如，当第一子区域特征向量生成单元16以45°的间隔，生成8个方 向的梯度定向直方图时，第二子区域特征向量生成单元28可以以60° 的间隔，生成6个方向的梯度定向直方图。
然后，维度选择单元可以通过选择维度，输出局部特征量，使得 对由第一子区域特征向量生成单元16生成的特征向量以及由第二子区 域特征向量生成单元28生成的特征向量，从相邻子区域选择的维度不 在同一梯度定向中。
如上所述，在根据第六实施例的局部特征量提取装置1F中，第二 子区域特征向量生成单元28生成与由第一子区域特征向量生成单元16 提供的梯度定向不同的梯度定向的梯度定向直方图。这增加特征向量 的信息量，实现识别精度提高。
在第六实施例中，示出了两个子区域特征向量生成单元，第一子 区域特征向量生成单元16和第二子区域特征向量生成单元28。然而， 可以提供三个或以上特征向量生成单元。
第七实施例
现在，将描述第七实施例。图26是示出了根据本发明的第七实施 例的局部特征量提取装置的配置的图。如图26所示，局部特征量提取 装置1G被配置成包括特征点检测单元10、局部区域获取单元12、第 一子区域分割单元14、第二子区域分割单元30、第一子区域特征向量 生成单元16、第二子区域特征向量生成单元28和维度选择单元18。 由此，局部特征量提取装置1G的配置对应于增加了第二子区域分割单 元30的根据第六实施例的局部特征量提取装置1F。用相同的参考数字 表示与第六实施例的相应部件相同的第七实施例的部件，并且在下文 中，将不再描述。
第二子区域分割单元30使用与由第一子区域分割单元14使用的 技术不同的技术来执行分割。例如，当第一子区域分割单元14将局部 区域分成4×4块时，第二子区域分割单元30可以将该局部区域分成5×5 块。
然后，第一子区域特征向量生成单元16生成用于由第一子区域分 割单元14执行的分割产生的子区域的每一个的梯度定向直方图。此外， 第二子区域特征向量生成单元28生成用于由第二子区域分割单元30 执行的分割产生的子区域的每一个的梯度定向直方图。
如上所述，在根据第七实施例的局部特征量提取装置1G中，第二 子区域分割单元30使用与由第一子区域分割单元14使用的技术不同 的技术划分局部区域。这增加了有关特征向量的信息量，实现识别精 度提高。
在第七实施例中，示例两个子区域分割单元，第一子区域分割单 元14和第二子区域分割单元30。然而，可以提供三个或以上子区域分 割单元。
第八实施例
现在，将描述第八实施例。图27是示出根据本发明的第八实施例 的局部特征量提取装置的配置的图。如图27所示，局部特征量提取装 置1H被配置成包括特征点检测单元10、第一局部区域获取单元12、 第二局部区域获取单元32、第一子区域分割单元14、第二子区域分割 单元30、第一子区域特征向量生成单元16、第二子区域特征向量生成 单元28和维度选择单元18。由此，局部特征量提取装置1H的配置对 应于增加了第二局部区域获取单元32的根据第七实施例的局部特征量 提取装置1G。用相同的参考数字表示与第七实施例的相应部件相同的 第八实施例的部件，并且在下文中，将不再描述。
第二局部区域获取单元32使用与由第一局部区域获取单元12使 用的技术不同的技术，获取局部区域。例如，当第一局部区域获取单 元12获取方形局部区域时，第二局部区域获取单元32可以获取圆形 局部区域。
第一子区域分割单元14将由第一局部区域获取单元12获得的局 部区域分成子区域。此外，第二子区域分割单元30将由第二局部区域 获取单元32获得的局部区域分成子区域。
如上所述，在根据第八实施例的局部特征量提取装置1H中，第二 局部区域区获取单元32使用与由第一局部区域获取单元12使用的技 术不同的技术，获取局部区域。这增加了有关特征向量的信息量，使 得提高识别的精度。
在第八实施例中，示出了两个局部区域获取单元，第一局部区域 获取单元12和第二局部区域获取单元32。然而，可以提供三个或以上 局部区域获取单元。
第九实施例
现在，将描述第九实施例。图28是示出根据本发明的第九实施例 的局部特征量提取装置的配置的图。如图28所示，局部特征量提取装 置1J被配置成包括特征点检测单元10、局部区域获取单元12、子区域 分割单元14、子区域特征向量生成单元16、维度选择单元18和编码 单元34。由此，局部特征量提取装置1J的配置对应于增加了编码单元 34的根据第一实施例的局部特征量提取装置1A。用相同的参考数字表 示与第一实施例的相应部件相同的第九实施例的部件，并且在下文中， 将不再描述。此外，编码单元34不仅可应用于根据第一实施例的局部 特征量提取装置，而且可应用于根据其他实施例的局部特征量提取装 置。
编码单元34可以编码由维度选择单元18输出并且具有按优先次 序的顺序排列的维度的特征向量并且将所编码的向量输出为特征量的 位流。编码单元34可以使用固定位长编码例如特征向量。此外，例如， 编码单元34可以基于无损编码(可逆压缩)，诸如使用霍夫曼码或算 术码的熵编码或基于有损编码(不可逆压缩)执行编码。
具体地，例如，如果特征向量是由第三实施例中所示的量化单元 22执行的量化成0或1的二进制产生的二进制特征，编码单元34可以 通过将N维度与N位(N/8字节)关联以及使用固定位长执行编码。 例如，编码单元34可以将96维度的特征向量(96位)编码成96/8＝12 字节。此外，例如，编码单元34可以使用霍夫曼码或算术码执行熵编 码。此外，例如，当使用熵编码，诸如算术码时，编码单元34可以使 用有关编码维度的信息来执行有效编码(上下文编码)。
此外，编码单元34能使用有关从图像提取的一组特征向量执行编 码。例如，图像包含许多重复出现的模式，由此，编码单元34可以通 过分组这些类似的特征向量执行编码。此外，如果图像是运动图像的 帧，编码单元34跟踪连续帧之间的特征点并且将当前特征点与以前帧 中的特征点关联，以及仅编码特征向量之间的差的值。由此，编码单 元34使用有关一组特征向量的信息执行编码，以远大于特征向量的单 个压缩更大的规模实现编码压缩。
此外，编码单元34可以按任何顺序编码从图像提取的一组特征向 量。例如，编码单元34可以按已经提取特征向量的顺序编码特征向量 (特征点)。此外，除特征点的特征向量外，可以编码有关特征点的 坐标位置(X坐标值，Y坐标值)的信息。在这种情况下，编码单元 34按某些预定顺序，诸如光栅扫描顺序重新排列特征点以及仅编码坐 标值之间的差的值是可能的。在这种情况下，编码单元34可以按此顺 序编码特征向量。由此，使用比在使用固定位长编码坐标值的情形相 比，使用更短位长编码有关特征点的坐标值的信息。
此外，除特征点的特征向量外，可以编码有关由特征点检测单元 10输出的特征点的规模信息。在这种情况下，编码单元34以用于编码 的规模值顺序重新排列特征点以及仅编码规模值变化的编号和相应的 规模值。这消除了编码用于各个特征向量的所有规模值的需要。另外， 当编码规模信息和坐标值时，编码单元34可以按规模值顺序重新排列 特征向量并且按光栅扫描顺序，编码具有相同规模值的特征点。此外， 编码单元34可以编码角度信息，与规模信息的情形相同。
此外，编码单元34可以按降低重要性的顺序编码一组特征向量。 有关特征点的重要性的引用与例如第一实施例中的引用类似。由此， 用于匹配特征向量的装置可以执行有效匹配：该装置按从前导 (leading)特征点(最重要特征点)开始的顺序执行特征量的匹配， 以及在成功地确定是否找到匹配后中断匹配。
此外，当从特征向量选择的维度数对整个图像来说相同时，编码 单元34可以在位流的前导位置输入(编码)维度数。当维度数在特征 点之间改变时，编码单元34需要编码相应的信息，使得编码信息清楚 地表示用于各个特征点的维度数。在这种情况下，编码单元34可以编 码有关用于每个特征点的维度数的信息。另外，如编码规模信息的情 形，编码单元34按用于编码的维度数顺序重新排列特征向量，并且仅 编码维度数改变的编号和相应的维度数。这消除了编码用于各个特征 向量的维度数的所有值的需要。
如上所述，在根据第九实施例的局部特征量提取装置1J中，编码 单元34编码局部特征量，由此实现局部特征量的大小的进一步缩减。
应用例子
图29是示出应用在第一至第九实施例中所示的局部特征量提取 装置的匹配系统的例子的图。如图29所示，匹配系统被配置成包括匹 配装置100、特征量数据库(DB)110和局部特征量提取装置120。
匹配装置100可以通过将包含在由局部特征量提取装置120传送 的搜索请求中的局部特征量与在特征量DB 110中存储的局部特征量匹 配，搜索包含与输入到局部特征量提取装置120的图像中的被写体类 似的被写体。
特征量DB 110与已经提取局部特征量的图像关联，存储从多个图 像提取的局部特征量。在特征量DB 110中存储的局部特征量可以是例 如按图7所示的顺序输出的150维度的特征向量。
局部特征量提取装置120可以是在第一至第九实施例的任何一个 中所示的局部特征量提取装置。
局部特征量提取装置120生成包含在输入图像中检测到的特征点 的特征向量的搜索请求，以及将搜索请求传送到匹配装置100。匹配装 置100将所接收的局部特征量与在特征量DB 110中存储的局部特征量 匹配来确定与所输入的图像类似的图像。然后，匹配装置100将表示 确定为与输入图像类似的图像的信息作为搜索结果输出到局部特征量 提取装置120。
在该匹配系统中，局部特征量提取装置120基于子区域之间的位 置关系，选择将输出为局部特征量的维度(元素)，使得减小邻近子 区域之间的相关性，如在第一至第九实施例中所述。由此，匹配系统 能减小局部特征量的大小，同时保持由匹配装置100执行的匹配的精 度。
这实现将局部特征量从局部特征量提取装置120传送到匹配装置 100所需的通信时间的缩减。此外，减小的局部特征量的大小实现由匹 配装置100执行的匹配的处理负担的减轻。此外，局部特征量具有如 图7所示的分层(逐行)配置。因此，即使当由局部特征量提取装置 120提取的局部特征量的维度数不同于在特征量DB 110中存储的局部 特征量的维度数时，匹配装置100也能使用多至与特征量DB 110和局 部特征量提取装置120共用的维度数的局部特征量执行匹配处理。
例如，假定在特征量DB 110中存储的局部特征量等于150维度， 而由局部特征量提取装置120提取的局部特征量等于50维度，如图30 所示。在这种情况下，匹配装置100能使用特征量DB 110和局部特征 量提取装置120中多至50维度的局部特征量执行匹配。换句话说，即 使当例如根据局部特征量提取装置120的处理能力，局部特征量中的 维度数改变，匹配装置100能使用所改变的维度数的局部特征量执行 匹配处理。
预期实施例便于理解本发明，并且不打算限制本发明的解释。在 不背离其精神的情况下，可以改变或改进本发明并且包括其等效。
本申请要求基于2011年11月18日提交的日本专利申请 No.2011-253257的优先权，其全部内容在此引入以供参考。
已经参考实施例描述了本发明。然而，本发明不限于上述实施例。 可以在其范围内，对本发明的配置和细节做出本领域的技术人员能理 解的各种改变。
一些或全部实施例可以描述如下，但本发明不限于这些特征。
(特征1)一种局部特征量提取装置，包括：特征点检测单元， 被配置成检测图像中的特征点；第一局部区域获取单元，被配置成获 取用于每个特征点的局部区域；第一子区域分割单元，被配置成将每 个局部区域分成多个子区域；第一子区域特征向量生成单元，被配置 成对每个局部区域中的每个子区域，生成具有多个维度的特征向量； 以及维度选择单元，被配置成基于每个局部区域中的子区域之间的位 置关系，从每个子区域中的特征向量选择维度，使得减小邻近子区域 之间的相关性以及将所选择的维度的元素输出为该局部区域的特征 量。
(特征2)根据特征1所述的局部特征量提取装置，维度选择单 元被配置成以在所选择的维度的至少一个中，相邻子区域彼此不同的 方式，从特征向量选择维度。
(特征3)根据特征1或2所述的局部特征量提取装置，其中， 维度选择单元被配置成根据用于从局部区域的多个子区域中的特征向 量选择维度的选择顺序，从特征向量选择维度。
(特征4)根据特征3所述的局部特征量提取装置，其中，维度 选择单元被配置成将根据选择顺序选择的维度的顺序的所选择的维度 的元素输出为局部区域的特征量。
(特征5)根据特征1至4的任何一个所述的局部特征量提取装 置，进一步包括维度数目确定单元，维度数目确定单元被配置成确定 由维度选择单元选择的维度数目，其中，维度选择单元被配置成以用 于局部区域的特征量的维度数目等于所确定的维度数目的方式，从特 征向量选择维度。
(特征6)根据特征5所述的局部特征量提取装置，其中，维度 数目确定单元被配置成根据所检测的特征点的数目，对每个特征点， 确定为局部区域的特征量选择的维度数目。
(特征7)根据特征5所述的局部特征量提取装置，其中，维度 数目确定单元被配置成基于表示每个特征点的重要性的信息，对每个 特征点，确定为局部区域的特征量选择的维度数目。
(特征8)根据特征1至7的任何一个所述的局部特征量提取装 置，进一步包括被配置成量化每个子区域中的特征向量的量化单元， 其中，维度选择单元被配置成从量化特征向量选择维度。
(特征9)根据特征1至7的任何一个所述的局部特征量提取装 置，进一步包括被配置成量化局部区域的特征量的量化单元。
(特征10)根据特征1至9的任何一个所述的局部特征量提取装 置，进一步包括特征向量扩展单元，特征向量扩展单元被配置成基于 多个邻近子区域中的特征向量，生成用于作为大于多个邻近子区域的 每一个的子区域的扩展子区域的特征向量，其中，维度选择单元被配 置成基于每个局部区域中的扩展子区域之间的位置关系，从每个扩展 子区域的特征向量选择维度，使得减小邻近扩展子区域之间的相关性， 以及将所选择的维度的元素输出为局部区域的特征量。
(特征11)根据特征10所述的局部特征量提取装置，其中，特 征向量的元素是由方向而定的特征量，以及特征向量扩展单元被配置 成基于每个子区域的特征向量中，未被维度选择单元选择的维度的元 素，生成用于扩展子区域的特征向量。
(特征12)根据特征1至11的任何一个所述的局部特征量提取 装置，进一步包括第二子区域特征向量生成单元，第二子区域特征向 量生成单元被配置成对每个局部区域中的每个子区域，生成在至少一 个元素的方向上，不同于由第一子区域特征向量生成单元生成的特征 向量、具有多个维度的特征向量。
(特征13)根据特征12所述的局部特征量提取装置，进一步包 括第二子区域分割单元，第二子区域分割单元被配置成将每个局部区 域分成与由第一子区域分割单元的分割所获得的多个子区域不同的多 个子区域，其中，第二子区域特征向量生成单元被配置成对由第二子 区域分割单元分割获得的每个子区域，生成特征向量。
(特征14)根据特征13所述的局部特征量提取装置，进一步包 括第二局部区域获取单元，第二局部区域获取单元被配置成对每个特 征点，获得与由第一局部区域获取单元获得的局部区域不同的局部区 域，其中，第二子区域分割单元被配置成将由第二局部区域获取单元 获得的每个局部区域分成多个子区域。
(特征15)一种用于提取局部特征量的方法，由计算机执行的方 法包括：检测图像中的特征点；获取用于每个特征点的局部区域；将 每个局部区域分成多个子区域；对每个局部区域中的每个子区域，生 成具有多个维度的特征向量；以及基于每个局部区域中的子区域之间 的位置关系，从每个子区域中的特征向量选择维度，使得减小邻近子 区域之间的相关性以及将所选择的维度的元素输出为局部区域的特征 量。
(特征16)一种程序，使计算机实现：检测图像中的特征点的功 能；获取用于每个特征点的局部区域的功能；将每个局部区域分成多 个子区域的功能；对每个局部区域中的每个子区域，生成具有多个维 度的特征向量的功能；以及基于每个局部区域中的子区域之间的位置 关系，从每个子区域中的特征向量选择维度，使得减小邻近子区域之 间的相关性以及将所选择的维度的元素输出为局部区域的特征量的功 能。
(特征17)根据特征1至14所述的任何一个所述的局部特征量 提取装置，进一步包括编码单元，配置为对局部区域的特征量进行编 码。
附图标记描述
1A至1J 局部特征量提取装置
10 特征点检测单元
12 局部区域获取单元
14 子区域分割单元
16 子区域特征向量生成单元
18 维度选择单元
20 维度数目确定单元
22，24 量化单元
26 特征向量扩展单元
34 编码单元
机译： 局部特征量提取装置，局部特征量的提取方法和程序
机译： 局部特征量提取装置，局部特征量提取方法和程序
机译： 局部特征量提取装置，局部特征量的提取方法和程序
