关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法

技术领域

本发明涉及根据由多张图像构成的动态图像中的运动信息、来提取并显示图像中的移动体的区域的技术。尤其涉及对于人物那样在轮廓形状变化的同时进行移动的对象，检测并显示这种对象所具有的特征性关节的关节区域显示装置等。

背景技术

从包含移动体的像（以下简称为“移动体”。）的图像中、提取图像中的移动体的区域的技术的研究开发被广泛进行。特别是在移动体为人的情况下，提取人的区域的技术，是在数码摄像机或数码相机中的焦点控制、画质改善处理、影像制作中的图像合成处理、汽车的安全运转支援系统或者人物的行动预测或动作解析等在广泛范围内共用的基础技术。

在对图像中的移动体的区域进行提取的技术中，作为一般的方法可以列举如下的方法：对预先准备的移动体的模型与图像中的移动体的候补区域之间的相似度进行评价，而检测移动体的区域。

作为代表性的方法，存在如下方法：在从图像中提取了移动体区域的候补之后，对于提取的移动体区域候补与预先准备的移动体模型之间的相似度进行评价，而将相似度较高的区域提取为移动体区域。并且，存在如下方法：在对如步行的人物等那样在变形的同时移动的移动体的区域进行提取的情况下，利用考虑了变形的移动体模型。

例如，在专利文献1中公开了如下方法：作为移动体区域候补，从多个图像中提取移动体的轮廓图像，然后，将与预先参数化了的移动体的变形相关的模型、与提取的轮廓图像之间的相似度进行评价，并推断相似度较高的区域和模型的参数。由此，即使对于形状在周期性地变化的同时移动的人物，也能够适用参数化了的模型，因此能够提取人物那种的移动体的区域。

此外，提出一种图像解析方法，以生成人物那种关节物体的图像为目的，而从图像中提取更详细的人物的运动数据或者形状。

例如，在专利文献2中，根据通过对所取得的图像中的关节物体适用预先保持的具有关节的模型而得到的粗略的关节以及部位的运动信息，来进一步推断更详细的关节以及部位的位置以及运动信息。由此，生成对图像中存在的关节物体的部位形状以及运动等信息进行了反映的新图像。与仅适用预先计算的参数的情况相比，从图像中的关节物体中提取信息，因此能够进行更正确的图像中人物的部位形状以及运动等的参数化。由此，即使对于形状在变化的同时移动的人物，也能够更正确地适用参数化了的模型，因此能够提取更高精度的移动体的区域。

现有技术文献

专利文献

专利文献1：日本特开平8-214289号公报

专利文献2：日本特开2007-4732号公报

发明内容

发明要解决的课题

然而，根据以往的区域提取的技术，例如在多个人物步行的场景等中，在由于姿势或者大小等的变化而伴随有移动体形状的显著变化那样的情况等下，存在不能够正确地提取移动体这种问题。

在专利文献1所示的、使用预先准备的模型的区域提取方法中，需要从图像中提取移动体区域的候补。此时，如果不能适当地提取移动体区域候补，则不能够对移动体区域候补正确地适用将移动体参数化了的模型。特别是，在上述那种场景中，由于移动体的姿势或者大小等的变化而移动体的形状较大地变化，因此难以适当地提取移动体区域候补。并且，即使能够适当地提取移动体区域候补，也存在以下那样的课题。

即，在将人物等具有关节的运动的物体作为移动体的情况下，由于移动体的各种姿势、位置或者大小引起的图像变化的幅度变得非常大。因此，在进行移动体模型的参数化时需要庞大数量的参数。该情况会诱发模型的适用错误。因此，例如，存在如下课题：将一个移动体错误地作为多个移动体而提取区域、或将不存在成为提取对象的移动体的区域错误地作为移动体而提取区域等，不能够正确地检测移动体。

在专利文献2所示的方法中，不仅如专利文献1那样对预先制作的模型适用关节物体，还根据对准备的模型进行适用的结果，来推断与图像中的关节物体有关的更详细的参数，因此能够正确地提取移动体的可能性变高。

但是，与专利文献1同样，在不能够适当地提取移动体区域候补的情况、向准备的模型的适用失败的情况下，之后的参数推断失败，不能够正确地将关节物体进行参数化，作为结果有时不能够正确地进行移动体区域的提取。

因此，在本发明中提出一种方法，不进行移动体的模型适用，而根据关节的“运动信息”来进行关节以及包含关节的移动体的区域的提取。特别是，即使对于以人物为代表的那种移动体，即具有关节状的运动、由于姿势等的变化而形状伴随有随时间显著变化的那种移动体，也能够从动态图像中提取区域。

此外，在本说明书中，“关节状运动”例如是指以人的关节运动为代表的那种关节状的运动。

作为进行关节状运动的物体，除了人以外，例如也可以是蛇或者蜈蚣那样的、关节间的距离微小、由多个关节构成的那种物体，也可以是伞骨那样的、从一个接头（关节）伸出多个骨（臂）那种的物体，也可以是运动物体那样的。

在以往的区域提取方法中，在呈现这种关节状运动的部分，对象物被分离提取的情况较多。根据本发明，通过检测“关节”的位置，由此即使在这种事例中，也能够使对象物不被分离而将对象物整体进行提取及显示。

本发明的目的在于提供一种关节区域显示装置等，在进行关节状运动的移动体中，同一移动体上的小区域不会被分离提取，并且不受移动体自身的形状变化的影响，而正确地检测该区域，因此能够对上述移动体上具有关节状运动的关节位置进行检测并显示。

此外，目的在于提供一种关节区域检测装置，在进行关节状运动的移动体中，同一移动体上的小区域不会被分离提取，并且不受移动体自身的形状变化的影响，而正确地检测该区域，因此能够对上述移动体上具有关节状运动的关节位置进行检测。

此外，目的在于提供一种关节区域归属度计算装置，能够不受移动体的形状变化的影响，而正确地计算移动体的移动轨迹向关节区域的归属度。

此外，目的在于提供一种关节状区域归属度计算装置，能够不受移动体的形状变化的影响，而正确地计算移动轨迹向经由关节区域连接的区域即关节状区域的归属度。

用于解决课题的手段

本发明是为了解决上述课题而进行的，本发明某个方面的关节区域显示装置，从与构成动态图像中的移动体的多个区域分别对应的多个移动轨迹中，检测关节区域并显示，该关节区域显示装置具备：关节特征计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离，该关节特征计算部根据任意移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，计算表示关节似然度的关节特征量，该关节似然度表示各移动轨迹间相对应的区域彼此是经由同一个节连接的程度；关节检测部，根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，将与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域；以及显示控制部，将上述关节检测部检测出的上述关节区域变换为用户能够视觉识别的形态而输出。

根据该构成，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化来提取关节区域，由此能够不受移动体的形状变化的影响、而正确地检测关节位置并显示。

本发明其他方面的关节区域检测装置，从与构成动态图像中的移动体的多个区域分别对应的多个移动轨迹中，检测关节区域，该关节区域检测装置具备：关节特征计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离，该关节特征计算部根据任意移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，计算表示关节似然度的关节特征量，该关节似然度表示各移动轨迹间相对应的区域彼此是经由同一个节连接的程度；关节检测部，根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，将与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域。

根据上述构成，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化来检测关节区域，由此能够不受形状变化的影响，而正确地检测关节区域。

本发明另一其他方面的关节区域检测装置为，对于与构成动态图像中的移动体的多个区域分别对应的多个移动区域，计算向关节区域的归属度，该关节区域归属度计算装置具备：距离计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离；以及关节区域归属度计算部，根据第一移动轨迹、第二移动轨迹以及第三移动轨迹中的任意2个移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，将表示同时满足以下3个关系的程度的节似然度特征量，计算为上述第一移动轨迹向关节区域的归属度，这3个关系为，与上述第一移动轨迹对应的区域以及与上述第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于同一刚体上、和与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于经由同一个节而连接的另外的刚体上。

根据上述构成，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化，来计算移动轨迹向关节区域的归属度，由此能够不受移动体的形状变化的影响，而正确地计算移动轨迹向关节区域的归属度。

本发明又一其他方面的关节状区域归属度计算装置为，对于与构成动态图像中的移动体的多个区域分别对应的多个移动区域中的每一个移动区域，计算向经由关节区域所连接的区域即关节状区域的归属度，该关节区域归属度计算装置具备：距离计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离；以及关节状区域归属度计算部，根据着眼的移动轨迹、第一移动轨迹、第二移动轨迹以及第三移动轨迹中的任意2个移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，将基于同时满足以下3个关系的程度而求出的关节状区域似然度，计算为上述着眼的移动轨迹向关节状区域的归属度，该3个关系为，与上述第一移动轨迹对应的区域以及与上述第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于同一刚体上、和与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于经由同一个节而连接的另外的刚体上。

根据上述构成，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化，来计算移动轨迹向关节状区域的归属度，由此能够不受移动体的形状变化的影响，而正确地计算移动轨迹向关节状区域的归属度。

此外，本发明不仅能够实现为具备这种特征性处理部的关节区域显示装置，还能够实现为将关节区域显示装置所包含的特征性处理部作为步骤的关节区域显示方法。此外，还能够实现为将关节区域显示方法所包含的特征性步骤使计算机执行的程序。并且，当然能够使这种程序经由CD-ROM（Compact Disc-Read Only Memory：只读存储型光盘）等计算机能够读取的记录介质、互联网等通信网络来流通。此外，对于关节区域检测装置、关节区域归属度计算装置以及关节状区域归属度计算装置，也同样能够通过方法或者程序来实现。

发明的效果

根据本发明，相同移动体上的小区域不会被分离地提取，并且不受移动体自身的形状变化的影响，正确地检测该区域，因此能够对上述移动体上具有关节状运动的关节位置进行检测并显示。

此外，能够不受移动体的形状变化的影响，而正确地计算移动体的移动轨迹向关节区域的归属度。

此外，能够不受移动体的形状变化的影响，而正确地计算移动轨迹向经由关节区域而连接的区域即关节状区域的归属度。

附图说明

图1是表示本发明的实施方式1的关节区域显示装置的构成的图。

图2是表示由计算机构成的关节区域显示装置的硬件构成的图。

图3是表示关节区域显示装置的动作顺序的流程图。

图4是表示拍摄状况的例子的图。

图5是表示多个图片的例子的图。

图6A是表示运动向量的例子的图。

图6B是表示移动轨迹的例子的图。

图7A是表示图片上的多个移动轨迹的一个例子的图。

图7B是表示移动轨迹的数据分布和线形距离的图。

图7C是表示移动轨迹的数据分布和测地距离的图。

图8是表示移动轨迹间的两点间距离和测地距离的图。

图9是表示与各种刚体的运动相伴随的、移动轨迹间的测地距离以及两点间距离的时间变化的图。

图10A是表示测地距离的时间变化、两点间距离的时间变化以及关节似然度之间的关系的图。

图10B是表示测地距离的时间变化、两点间距离的时间变化以及关节特征量之间的关系的图。

图11是表示与移动轨迹的对相对应的刚体区域以及节区域的图。

图12A是表示多个移动轨迹与关节特征量之间的关系的图。

图12B是表示移动轨迹对间的关节特征量的值域的图。

图13A是表示显示控制部输出的图像的例子的图。

图13B是表示显示控制部输出的图像的例子的图。

图14是表示本发明的实施方式2的关节区域显示装置的构成的图。

图15是表示移动轨迹间的距离与关节似然度之间的关系的图。

图16是表示节的移动轨迹、刚体上的移动轨迹以及异常值（outlier）的移动轨迹的图。

图17是表示显示控制部输出的图像的例子的图。

图18是表示测地距离的时间变化的值以及两点间距离的时间变化的值所分布的区域的图。

图19是表示本发明的实施方式3的关节区域显示装置的构成的图。

图20是用于说明关节状区域检测部的动作的图。

图21是表示显示控制部输出的图像的例子的图。

图22是表示本发明的实施方式4的关节区域归属度计算装置的功能构成的框图。

图23是表示关节区域归属度计算装置的动作的流程图。

图24是表示本发明的实施方式5的关节区域归属度计算装置的功能构成的框图。

图25是表示关节状区域归属度计算装置的动作的流程图。

具体实施方式

以下，使用附图详细说明本发明的实施方式。此外，在以下说明的实施方式均表示本发明优选的一个具体例。在以下的实施方式中表示的数值、形状、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等为一个例子，不意图限定本发明。本发明仅由请求的范围限定。因此，对于以下实施方式中的构成要素中、表示本发明的最上位概念的独立权利要求未记载的构成要素，对于实现本发明的课题来说不是必须的，作为构成更优选的形态的构成要素来说明。

本发明一个实施方式的关节区域显示装置为，从与构成动态图像中的移动体的多个区域分别对应的多个移动轨迹中，检测关节区域并显示，该关节区域显示装置具备：关节特征计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离，该关节特征计算部根据任意移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，计算表示关节似然度的关节特征量，该关节似然度表示各移动轨迹间相对应的区域彼此是经由同一个节连接的程度；关节检测部，根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，将与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域；以及显示控制部，将上述关节检测部检测出的上述关节区域变换为用户能够视觉识别的形态而输出。

具体地说，也可以为，上述关节检测部根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，计算节似然度特征量，并根据计算出的上述节似然度特征量检测关节区域，该节似然度特征量用于如下判断：越是与上述第一移动轨迹对应的区域以及与上述第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域经由同一个节而连接，则判断为与上述第一移动轨迹对应的区域包含于关节区域的可能性越高。

优选为，上述关节检测部，将上述图片上的、与计算出的上述节似然度特征量的极大值对应的移动轨迹所归属的区域，检测为关节区域。

根据上述构成，根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化，来对关节区域（节区域）进行检测并显示，由此能够不受形状的变化的影响，而正确地显示关节区域。以下，还将关节区域称为节区域。

具体地说，对于各移动轨迹，将测地距离的时间变化、两点间距离的时间变化都为零的移动轨迹，检测为属于刚体区域的移动轨迹。

通过上述处理，能够将检测出的2个刚体区域所包含的移动轨迹中、包含于2个刚体区域双方的移动轨迹，检测为关节区域包含的移动轨迹并显示。

优选为，上述关节检测部，从除了着眼的移动轨迹以外的上述多个移动轨迹中选择多个移动轨迹的对，按照选择出的每个对，对将上述着眼的移动轨迹作为上述第一移动轨迹、将该移动轨迹的对作为上述第二移动轨迹以及上述第三移动轨迹时的上述关节特征量进行相加，由此计算上述着眼的移动轨迹的节似然度特征量，并根据计算出的上述节似然度特征量来判断与上述着眼的移动轨迹对应的区域是否为关节区域。

根据该构成，还能够对全部移动轨迹对进行处理而求出关节区域。

通过上述处理，能够同时检测多个关节，并且，从不类似关节的移动轨迹对检测出的关节区域的移动轨迹中，难以检出关节区域，从类似关节的移动轨迹对检测出的关节区域的移动轨迹中，容易检出关节区域，因此能够更稳定地检测关节。所谓类似关节的移动轨迹对是指，构成移动轨迹对的各移动轨迹所属的刚体经由同一关节区域（节区域）而连接那样的移动轨迹的对。

此时，通过预先对于各移动轨迹计算包含各移动轨迹的刚体区域，由此与之后对全部移动轨迹对进行计算的情况相比，能够减少计算量。

此外，也可以为，上述关节检测部，根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，判断与上述任意移动轨迹的对相对应的区域彼此是否存在于同一刚体上，由此检测出包含于同一刚体上的移动轨迹，之后，将与上述第一移动轨迹对应的区域以及与上述第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域。

由此，能够高效地进行关节的检测。

此外，也可以为，上述关节检测部仅使用上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量为规定阈值以下的移动轨迹，根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，判断与上述任意移动轨迹的对相对应的区域彼此是否存在于同一刚体上，由此检测出包含于同一刚体上的移动轨迹，之后，将与上述第一移动轨迹对应的区域以及与上述第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域。

由此，能够高效地进行关节的检测。

优选为，上述任意移动轨迹间的测地距离的时间变化，是跨在预定的一系列的处理帧集合之间的测地距离的时间变化的绝对值和，上述任意移动轨迹间的两点间距离的时间变化，是跨在预定的一系列的处理帧集合之间的两点间距离的时间变化的绝对值和。

由于使用跨在多个帧之间的时间变化，因此能够更可靠地捕捉移动轨迹间距离的时间变化。

更优选为，上述关节特征计算部，根据将上述任意移动轨迹间的测地距离的时间变化用上述任意移动轨迹间的两点间距离的时间变化去除而得到的值，计算上述任意移动轨迹间的关节特征量。

根据该构成，能够以简单的式子来表现关节似然度。此外，在两点间距离的时间变化为0的情况下，也可以为了防止关节特征量变得无限大而设定错误值。

此外，也可以为，上述关节特征计算部，参照表示上述测地距离的时间变化和上述两点间距离的时间变化和上述关节特征量之间的对应关系的数据表，来计算上述任意移动轨迹间的关节特征量。

通过实验等来预先制作数据表，由此能够更高精度地检测关节区域。

此外，也可以为，上述关节特征计算部对于上述任意移动轨迹间，在上述测地距离的时间变化比预定的测地距离阈值小、且上述两点间距离的时间变化比预定的两点间距离阈值大的情况下，将上述关节特征量计算为1，在上述测地距离的时间变化为预定的测地距离阈值以上的情况下、或者在上述两点间距离的时间变化为预定的两点间距离阈值以下的情况下，将上述关节特征量计算为0。

通过适当地设定测地距离阈值以及两点间距离阈值，能够简易地计算关节特征量。

优选为，上述显示控制部，将上述图片上的、与上述关节检测部检测出的关节区域所包含的移动轨迹对应的区域的位置，用特定的颜色涂覆并输出。

例如，通过将与关节区域所包含的移动轨迹对应的区域的位置用红色或者黄色等进行涂覆而显示，由此容易将关节区域的位置向用户提示。

此外，也可以为，上述显示控制部，将上述图片上的、与经由关节区域连接的区域即关节状区域之中除了上述关节检测部检测出的关节区域以外的刚体区域所包含的移动轨迹对应的区域的位置，用特定的颜色涂覆并输出。

如果对中间夹着关节区域（节区域）的刚体的区域进行显示，则用户容易理解移动体的刚体以及关节区域的构造。

此外，也可以为，上述显示控制部，将上述图片上的、与经由关节区域连接的区域即关节状区域之中除了上述关节检测部检测出的关节区域以外的刚体区域所包含的移动轨迹对应的区域的位置、和上述关节检测部检测出的关节区域所包含的移动轨迹对应的区域的位置，用分别不同的特定的颜色涂覆并输出。

根据该构成，能够对用户赋予关节区域以及刚体双方的信息，因此能够实现对于用户来说更容易观察的图像。

此外，也可以为，用于涂覆与上述关节检测部检测出的关节区域所包含的移动轨迹对应的区域的位置的上述特定的颜色，是与上述关节检测部检测出的关节区域的节似然度特征量的值相对应的颜色。

根据该构成，能够对用户表示关节区域的节似然度的可靠度。

此外，上述显示控制部也可以，在上述图片上重叠将共用的刚体区域所包含的关节区域彼此连接的直线并输出。

根据该构成，能够进行计算机图形图像中的骨架那样的显示。因此，能够将关节区域显示装置利用于二维的动画显示等。

此外，也可以为，上述的关节区域显示装置还具备：图像输入部，受理构成动态图像的多张图片；以及移动轨迹计算部，按照由构成所受理的上述图片的一个以上像素构成的每个块，检测该块在构成上述动态图像的时间上相邻的2张图片之间的运动，将检测出的运动关于上述多张图片进行连接，由此计算多个移动轨迹。

此外，也可以为，上述关节特征计算部，进一步在将纵轴及横轴设为移动轨迹的对的两点间距离的时间变化以及测地距离的时间变化的曲线图中，根据从两点间距离的时间变化以及测地距离的时间变化为相等的直线起、到着眼的移动轨迹的对即着眼对的两点间距离的时间变化及测地距离的时间变化为止的距离，计算表示该着眼对包含于同一刚体的程度的同一刚体特征量。

此外，也可以为，上述关节区域显示装置还具备关节状区域检测部，该关节状区域检测部对于着眼的移动轨迹，将含有一对上述着眼的移动轨迹的移动轨迹对间的同一刚体特征量与该对之中上述着眼的移动轨迹以外的移动轨迹的节似然度特征量的积，计算为关节状区域似然度，并检测关节状区域，该关节状区域似然度表示上述着眼的移动轨迹包含于经由关节区域而连接的区域即关节状区域的程度。

通过使用同一刚体特征量，能够正确地检测关节状区域。

本发明其他实施方式的关节区域显示装置为，从与构成动态图像中的移动体的多个区域分别对应的多个移动轨迹中，检测关节区域并显示，该关节区域显示装置具备：关节特征计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离，该关节特征计算部对于任意移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，计算关节特征量，欧几里得距离的时间变化的值越大、且测地距离的时间变化越小，则该关节特征量取越大的正值，关节检测部，根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，将与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域；以及显示控制部，将上述关节检测部检测出的上述关节区域变换为用户能够视觉识别的形态而输出。

通过上述构成，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化，对关节区域进行检测并显示，由此能够不受形状变化的影响，而正确地显示关节区域。

本发明另一其他实施方式的关节区域显示装置为，从与构成动态图像中的移动体的多个区域分别对应的多个移动轨迹中，检测关节区域并显示，该关节区域显示装置具备：关节特征计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离，该关节特征计算部在将纵轴以及横轴设为任意的移动轨迹对的两点间距离的时间变化以及测地距离的时间变化的曲线图中，计算关节特征量，从两点间距离的时间变化以及测地距离的时间变化相等的直线起、到着眼的移动轨迹对即着眼对的两点间距离的时间变化以及测地距离的时间变化为止的距离越远，则该关节特征量取越大的值；关节检测部，根据上述关节特征计算部计算的上述任意移动轨迹间的关节特征量，将与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域；以及显示控制部，将上述关节检测部检测的上述关节区域变换为用户能够视觉识别的形态而输出。

通过上述构成，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化，对关节区域进行检测并显示，由此能够不受形状变化的影响，而正确地显示关节区域。

本发明另一其他实施方式的关节区域检测装置为，从与构成动态图像中的移动体的多个区域分别对应的多个移动轨迹中，检测关节区域，该关节区域检测装置具备：关节特征计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离，该关节特征计算部根据任意移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，计算表示关节似然度的关节特征量，该关节似然度表示各移动轨迹间相对应的区域彼此是经由同一个节连接的程度；以及关节检测部，根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，将与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域。

通过上述构成，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化，来检测关节区域，由此能够不受形状变化的影响，而正确地检测关节区域。

本发明另一其他方面的关节区域归属度计算装置为，对于与构成动态图像中的移动体的多个区域分别对应的多个移动区域中的每一个移动区域，计算向关节区域的归属度，该关节区域归属度计算装置具备：距离计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离；以及关节区域归属度计算部，根据第一移动轨迹、第二移动轨迹以及第三移动轨迹中的任意2个移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，将表示同时满足以下3个关系的程度的节似然度特征量，计算为上述第一移动轨迹向关节区域的归属度，这3个关系为，与上述第一移动轨迹对应的区域以及与上述第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于同一刚体上、和与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于经由同一个节而连接的另外的刚体上。

通过上述构成，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化，来计算移动轨迹向关节区域的归属度，由此能够不受移动体的形状变化的影响，而正确地计算移动轨迹向关节区域的归属度。

本发明另一其他方面的关节状区域归属度计算装置为，对于与构成动态图像中的移动体的多个区域分别对应的多个移动区域中的每一个移动区域，计算向经由关节区域所连接的区域即关节状区域的归属度，该关节状区域归属度计算装置具备：距离计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离；以及关节状区域归属度计算部，根据着眼的移动轨迹、第一移动轨迹、第二移动轨迹以及第三移动轨迹中的任意2个移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，将基于同时满足以下3个关系的程度而求出的关节状区域似然度，计算为上述着眼的移动轨迹向关节状区域的归属度，该3个关系为，与上述第一移动轨迹对应的区域以及与上述第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于同一刚体上、和与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于经由同一个节而连接的另外的刚体上。

通过上述构成，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化，来计算移动轨迹向关节状区域的归属度，由此能够不受移动体的形状变化的影响，而正确地计算移动轨迹向关节状区域的归属度。

此外，本发明的关节区域显示装置不仅通过由硬件来构成关节区域显示装置所包含的各处理部而实现，还能够实现为将上述各处理部作为步骤的关节区域显示方法，或能够通过计算机上的程序来实现关节区域显示方法，或还能够实现为在储存了该程序的CD-ROM等计算机能够读取的记录介质、动态图像中将具有运动的目标区域进行提取或者分割的图像处理装置等。此外，关节区域检测装置、关节区域归属度计算装置以及关节状区域归属度计算装置，也同样能够通过方法或者程序来实现。

（实施方式1）

以下，使用附图说明本发明的实施方式1。

图1是表示实施方式1的关节区域显示装置的结构的图。如图1所示那样，关节区域显示装置100具备图像输入部101、移动轨迹计算部102以及关节区域显示部103。关节区域显示装置100是如下的装置：从与构成动态图像中的移动体的多个区域分别对应的多个移动轨迹中，检测具有关节状运动的区域并显示。

在本实施方式中，关节区域显示装置100输入由摄像机110拍摄的动态图像，检测动态图像中的关节区域，并根据检测的结果来生成图片并输出。显示器120显示从关节区域显示装置100输出的图片。在本说明书中也将图片称为图像。

图像输入部101是受理构成动态图像的多张图片的输入的处理部，例如是摄像机或者与摄像机连接的通信接口等。此外，图像输入部101也可以是读出存储装置所存储的动态图像的接口。

移动轨迹计算部102对于每个由构成图片的一个以上像素所构成的块，检测对该块在构成动态图像的时间上相邻的2张图片间的运动，关于上述多张图片将检测出的运动进行连接，由此计算多个移动轨迹，所述图片是由图像输入部101所受理的图片。图片间的对应点为，可以对图片的每一个像素求出对应点，也可以对图片内的相邻的每多个像素（块）求出一个对应点。在本说明书中，不区分某个对应点是对于每一个像素求出的、还是对于多个像素求出一个。此外，将与某个图片的像素i对应的其他图片的对应点、以及与某个图片的块i对应的其他图片的对应点、均称为像素i的移动轨迹。

关节区域显示部103是如下的处理部：基于由移动轨迹计算部102求出的移动轨迹，根据移动轨迹间距离的时间变化，检测进行关节运动的区域并进行显示。关节区域显示部103具备关节特征计算部104、关节检测部105以及显示控制部106。

关节特征计算部104具备距离计算部107以及特征量计算部108。

距离计算部107是对表示移动轨迹间的相似度的距离进行计算的处理部。即，距离计算部107计算将第一移动轨迹和其他的第二移动轨迹直接连接的距离即两点间距离、以及将第一移动轨迹以及第二移动轨迹以外的移动轨迹作为中继点而从第一移动轨迹到达第二移动轨迹的路径的距离即测地距离。

在本实施方式中，距离计算部107从由移动轨迹计算部102求出的多个移动轨迹中，提取作为跨在T张（T≥2）图片之间的对应点的N个移动轨迹，从提取的移动轨迹中，计算表示移动轨迹间的相似度的两点间距离以及测地距离。

此外，本说明书中的2个移动轨迹间的“距离”，不仅包括对应的二维图像空间中的两点间距离，如后述那样，还包括多维数据间的算术距离。此外，一般来说距离和相似度具有相反的关系。即，在2个数据间距离较小的情况下，相似度较高，相反在2个数据的距离较大的情况下、相似度较低。

此外，在本说明书中，定义有“两点间距离”以及“测地距离”这两种距离，但“两点间距离”是指仅从2个数据间求出的距离，“测地距离”是指如后述那样经由2个数据以外的点而求出的距离。

此外，本说明书中的“两点间距离”，是移动轨迹间的图片坐标上的位置、速度、加速度等表示几何学上的相似度的指标的距离，不一定需要为线形距离。作为“两点间距离”的代表，在本说明书中以下为了进行说明而使用“欧几里得距离”。关于上述距离的详细例子，将在距离计算部107的说明部分进行后述。

特征量计算部108是如下的处理部：对于由距离计算部107计算的测地距离、欧几里得距离，分别求出距离的时间变化，并根据求出的距离的时间变化，进行表示关节似然度的特征量即关节特征量的计算。

即，特征量计算部108根据任意2个移动轨迹间的欧几里得距离的时间变化以及测地距离的时间变化，计算2个移动轨迹是进行通过同一关节连接的关节状运动的移动轨迹的可能程度（后述的关节特征量），并向后级输出。

接下来，关节检测部105根据移动轨迹间的关节特征量，求出在分别不同的3个移动轨迹之间、每2个是在同一刚体上还是经由同一个节连接的，并根据求出的关系来检测关节（节区域、关节区域）。

最后，显示控制部106输出由关节检测部105处理的动态图像中的关节的检测结果。具体地说，显示控制部106对于由图像输入部101受理的动态图像实施图像处理，以便例如使关节检测部105检测的每个关节成为不同的显示方式，并将被实施了图像处理的动态图像向显示器120等输出。

在本说明书中，“区域提取”包括提取某个特定的对象物所存在的图像区域的检测技术、和不区分对象物是什么而将图片中的区域进行分割的区域分割技术这二者。由于检测技术和区域分割技术共用的部分较多，因此在本说明书中不区分二者。

此外，在本说明书中，“移动体检测”包括仅检测相对于基准坐标系移动的物体所存在的图像区域的检测技术、和按照相对进行不同移动的每个物体来分割图片中的区域的区域分割技术这两者。

此外，构成关节区域显示装置100的各构成要素（图像输入部101、移动轨迹计算部102、关节区域显示部103），也可以通过在计算机上执行的程序等软件来实现，也可以通过电子电路或者集成电路等硬件来实现。图2是表示由计算机构成的本实施方式的关节区域显示装置的硬件构成的图。在图2中，摄像机110拍摄图片并输出，计算机200取得图片而进行关节区域提取处理，并生成显示区域提取结果的图片。显示器120取得由计算机200生成的图片并显示。计算机200包括I/F201、CPU202、ROM203、RAM204、HDD205以及视频卡206。使计算机200动作的程序，预先由ROM203或者HDD205保存。程序被处理器即CPU202从ROM203或者HDD205中读出并展开到RAM204。CPU202执行展开到RAM204的程序中的代码化了的各指令。I/F201对应于程序的执行，向RAM204取入由摄像机110拍摄的图片。视频卡206将根据程序执行而生成的图片输出，显示器120显示该图片。

此外，计算机程序不限于作为半导体的ROM203或者HDD205，例如也可以储存于CD-ROM。此外，也可以经由有线、无线的网络、广播等来传送，并取入计算机的RAM204。

以下，使用图3说明本实施方式的关节区域显示装置100的动作。

图3是表示本实施方式的关节区域显示装置100的动作的流程图。

在图3中，8个步骤S301～S308分别对应于图1的各处理部101～108。即，在图像输入部101中执行图像输入步骤S301的动作，在移动轨迹计算部102中执行移动轨迹计算步骤S302的动作，在关节区域显示部103中执行关节区域显示步骤S303的动作。此外，关节区域显示步骤S303包含关节特征计算步骤S304、关节检测步骤S305、显示步骤S306这3个步骤。在关节特征计算部104中执行关节特征计算步骤S304的动作，在关节检测部105中执行关节检测步骤S305的动作，在显示控制部106中执行显示步骤S306的动作。此外，关节特征计算步骤S304包含距离计算步骤S307和特征量计算步骤S308这2个步骤。在距离计算部107中执行距离计算步骤S307的动作，在特征量计算部108中执行特征量计算步骤S308的动作。

最初，由图像输入部101执行图像输入步骤S301。即，图像输入部101从摄像机110取得构成动态图像的多个图片。在本实施方式中，从摄像机110取得的动态图像是30帧/秒的动态图像。

图4是表示拍摄状况的一个例子的图。此外，图5（a）～（f）表示通过摄像机110对图4的拍摄状况进行拍摄而取得的多个图片的例子。通过图像输入部101输入从1帧到T帧为止的T张（T≥2）图片。在本实施方式中，图片的数量T被预先决定，为30帧（T=30）。

接下来，通过移动轨迹计算部102执行移动轨迹计算步骤S302。即，移动轨迹计算部102从图像输入部101输入多个图片，检测图片间的对应点，输出移动轨迹并输出。作为求出多个图片间的对应点的方法，这里是，将1帧图片上的全部像素（I个）作为基准，求出从2帧到T帧为止的（T-1）张图片上的对应的像素。

以下，在本实施方式中，对像素单位的处理进行说明，但在以由多个像素构成的块单位进行处理的情况下，通过（i）在块内将像素值进行合计，或者（ii）求出块内的像素值的平均值，或者（iii）求出块内的像素值的中值，由此求出与块对应的数据（代表值），并使用所得到的代表值进行与像素单位的处理同样的处理即可。

例如，当假设在步骤S301中输入了T张图片时，移动轨迹计算部102使用在时刻t和时刻t＋1输入的2张图片，来推断像素i的运动向量（u_tⁱ，v_tⁱ）。在此，不一定需要帧是连续的，例如，也可以使用在时刻t和时刻t＋n输入的2张图片来求出像素的运动。其中，n为1以上的整数。

作为对上述的多个图片间的对应点进行计算的具体方法，也可以使用非专利文献1或者非专利文献2等公开的方法。并且，也可以是通过计算光流（optical flow）来计算运动向量的方法，非专利文献1以阶层的块匹配为基础来计算光流。由于将像素间的平滑度作为限制条件，因此得到运动向量在相邻的光流之间平滑地变化那样的光流。在没有特别陡峭的运动、遮挡的情况下，求出高效且正确的对应点。此外，由于能够计算出推断的可靠度，因此如后述那样，通过从以下处理中去除比具有可靠度的阈值还低的对应点，由此具有的效果为，能够降低错误的运动向量相对于全部运动向量的比例，能够进行更正确的关节区域的推断。

与此相对，非专利文献2是基于图像分割（graphcut）的光流计算方法，计算成本较高，在图片上密集地求出正确的对应点。此外，根据该方法，还能够推断出遮断（occlusion）的区域，因此如后述那样，通过从以下处理中去除位于遮断区域的对应点，由此具有的效果为，能够降低错误的运动向量相对于全部运动向量的比例，能够进行更正确的关节区域的推断。更详细的内容记载于各文献中，其详细说明省略。

非专利文献1：P.Anandan，“A Computational Framework and anAlgorithm for the Measurement of Visual Motion”，International Journal ofComputer Vision，Vol.2，pp.283-310，1989

非专利文献2：Vladimir Kolmogorov and Ramin Zabih，“ComputingVisual Correspondence with Occlusions via Graph Cuts”，InternationalConference on Computer Vision，2001

并且，作为像素的运动，移动轨迹计算部102也可以推断仿射参数来代替上述运动向量。此时，也可以对于全部像素求出运动信息。此外，在想更高速地进行处理的情况下，也可以将图片划分为格子而仅对一定间隔的格子上的像素求出运动信息，如上述那样，也可以将图片划分为块而对每个块求出运动信息。

并且，在使用非专利文献1的公开技术来计算运动向量的情况下，由于能够如上述那样计算其可靠度，因此能够仅使用具有可靠度较高的运动信息的像素。此外，在使用非专利文献2的公开技术来计算运动向量的情况下，能够如上述那样推断出遮断。因此，也可以仅使用未被遮挡（遮蔽）的像素的运动信息。

并且，作为计算像素的运动的方法，也可以代替上述假设块的并进移动而计算运动向量的方法，而使用假设块的仿射变形而计算运动向量的方法。假设仿射变形而计算运动向量的方法，能够使用非专利文献3的公开技术来实现。

非专利文献3：Jianbo Shi and Carlo Tomasi“Good Features to Track”，IEEE Conference on Computer Vision and Pattern Recognition，pp593-600，1994

在上述方法中，对与在时刻t和时刻t＋1输入的图片的像素i附近的运动相当的仿射参数A_tⁱ进行推断。对于像素i，时刻t和时刻t＋1的图片上的像素位置x_tⁱ和x_t＋1ⁱ具有式1所示的关系。

【数学式1】

$>x_{t+1}^i=A_t^i{x}_t^i$>(式1)

在上述方法中，特别是对于进行旋转运动的物体，与使用假设并进移动而计算运动向量的方法的情况相比，能够高精度地推断像素i的运动。

然后，移动轨迹计算部102根据在时间上不同的T张图片之间计算的上述像素的对应点来计算移动轨迹i。以下，将像素i的移动轨迹称为移动轨迹i。如图6A所示那样，移动轨迹计算部102使用基于时刻t的输入图片601的像素i603a、像素k603b在步骤S302中计算出的运动向量信息602，对像素i603a、像素k603b的运动进行追踪，求出像素i603a、像素k603b的对应点。此时，移动轨迹计算部102根据1帧的图片上的某个像素i的坐标值（x₁ⁱ，y₁ⁱ）、和时刻t的像素i的对应点的像素坐标值（x_tⁱ，y_tⁱ），如式2那样计算移动轨迹xⁱ。

【数学式2】

$>x^i=(x_1^i,y_{1_1}^i,...,x_t^i,y_t^i,...,x_T^i,y_T^i)$>(式2)

在本实施方式中，移动轨迹xⁱ是跨在从1帧到T帧的T张图片之间的对应点。

图6B表示移动轨迹的例子。向移动轨迹计算部102输入的动态图像由T张图片604构成。此时，移动轨迹xⁱ606a、x^k606b是与1帧中的某个像素i605a、像素k605b分别对应的、从2帧到T帧的图片上的对应点的集合。移动轨迹xⁱ606a、x^k606b由以各图片的图片坐标值为要素的向量表示。

此外，在移动轨迹计算部102中求出图片间的对应点时，也可以代替对图片的全部像素中的每个像素求出对应点，而对图片内的相邻的多个像素（块）的每个像素（块）求出对应点。在本说明书中，不对某对应点是对每一个像素求出的、还是对于多个像素求出一个对应点进行区分。此外，将与某个图片的像素i对应的其他图片的对应点、以及与某个图片的块i对应的其他图片的对应点均称为像素i的移动轨迹。

接下来，由关节特征计算部104执行关节特征计算步骤S304。如图1的构成图所示那样，关节特征计算部104包括距离计算部107和特征量计算部108，距离计算步骤S307由距离计算部107执行，特征量计算步骤S308由特征量计算部108执行。即，关节特征计算部104使用移动轨迹计算部102计算的多个移动轨迹xⁱ，在距离计算部107中计算表示移动轨迹间的相似性的距离，接着在特征量计算部中计算表示移动轨迹间的关节似然度的关节特征量。

以下，对于关节特征计算部104，首先，对在距离计算部107中计算表示移动轨迹间的相似度的距离的方法进行说明，接着，对在特征量计算部108中计算表示移动轨迹间的“关节似然度”（各移动轨迹间相对应的区域彼此经由同一个节连接的程度）的关节特征量的方法进行说明。

距离计算部107阶段地计算像素i的移动轨迹与像素j的移动轨迹之间的欧几里得距离f（i，j）以及测地距离g（i，j）。在此，欧几里得距离、测地距离都是表示移动轨迹的相似性的距离，因此，在完全相等的移动轨迹间均为0，相反，移动轨迹间的相似性越低，该距离则取越大的正的距离值（包括∞）。

距离计算部107通过式3来计算像素i的移动轨迹与像素j的移动轨迹之间的欧几里得距离f（i，j）。

【数学式3】

$>f(i,j)=\frac{1}{T}\underset{t=1}{\overset{T}{\Sigma }}{d}_{\mathrm{ij}}^t$>(式3)

(其中，$>d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2}$>)

在此，通过式3计算的欧几里得距离f（i，j），为了便于记载，是对全部的移动轨迹间进行的定义，但只有在N个移动轨迹xⁱ之间，才是作为欧几里得距离成为有限值的距离。

此外，本实施方式中的欧几里得距离通过式3来计算，但不限定于该式。与式3同样，欧几里得距离是移动轨迹间的图片坐标上的位置、移动量（motion）、加速度、旋转速度等那样的几何学上的表示相似度的指标即可，例如也可以使用下述的式4。

【数学式4】

$>f(i,j)=\frac{1}{T}\underset{t=1}{\overset{T}{\Sigma }}{d}_{\mathrm{ij}}^t+w\sqrt{\frac{1}{T}\underset{t=1}{\overset{T}{\Sigma }}{(d_{\mathrm{ij}}^t-\bar{d})}^2}$>(式4)

(其中，$>d_{\mathrm{ij}}^t=\sqrt{{(x_t^i-x_t^j)}^2+{(y_t^i-y_t^j)}^2},$>$>\bar{d}=\frac{1}{T}\underset{t=1}{\overset{T}{\Sigma }}{d}_{\mathrm{ij}}^t$>)

在式4中，w为加权系数，是设计者设定的参数。上述式4的移动轨迹间的欧几里得距离f（i，j），是移动轨迹间的图片坐标的距离的时间平均之上加上了图片坐标的距离的时间变动成分后的距离。特别是，移动轨迹间距离的时间变动成分表示移动轨迹的运动的相似度，由此，计算在伴随有形状变化那样的情况下，也能够更正确地捕捉移动轨迹间的相似度。

将按照以上顺序计算的移动轨迹间的欧几里得距离f（i，j）的集合表示为欧几里得距离矩阵F_dist。

【数学式5】

F_dist＝{f(i，j)}       (式5)

接着，距离计算部107根据移动轨迹间的欧几里得距离f（i，j）计算测地距离g（i，j）。

以下，对在距离计算部107中根据欧几里得距离f（i，j）计算测地距离g（i，j）的动作进行详细说明。

首先，距离计算部107对于计算出的欧几里得距离f（i，j）使用预定的阈值R，计算由式6表示的非线形化了的距离f′（i，j）。

【数学式6】

$>f^{\prime }(i,j)=\left(\begin{array}{ccc}f(i,j)& \mathrm{if}& f(i,j)<R\\ \infty & \mathrm{otherwise}& \end{array}\right)$>(式6)

接下来，距离计算部107根据非线形化了的距离f′（i，j），计算测地距离。所谓“测地距离”是指，对于在某个空间中定义的多个数据点，在得到了这些数据点间的连接以及所连接的数据点间的距离时，能够将某2个数据点间连接的全部路径距离中的最短距离。

因此，距离计算部107在从第i移动轨迹xⁱ到第j移动轨迹x^j为止的测地距离的计算中，将以其他多个移动轨迹中的某一个作为中继点而从第i移动轨迹xⁱ到第j移动轨迹x^j的全部路径中的最短路径，计算为测地距离。

例如，得到将移动轨迹xⁱ和移动轨迹x^j的两点间直接连接的节点的距离f′（i，j）。此时，将移动轨迹xⁱ和移动轨迹x^j的两点间连接的路径，除了将两点直接连接的节点以外，还存在中继其他移动轨迹x^s的路径。使该路径的距离为f′（i，s）＋f′（s，j）。这种将移动轨迹xⁱ和移动轨迹x^j的两点间连接的路径存在多个，将这些距离中最短的距离计算为测地距离g（i，

j）（式7）。

【数学式7】

g(i，j)＝min(f′(i，j)，f′(i，s)+f′(s，j)，....)    (式7)

在式7中，min（x，y，…）是返回值x和值y等中的最小值的函数。

此外，s是移动轨迹x^s，是用于从移动轨迹xⁱ到达移动轨迹x^j的中继点。

在此，f′（i，s）＋f′（s，j）中的中继点s不限于1点。

上述的测地距离的计算中的探索两点间的最短路径的方法的详细情况，例如广泛已知的非专利文献4的迪杰斯特拉法，因此在此省略处理顺序的详细说明。

非专利文献4：E.W.Dijkstra，“A note on two problems in connexion withgraphs”，Numerische Mathematik，pp.269-271，1959

通过上述顺序，距离计算部107根据长时间持续的移动轨迹间的欧几里得距离f（i，j）来计算测地距离g（i，j）。此外，测地距离的计算方法不限定于上述式6以及式7。

此外，欧几里得距离与测地距离的最大不同点，在于求出距离的2个数据点与其他数据点之间的关系。欧几里得距离不被其他数据点的状态左右、而仅根据2个数据点来定义，与此相对，测地距离是被定义为包含2个数据点以及处于能够将2个数据点间连接的路径上的其他数据点的距离，

即，测地距离是有可能受其他数据点的状态影响的距离。

将计算的移动轨迹间的测地距离g（i，j）的集合表示为测地距离矩阵G_dist（式8）。

【数学式8】

G_dist＝{g(i，j)}(式8)

通过以上顺序，距离计算部107计算表示N个移动轨迹间的相似度的测地距离g（i，j），并作为测地距离矩阵G_dist进行输出。

使用图7A～图7C的概念图，对上述的根据多个移动轨迹间的欧几里得距离来计算测地距离的处理进行说明。

图7A是表示图片上的多个移动轨迹的一个例子的图。另外，在背景区域中也计算了移动轨迹，但为容易进行记载，在此不图示背景区域的移动轨迹。

图7B是分别表示由式2表示的多个移动轨迹的数据分布的图。图7B中的“×”记号的各数据点相当于由式2表示的像素i的移动轨迹xⁱ。移动轨迹xⁱ是独立的T×2个变量构成向量。因此，移动轨迹为本来最大是（T×2）维空间的数据，但在图7B为了便于记载而表示为三维空间的点。

图7B中的箭头701表示通过式3得到的移动轨迹xⁱ和移动轨迹x^j之间的欧几里得距离f（i，j）。即，数据点i和数据点j之间的欧几里得距离701成为将数据之间直接连接的距离。

另一方面，图7C中的箭头702表示通过式7得到的移动轨迹xⁱ和移动轨迹x^j之间的测地距离g（i，j）。如图7C所示那样，数据点i和数据点j之间的测地距离702成为经由中继的数据点s的距离。

接下来，使用图8（a）以及图8（b）的概念图，对欧几里得距离f（i，j）、通过式7计算的测地距离g（i，j）的特征进行详细说明。

对于图片内的移动体，由图8（a）中的箭头801表示头部的移动轨迹xⁱ和手前部的移动轨迹x^j之间的欧几里得距离。如根据该图可知的那样，移动轨迹间的欧几里得距离801，成为仅取决于求出距离的对象即2个移动轨迹xⁱ、x^j，而与其他移动轨迹无关的距离。

另一方面，图8（b）表示头部的移动轨迹xⁱ与手前部的移动轨迹x^j之间的测地距离802。在该情况下，不仅是作为求出距离的对象的2个移动轨迹xⁱ、x^j，还如粗箭头802所示，经由以xs为首的附近的多个移动轨迹而到达移动轨迹x^j。由此，测地距离802成为经由的多个移动轨迹间的距离之和，因此受到移动轨迹xⁱ、x^j以外的移动轨迹的影响。

换言之，图8（a）的欧几里得距离801没有完全反映其他移动轨迹的分布。因此，在如人物那样的通过关节连接的移动体中，移动轨迹间的距离是不取决于其形状的值。与此相对，在图8（b）所示的测地距离802中，成为反映了其他移动轨迹的距离。因此，在通过关节连接的移动体中，移动轨迹间的距离是取决于移动体的形状的值。即，关节的连接作为信息而被包含于距离之中，因此在人那样的形状变化的移动体检测中也能够利用。

如上所述，由式2表示的移动轨迹xⁱ为在数学上最大是（T×2）维空间的数据。但是，通过发明人的实验还确认了如下情况：实际上根据图片求出的移动轨迹，如图7B以及图7C那样，具有仅局部存在于（T×2）维空间的极小一部分中的性质。对于具有这种性质的移动轨迹，作为表示多个移动轨迹间的相似度的距离的尺度，可以说，与无关于数据分布而仅求出2个数据间的距离的欧几里得距离（图8（a）的欧几里得距离801）相比，反映了附近的数据的疏密的测地距离（图8（b）的测地距离802）更适合。

此外，在距离计算部107中，作为根据欧几里得距离来求出测地距离的方法，表示了使用式6以及式7的方法，但测地距离的计算方法不限定于此。

此外，式6的阈值R根据经验来决定。或者，也可以代替阈值R，而使用根据经验而预先决定的阈值N。然后，作为根据欧几里得距离f（i，j）来求出非线形化了的距离f′（i，j）的处理，也可以进行以下的处理。即，也可以代替将阈值R以上的欧几里得距离f（i，j）置换为无限大的式6的处理，而将某个移动轨迹xⁱ与其他的（I-1）个移动轨迹之间的欧几里得距离f（i，j）中、比从较小一方起的第N个欧几里得距离还大的欧几里得距离置换为无限大，由此计算非线形化了的距离f′（i，j）。

接下来，由特征量计算部108执行特征量计算步骤S308。

特征量计算部108首先根据由距离计算部107计算的测地距离、欧几里得距离，分别计算移动轨迹间的欧几里得距离的时间变化以及测地距离的时间变化。接着，根据计算的欧几里得距离的时间变化以及测地距离的时间变化，来计算表示关节似然度的关节特征量。

首先，对具有关节状运动的刚体区域上存在的移动轨迹间距离所具有的特征性的性质进行说明，之后，对由特征量计算部108执行的处理进行说明。

在此，将在第一移动轨迹和其他第二移动轨迹之间求出的距离定义为移动轨迹间距离。在此，“距离”是将欧几里得距离、测地距离都包含在内的概念。

图9是表示与各种刚体的运动相伴随的、移动轨迹x_i、x_j间的测地距离g（x_i，x_j）以及欧几里得距离f（x_i，x_j）的时间变化的图。图9（a）、图9（b）表示与关节状运动相伴随的移动轨迹间距离的时间变化，图9（c）～（f）表示与不是关节状运动的运动相伴随的移动轨迹间距离的时间变化。

此外，在图9中，为了进行说明，对于点组（移动轨迹的集合），显示在两个相区别的区域上，但实际上并不进行聚类等，而这些点组是属于哪个区域这种作为前处理的区别，并不在特征量计算部108中、以及在特征量计算部108之前的处理部中进行。即，实际上仅进行两点间的成对（pair-wise）的处理。由此，不进行通过关节连接的移动体的区域提取，就能够检测关节的位置。

图9（a）以及图9（b）分别表示2个移动轨迹x_i、x_j分别存在于伴随有关节状运动的刚体上的情况的例子。为了容易理解地表示移动轨迹间的测地距离以及欧几里得距离的时间变化，而分别用箭头来表示移动轨迹间距离（移动轨迹间的测地距离以及欧几里得距离）。对于以下的图9（c）～（f），箭头也同样表示移动轨迹间距离。

另一方面，图9（c）以及图9（d）分别表示2个移动轨迹x_i、x_j存在于同一刚体上的情况的例子。为了容易观察，而分别用不同的影线来表示2个移动轨迹x_i、x_j所存在的区域，但时刻t=T和时刻t=T＋δ的区域整体的形状不变化。即，不仅是用相同影线表示的区域、用不同影线表示的区域也属于同一刚体，移动轨迹x_i、x_j表示在同一刚体上进行刚体运动的例子。

并且，在图9（e）以及图9（f）中，表示移动轨迹x_i、x_j不存在于同一刚体上，并且也不是伴随有关节状运动的2个刚体上的两点，即不属于图9的（a）～（d）任一个例子的情况下的移动轨迹间距离的时间变化的一个例子。即，表示移动轨迹x_i、x_j属于不同移动体，并且包含这些移动轨迹x_i、x_j的刚体区域不伴随有关节状运动的例子。

在此，首先着眼于移动轨迹间的测地距离（图9（a）以及图9（c）以及图9（e））。

在包含移动轨迹x_i、x_j的刚体如图9（a）那样构成经由关节（节区域）而连接的关节状区域的情况下，移动轨迹x_i、x_j间的测地距离几乎不变化。测地距离是经由与移动轨迹x_i、x_j不同的移动轨迹而“追随（follows）”移动轨迹的距离，因此在具有以某个小区域为支点的旋转运动即关节状运动的2个区域间，经由支点的小区域而“追随”移动轨迹的距离即测地距离不变。因此，图9（a）的移动轨迹间测地距离g（x_i，x_j）的时间变化几乎一定（接近零）。

在移动轨迹x_i、x_j如图9（c）那样存在于同一刚体上的情况下，“追随”移动轨迹x_i、x_j间的移动轨迹的最短路径即测地距离始终一定，移动轨迹间测地距离g（x_i，x_j）的时间变化明显成为零。

在不属于以上2个事例的情况下，如图9（e）所示的例子那样，大多是移动轨迹间测地距离g（x_i，x_j）的时间变化不成为零的情况。

根据以上，作为包含移动轨迹x_i、x_j的刚体如图9（a）那样构成关节状区域的条件，需要使移动轨迹间测地距离g（x_i，x_j）的时间变化几乎一定（接近零）。

接下来，着眼于移动轨迹间的欧几里得距离（图9（b）以及图9（d）以及图9（f））。

在包含移动轨迹x_i、x_j的刚体如图9（b）那样构成经由关节（节区域）而连接的关节状区域的情况下，移动轨迹x_i、x_j间的欧几里得距离与测地距离不同，随着时间而变化。特别是，根据图能够容易理解得出：关节的运动较大的情况伴随的变化较大，与关节状区域的节一侧相比末端（从节离开的）一方伴随的变化较大。

在移动轨迹x_i、x_j如图9（d）那样存在于同一刚体上的情况下，移动轨迹x_i、x_j间的欧几里得距离与测地距离同样，始终是一定的，移动轨迹间欧几里得距离g（x_i，x_j）的时间变化明显成为零。

在不属于以上的2个事例的图9（f）的情况下，如图9（f）所示的例子那样，移动轨迹间欧几里得距离f（x_i，x_j）的时间变化不定，但几乎都是不为零的情况。

根据以上，作为包含移动轨迹x_i、x_j的刚体如图9（b）那样构成关节的条件，可以列举移动轨迹间欧几里得距离f（x_i，x_j）的时间变化不为零的情况。特别是，可以说，关节的运动越大、并且移动轨迹越是存在于分别从关节的节离开的位置上，则移动轨迹间欧几里得距离f（x_i，x_j）的时间变化取越大的值。

因此，作为2个移动轨迹分别存在于构成关节的刚体上的条件，可以列举与测地距离的时间变化以及欧几里得距离的时间变化相关的以下2个条件。即，“移动轨迹间的欧几里得距离f的时间变化f_t更大”且“移动轨迹间的测地距离g的时间变化g_t更小（接近零）”那样的移动轨迹的对，能够定义为更类似关节的对（分别存在于构成关节的刚体上的类似移动轨迹的对）。

在本说明书中，“关节状运动”是指，由分别存在于构成关节的刚体上的移动轨迹对所进行的运动。在此，将图9（a）那样的例子作为典型的关节状运动的例子进行说明，但当然只要是上述那样的运动，则不限于图9（a）的例子。

在本说明书中，将某个移动轨迹对的运动在哪种程度上相似于“关节状运动”定义为“关节似然度”，并由关节特征计算部104计算表示该“关节似然度”的关节特征量而使用。

图10A表示对于到此为止所列举的3个模式的移动轨迹间的关系，移动轨迹间的距离的时间变化和包含移动轨迹的刚体分别处于哪种关系。

即，在移动轨迹x_i、x_j如图9（c）、（d）那样处于同一刚体上的情况下，移动轨迹间的测地距离的时间变化g_t、欧几里得距离的时间变化f_t都为0。将该模式在图10A上表示为“同一刚体”。

此外，如图9（a）（b）那样，存在于相互进行关节状运动的不同刚体上的情况下，欧几里得距离的时间变化f_t比0大，而且值越大、并且测地距离的时间变化g_t越接近于0，则越类似关节。在图10A中是表示为“关节状运动”的模式。

即，欧几里得距离的时间变化f_t比0大，而且值越大、并且测地距离的时间变化g_t越接近于0，则“关节似然度”越高（即类似关节）。

最后，对于不属于以上2个模式的剩余的情况，在图10A表示为“其他（非·关节状运动）”。

在以上内容的基础上，下面对特征量计算部108的处理进行说明。

首先，特征量计算部108对于分别跨在指定的处理对象的帧集合t0～T之间所对应的移动轨迹，计算移动轨迹间测地距离g的时间变化g_t、欧几里得距离f的时间变化f_t。具体地说，按照以下的式9以及式10，计算用分别赋予的分割单位dt对测地距离g以及欧几里得距离f进行微分所得到的值的绝对值，作为跨在进行一系列处理的帧集合t0～T之间而对每个移动轨迹进行了加法运算的值。

作为绝对值来求出的理由为，是否为关节运动是基于距离的时间变化的大小，与距离随着时间是增加还是减少、即微分值的方向无关。

【数学式9】

$>g_t=\underset{t_0}{\overset{T}{\Sigma }}\left|\frac{\mathrm{dg}}{\mathrm{dt}}\right|$>(式9)

【数学式10】

$>f_t=\underset{t_0}{\overset{T}{\Sigma }}\left|\frac{\mathrm{df}}{\mathrm{dt}}\right|$>(式10)

此外，关于特征量计算部108中的测地距离g的时间变化g_t、欧几里得距离f的时间变化f_t的求出方法，不限于式9以及式10。虽然是与微分相似的方法，但作为最简单的方法，也可以为，按照某个确定的时间间隔来分别求出测地距离g、欧几里得距离f的差分，并使用其绝对值的和。特别是，只要是2帧间的处理，则能够作为与第一帧和第二帧分别对应的移动轨迹间距离的差分的绝对值而求出。此外，也可以代替绝对值而使用微分值的平方值等。

此外，在预先得知处理所利用的帧集合不满足关节运动的半个周期、而欧几里得距离f仅单纯增加的情况下，也可以代替式9以及式10，而使用以下的式11以及式12。即，根据情况不一定需要在此使用绝对值。此外，相反在预先得知欧几里得距离f仅单纯减少的情况下，也可以按照式11以及式12，不使用绝对值而在求出了g_t、f_t的基础上，最后计算绝对值。

【数学式11】

$>g_t=\underset{t_0}{\overset{T}{\Sigma }}\frac{\mathrm{dg}}{\mathrm{dt}}$>(式11)

【数学式12】

$>f_t=\underset{t_0}{\overset{T}{\Sigma }}\frac{\mathrm{df}}{\mathrm{dt}}$>(式12)

接着，特征量计算部108计算表示关节似然度的关节特征量j_jnt（i，j）。

如上所述，对于移动轨迹的对，“移动轨迹间的欧几里得距离f的时间变化f_t更大”且“移动轨迹间的测地距离g的时间变化g_t更小（接近零）”那样的移动轨迹的对，能够定义为更类似关节的对。此外，作为类似关节的对的典型例子，可以列举分别是处于构成关节的刚体上的移动轨迹、其关节状运动较大那样的对。

因此，下面将满足以上2个条件的程度定义为关节特征量j_jnt（i，j）。

作为非常近似条件的关节特征量j_jnt（i，j）之一，能够使用以下的式13。

【数学式13】

(式13)

(其中，max(|gt/ft|)为|gt/ft|的最大值)

即，表示如下情况，测地距离g的时间变化g_x越小、并且欧几里得距离f的时间变化f_t越大，即2个移动轨迹越是类似关节的对、关节特征量j_jnt（i，j）越接近于1，相反关节特征量j_jnt（i，j）越接近于0，则2个移动轨迹的关节似然度越低。此外，在此通过最大值进行正规化，将关节特征量j_jnt（i，j）的值控制在从0到1的范围内，但是这是为了使计算和说明简单，虽然优选进行正规化，但实际上即使不进行正规化也能够进行本发明的处理。

在本实施方式中，“关节似然度”越高（即越类似关节），则关节特征量j_jnt（i，j）越大。

此外，在欧几里得距离f的时间变化f_t=0的情况下，为了防止由于除以0而关节特征量变得无限大，因此将条件进行划分。

在与图10A进行比较的同时使用图10B来说明关节特征量的式13。

在此，在欧几里得距离f的时间变化f_t为0的情况下，如在图9的说明中所述的那样，作为模式，相当于图10A的“同一刚体”或者“其他（非·关节状运动）”。即，不属于“关节状运动”。

因此，这些事例作为溢出值处置。其中，在g_t=0的情况下，是“同一刚体”，在后级的处理中被利用，因此预先赋予j_jnt（i，j）=-1等某个确定的值。在g_t≠0的情况下，预先赋予j_jnt（i，j）=-10等与“同一刚体”的情况不同的错误值。

此外，在由式13得出f_t≠0的情况下，始终成为j_jnt（i，j）＞0，因此在f_t=0的情况下被决定为错误值的j_jnt（i，j）的值，并不限于-1和-10，例如只要是负值等在f_t=0的情况下不能取得j_jnt（i，j）的值，则可以是任意的值。图10B表示作为式13的结果而得到的关节特征量的模式。

特征量计算部108对于各移动轨迹，根据如上述那样计算的移动轨迹间测地距离g的时间变化g_t、欧几里得距离f的时间变化f_t，按照式13来计算关节特征量j_jnt（i，j）。

将计算的移动轨迹间的关节特征量j_jnt（i，j）的集合表示为关节特征量矩阵J_jnt（式14）。

【数学式14】

J_jnt＝{j(i，j)}    (式14)

此外，在此使用的关节特征量的计算方法仅为一个例子，计算方法不限于式13。是图10A所示那样的表示关节似然度的式子、数据表即可，通过这种式子、数据表也能够得到同样的效果。

通过以上顺序，特征量计算部108计算表示N个移动轨迹间的关节似然度的关节特征量j_jnt（i，j），并作为关节特征量矩阵J_jnt而输出。

接下来，由关节检测部105执行关节检测步骤S305。

关节检测部105根据由关节特征计算部104计算的移动轨迹间的关节特征量矩阵J，来检测构成关节的刚体区域以及节区域的移动轨迹。

在以下对关节检测部105的处理进行详细说明。

首先，参照图11，对从2个移动轨迹中检测关节区域的移动轨迹的处理进行说明。

图11是对于某一个关节存在于图像中的情况的例子，将关节的周边区域封起来（close up）表示的示意图。在图11中，从全部移动轨迹中仅取出3个用于说明的代表性的移动轨迹xi、xj、xk而显示。实际上在区域中存在更多移动轨迹。

在图11的例子中，作为成对（每个对的）处理的对象的是，移动轨迹（xi，xj）、（xi，xk）、（xj，xk）这3组移动轨迹的对。

在此，如在图10B中说明了的那样，关于同一刚体上的移动轨迹对，关节特征量j_jnt=-1。因此，在该例子中，

j_jnt（i，k）=-1

j_jnt（j，k）=-1。

从这种移动轨迹的对不能够求出关节区域，因此在此将其排除在处理的对象之外。当然，在图10B的例子的情况下，

j_jnt=-10，

同样不能够求出关节区域。因此，仅对于具有

j_jnt≧0

的特征量的移动轨迹的对，在关节检测部105中进行以下处理。即，在该例子中，仅对于移动轨迹（xi，xj）的对进行处理。当然，移动轨迹（xi，xj）的关节特征量满足

j_jnt（i，j）≧0。

关节是2个刚体大致在1点相接、并且进行类似旋转的运动的部位。因此，如图11所示那样，如果能够检测含有第一移动轨迹xi的刚体区域θi1001所包含的移动轨迹、以及含有第二移动轨迹xj的刚体区域θj1002所包含的移动轨迹，则作为它们的共用点，能够求出关节状区域的节区域所包含的移动轨迹（移动轨迹xk）。

因此，首先，关节检测部105对包含移动轨迹xi的全部移动轨迹对，求出成为

j_jnt（i，ip）=-1

的移动轨迹xip。从对于移动轨迹xi求出关节特征量的全部移动轨迹中，求出移动轨迹xip。

作为其结果，作为包含xi的刚体区域θj1001所包含的移动轨迹，求出移动轨迹xk。同样，关节检测部105对于包含移动轨迹xj的全部移动轨迹对，也求出成为

j_jnt（j，jp）=-1

的移动轨迹xjp。从对于移动轨迹xj求出关节特征量的全部移动轨迹中，求出移动轨迹xjp。作为其结果，作为包含xj的刚体区域θj1002所包含的移动轨迹，求出移动轨迹xk。

作为刚体区域θi1001和刚体区域θj1002的积集合，而如式15那样求出节区域。

θi，j=θi∩θj    （式15）

因此，最后，通过求出刚体区域θi1001所包含的移动轨迹与刚体区域θj1002所包含的移动轨迹的共用部分、即积集合，由此能够求出节区域θi，j所包含的移动轨迹。例如，在图11的例子中，作为与移动轨迹（xi，xj）相对的节区域θi，j所包含的移动轨迹xk，而求出移动轨迹xk。

此外，例如在预先已知图像中仅存在一个关节的情况下等，从全部移动轨迹对中，选择一个关节特征量j_jnt（i，j）取最大值的移动轨迹对，并对该移动轨迹对进行与对上述移动轨迹（xi，xj）的处理同样的处理，由此能够简单地检测关节区域所包含的移动轨迹。

但是，一般的，预先不知道关节的数量的情况较多。因此，当如上述那样仅根据由2个移动轨迹构成的对求出关节时，有可能产生关节的检测失误。因此，如以下说明的那样，优选使用关节特征量为零以上的全部移动轨迹对，来检测关节区域所包含的移动轨迹。

图12A是对于某一个关节存在于图像中的情况的例子，将关节的周边区域封起来表示的示意图。在图12A中，从全部移动轨迹中，为了说明而仅显示代表性的移动轨迹xi、xj、xk、xl、xm这5个。实际上在图像中存在更多的移动轨迹。

图12B的表表示各移动轨迹间的关节特征量。在此，为了简单，仅记载关节特征量的值是正还是负。另外，图12B所记载的移动轨迹对应于图12A的移动轨迹。

首先，预先对移动轨迹xi、xj、xk、xl、xm，求出包含它们的刚体区域。虽然在此也可以不求出刚体区域、而在后级的每个移动轨迹对的处理时求出，但预先求出所产生的计算量会比对相同的移动轨迹多次求出刚体区域的情况要少，因此是优选的。

根据上述的关节特征量j_jnt的说明，移动轨迹间的关系为“刚体区域”的，是分别相对于移动轨迹xi、xj、xk、xl、xm，2个移动轨迹间的关节特征量为-1那样的移动轨迹。如图12A上所示那样，将包含这种移动轨迹的区域分别预先求出为刚体区域θi、θj、θk、θl、θm。另外，θk在图12A上未图示，该情况下，成为θi、θj、θl的和集合。

此外，根据上述的关节特征量j的说明，移动轨迹间的关系为“关节运动”的，仅是关节特征量为正值的移动轨迹（xi，xj）、（xi，xm）、（xl，xj）、（xl，xm）这4对。剩余的6对各自的关节特征量为-1，因此两点为“同一刚体”的关系，因而不进行与图11的说明同样的关节提取的处理。

当将与移动轨迹（xi，xj）、（xi，xm）、（xl，xj）、（xl，xm）这4对相对应的关节特征量分别设为j_jnt（i，j）、j_jnt（i，m）、j_jnt（l，j）、j_jnt（l，m）时，全部是不为0的正值。这些分别表示移动轨迹对的关节似然度。因此，作为求出节区域时的可靠度，能够用于加权。

在此，根据图12A可知，根据移动轨迹（xi，xj）求出的节区域包含移动轨迹xk。即，移动轨迹xk以及xi是同一刚体上的移动轨迹，移动轨迹xk以及xj是同一刚体上的移动轨迹。

此外，可知根据移动轨迹（xl，xj）求出的节区域也包含移动轨迹xk。即，移动轨迹xk以及xl是同一刚体上的移动轨迹，移动轨迹xk以及xj是同一刚体上的移动轨迹。

另一方面，根据移动轨迹（xi，xm）求出的节区域以及根据移动轨迹（xl，xm）求出的节区域不包含移动轨迹xk。

由此，移动轨迹xk的节似然度根据移动轨迹（xi，xj）的对以及移动轨迹（xl，xj）的对来决定，不根据移动轨迹（xi，xm）的对以及移动轨迹（xl，xm）的对来决定。

在此，将移动轨迹xk包含于节区域的可能性被称为移动轨迹xk的节似然度，移动轨迹xk的节似然度可以说取决于移动轨迹（xi，xj）的对以及移动轨迹（xl，xj）的对的各自的关节似然度。

例如，刚体区域θi以及θl的各自与刚体区域θj之间的关系，有可能是由于遮蔽等而产生的非关节性运动。在该情况下，作为各刚体区域重叠的区域、或者相接的区域所包含的移动轨迹，求出移动轨迹xk，但不是各刚体间的关节运动引起的，因此在该情况下，移动轨迹xk不是节区域的移动轨迹。即，移动轨迹xk不与节相似。

因此，在由关节特征量为正值的移动轨迹对所规定的各刚体间，将重叠的区域称为节候补区域，并且，作为判断移动轨迹xk的节似然度的基准，

使用使移动轨迹xk包含于节候补区域的移动轨迹对间的关节特征量的平均。当将表示移动轨迹xk的节似然度的节似然度特征量设为X_jnt（k）、使移动轨迹xk包含于节候补区域的移动轨迹对的数量设为N_jnt（k）时，移动轨迹xk的节似然度特征量X_jnt（k）能够使用以下的式16等来计算。

X_jnt（k）=（j_jnt（i，j）＋j_jnt（l，j））/N_jnt（k）（式16）

另外，在图12A的事例中，N_jnt（k）=2。

另外，以上的处理不一定需要对全部的移动轨迹对进行，例如，即使仅对于具有比预定的阈值TH_J大的关节特征量j_jnt的移动轨迹对进行，也能够得到同样的结果。

另外，关节特征量如以下的式17那样求出，还能够进行同样的处理。

【数学式15】

(式17)

即，测地距离g的时间变化g_t越小、并且欧几里得距离f的时间变化f_t越大，即2个移动轨迹越是类似关节的对，则关节特征量j_jnt（i，j）越接近于0，相反，关节特征量j_jnt（i，j）越从0远离，则表示2个移动轨迹的关节似然度越低。此外，在此，通过最大值进行正规化，并将关节特征量j_jnt（i，j）的值控制在从0到1的范围，是为了使计算和说明简单，虽然优选进行正规化，但实际上即使不进行正规化，也能够进行本发明的处理。

此外，在使用式17的情况下，式16变更为以下的式18即可。

X_jnt（k）=（（1-j_jnt（i，j））＋（1-j_jnt（l，j）））/N_jnt（k）     （式18）

此外，这里将关节特征量j_jnt（i，j）作为连续值计算，特别是在移动轨迹的分布为均匀的情况下等，也可以如以下那样进行。在测地距离的时间变化比预定的测地距离阈值小、且上述两点间距离的时间变化比预定的两点间距离阈值大的情况下，将关节特征量j_jnt（i，j）计算为1，在上述测地距离的时间变化为预定的测地距离阈值以上的情况、或者上述两点间距离的时间变化为预定的两点间距离阈值以下的情况下，将关节特征量j_jnt（i，j）计算为0。由此，能够更简单地进行计算。

根据以上，关节检测部105使用式16，对于各节候补区域求出移动轨迹xk的节似然度特征量，并输出这些值。

在本实施方式中，显示控制部106为，对于由图像输入部101受理的动态图像，以成为由关节检测部105检测的关节区域能够视觉识别的显示状态的方式，对输入图片实施图像处理而输出，并在显示器120上显示。

显示步骤S306由显示控制部106执行。即，显示控制部106根据从关节检测部105输出的各移动轨迹xi的节似然度特征量X_jnt（i），生成能够视觉识别节似然度的图片，并在显示器120上显示。

将与移动轨迹xi对应的图像上的位置设为（ui，vi）。移动轨迹跨在连续的多个帧之间而取得，因此例如使用移动轨迹的最初的帧中的像素位置等来进行显示即可。然后，将各移动轨迹xi的位置（ui，vi）的像素的颜色信息设为（Ri，Gi，Bi）。通过指定颜色信息（Ri，Gi，Bi）的值，能够决定对图像上的哪个位置赋予哪种颜色。

例如，通过以下那样，能够将节区域显示在图像上。

在多个输入图像中，将与帧集合的最初的帧对应的图像设为Iin，将输出图像设为Iout。预先将Iin的内容复制到Iout中即可。

对于关节检测部105的输出即节似然度特征量X_jnt（i），首先求出全部的节似然度特征量中的最小值X_jnt_min和最大值X_jnt_max。对全部X_jnt（i）进行正规化，以使最小值X_jnt_min成为0、最大值X_jnt_max成为255这样的值。将正规化了的节似然度特征量X_jnt_n（i）向Iout上的颜色信息（Ri，Gi，Bi）进行盖写。例如，如果盖写（Ri，Gi，Bi）=（X_jnt_n（i），0，0）这样的值，则在类似节的移动轨迹所对应的像素上，能够通过红色的灰度来表示节似然度。当然，也可以代替Ri，而向Gi、Bi带入X_jnt_n（i），而成为（Ri，Gi，Bi）=（X_jnt_n（i），X_jnt_n（i），X_jnt_n（i）），由此能够实现灰阶的灰度显示。此外，对X_jnt（i）进行正规化而计算出X_jnt_n（i），但对X_jnt（i）使用单调增加或者单调减少那样的函数而计算出X_jnt_n（i）即可，同样能够实现表示节似然度那样的显示。

此外，也可以仅将与具有某个确定的一定的阈值TH_jnt以上的X_jnt（i）的移动轨迹xi对应的像素（ui，vi），用确定的颜色涂覆。由此，能够更清楚地视觉识别是否类似节。

此外，不仅是节，通过对刚体区域的移动轨迹也进行着色显示，由此也能够更容易理解地显示关节状区域。

例如，将与具有确定的一定的阈值TH_jnt以上的X_jnt（i）的移动轨迹xi对应的刚体区域所包含的移动轨迹、即与关节特征量j（i，j）=-1的移动轨迹xj对应的像素（uj，vj）用预先指定的颜色涂覆，能够显示含有节的刚体区域。

此外，也可以不显示节区域而仅显示刚体区域。

此外，也可以将节区域的像素（ui，vi）和刚体区域的像素（uj，vj）用不同颜色涂覆。由此，能够分别视觉识别节和刚体，能够更容易地对关节状区域的构造进行视觉识别。

图13A以及图13B表示由显示控制部106生成的图片的例子。

当对由关节检测部105计算的关节状区域（节或者刚体）的移动轨迹进行上述的着色时，例如能够如图13A、图13B那样进行显示。在图13A中用圆圈表示节区域的与移动轨迹对应的像素。在图13B中用影线显示刚体区域的与移动轨迹对应的像素区域。通过成为这种显示形态，能够正确地提取图片中的关节区域或者刚体区域，能够容易理解地显示其结果。

此外，也可以将共用的刚体区域所包含的节区域彼此用直线连接而显示。由此，能够进行CG中的边界那样的显示。或者，如果直接将像素位置和直线的位置输出，则虽然是二维的，但作为简易骨架，也能够利用于2D动画等。

此外，在显示控制部106中，作为生成图片的顺序，将移动轨迹的图片坐标位置的像素用与节似然度对应的颜色进行描绘，但生成图片的方法不限定于此。

具体地说，如果移动轨迹的数量与图片整体的像素数为相同数，则能够通过上述的方法，对图片中的全部像素用与节似然度对应的颜色，或者根据节区域、刚体区域、关节状区域以外的区域的判断结果，用能够区分彼此的颜色进行描绘。另一方面，在移动轨迹的数量比图片整体的像素数少的情况下，存在与哪个移动轨迹的图片坐标位置都不一致的像素。此外，以下，对节区域、刚体区域、关节状区域以外的区域分别分类为另外的类别（class）的情况进行说明。

对于这种与移动轨迹的图片坐标位置不一致的像素，也可以通过其他方法进行描绘。例如，作为对与移动轨迹的图片坐标位置不一致的像素进行描绘的其他方法，也可以为，将多个移动轨迹的图片坐标位置（点）之间通过Delaunay三角网格生成法连结，将由属于同一类别的3个点围起的3角形中包含的像素，用与该类别相同的颜色进行描绘。

此外，在对连续输入的动态图像进行处理的情况下，也可以在每当输入T张图片时，反复进行上述步骤S301～S307的动作。

通过以上那样，根据本实施方式的关节区域显示装置以及方法，从根据图片内的移动轨迹间欧几里得距离和移动轨迹间测地距离的时间变化而求出的关节似然度中，提取节区域的移动轨迹。由此，作为在时间上对在图片中移动的物体的关节状区域进行追踪的结果，能够与关节物体的姿势无关地，提取图片中的移动体的关节状区域并显示。

此外，作为前处理不需要对人物候补区域进行设定，因此不存在由人物候补区域的检测失误引起的区域提取的失败。

此外，在本实施方式的关节区域显示装置中，距离计算部107从由移动轨迹计算部102生成的移动轨迹中提取的移动轨迹的图片数T为T=30，但不限定于该数值。例如，也可以根据应该检测的移动体的种类、状态而使用其他数值。例如，在能够假设检测的对象为步行者的情况下，由于平均的步行周期为大约1秒（30帧），因此跨在T=30帧的图片之间的移动轨迹与人的步行的1个周期相对应。如此，在应该检测的对象是伴随有周期性的变形的移动体的情况下，通过使在距离计算部107中提取的移动轨迹的图片数T成为与移动体的变形周期相对应的图片数，由此具有的效果为，难以受到移动体的变形的影响，能够更正确地提取移动体。此外，在由于遮挡等的影响、而移动体区域存在于不能够计算出跨在图片数T之间的移动轨迹的图片中的情况下，通过使能够计算移动轨迹的最大的图片数成为S（S＜T），由此具有能够更详细地检测移动体的区域这种效果。

如以上那样，在本实施方式以及其变形例的关节区域显示装置以及方法中，根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化来求出移动轨迹间的关节似然度、并提取关节，由此能够不受移动体的形状变化的影响，而正确地对关节、包含关节的移动体区域进行检测以及显示。

此外，不需要作为前处理而设定人物候补区域，因此不存在由于人物候补区域的检测失误引起的提取失败。由此，不需要庞大的参数的拟合（fitting），仅通过利用基于欧几里得距离和测地距离的时间变化的简单的特征量，就能够对包含在形状变化的同时进行移动的人物等的图片正确地进行关节区域的提取，由此还能够正确地进行图片中的移动体的提取、显示。

此外，上述实施方式的关节区域显示装置100，具备图像输入部101以及移动轨迹计算部102，但在本发明中，这些构成要素不是必须的。即，在预先计算出构成动态图像的多个块的各个块中的图片的移动轨迹的情况下，关节区域显示装置100也可以从外部取得这种移动轨迹，并对取得的移动轨迹执行步骤S203～S208的处理。

此外，本发明被实现为关节区域显示装置，但只要具有关节区域显示部103的功能，则当然能够实现为在动态图像中对关节状区域、节区域进行提取或者分割的图像处理装置。

此外，在本实施方式中，作为两点间距离使用了欧几里得距离，但如上所述，不限于欧几里得距离。使用由上述两点间距离定义的任意的距离指标而得到的方式也包含于本发明。

（实施方式2）

上述实施方式1以及其变形例的关节区域显示装置为，在节似然度特征量的计算顺序中，使用式16而根据多个移动轨迹对来计算各移动轨迹的节似然度特征量。此时，在图12A以及图12B的例子中，预先从全部移动轨迹对之中选择为了求出移动轨迹xk的节似然度特征量而利用的移动轨迹对，之后进行利用。

具体地说，对于全部移动轨迹对，首先求出各移动轨迹对的关节似然度，并仅残留具有阈值以上的值的关节似然度的移动轨迹对。并且，求出如下的2个刚体区域，该2个刚体区域分别包含构成残留的移动轨迹对之中的各移动轨迹对的2个移动轨迹。在该情况下，作为在刚体区域间共用的移动轨迹，仅残留包含移动轨迹xk那样的移动轨迹对。即，将移动轨迹对间的关节似然度、以及构成移动轨迹对的各移动轨迹与移动轨迹xk间的同一刚体相似度，分别依次进行二值化，由此可以说最终地选择出用于计算移动轨迹xk的节似然度特征量而使用的移动轨迹对。

但是，作为移动轨迹的节似然度特征量的计算方法，不一定需要这种二值化。通过二值化具有能够使计算简化、高速地进行处理这种优点。但是，通过使移动轨迹对的关节似然度、和构成移动轨迹对的各移动轨迹与移动轨迹xk间的同一刚体相似度，不使用二值而直接使用多值，由此能够更细致地表现移动轨迹xk的节似然度。即，能够更正确地求出移动轨迹xk的节似然度。

图14表示本实施方式的关节区域显示装置的构成。关节区域显示装置100B为，代替实施方式1的关节区域显示装置100的关节检测部105、而具备进行其他计算的关节检测部1401，代替特征量计算部108而具备进行其他计算的特征量计算部1402。

本实施方式的特征量计算部1402为，求出表示移动轨迹对间的关节似然度的关节特征量j_r、以及能够根据上述移动轨迹对间的关节特征量j_r求出的表示上述移动轨迹对间的同一刚体相似度的同一刚体特征量r_r，关节检测部1401利用移动轨迹对间的关节特征量j_r以及能够根据上述移动轨迹对间的关节特征量j_r求出的同一刚体特征量r_r，来计算各移动轨迹的节似然度特征量X_jnt。

即，关节检测部1401从全部的移动轨迹对中，使用由特征量计算部1402计算出的移动轨迹对的关节特征量以及同一刚体特征量，因此即使在各个特征量具有误差的情况下，作为整体也能够正确地计算移动轨迹的节似然度特征量。

以下，参照图15对关节检测部1401以及特征量计算部1402的动作进行说明。

首先，对通过特征量计算部1402对移动轨迹对间的关节特征量进行计算的顺序进行说明。

图15表示移动轨迹对间的关节关系（刚体/关节/其他）与f_t以及g_t的关系。在此，对于成为g_t＞f_t的移动轨迹对，在经验上几乎都既不是同一刚体上的两点、也不是进行关节运动的两点的情况，因此预先设为异常值也没有问题。实际上，是在确定了某种程度的余量的基础上，设定异常值的条件。详细将后述。

此外，在图15中，关于“2个移动轨迹在同一刚体上”这种条件，不仅是g_t=f_t=0，值域还扩展到g_t=f_t这种条件（g_t以及f_t存在于直线Lfg上这种条件）。在实施方式1中，仅在g_t、f_t都为0的情况下，才作为同一刚体上的两点，但是在某个刚体放大缩小的情况、或对应点具有微小的误差的情况下，f_t不一定成为0。在该情况下，对同一刚体上的两点间的测地距离进行计算的路径（为了计算“追随”移动轨迹的距离而“追随”的路径）的时间不变。由此，由于随着欧几里得距离f的变动而测地距离g也变化，因此对于距离的时间变化也可以说是f_t=g_t。

根据以上，作为表示比实施方式1更广义的刚体关系的条件，在此适用f_t=g_t（g_t以及f_t存在于直线Lfg上这种条件）。

在本实施方式中，在节似然度特征量的计算中，利用连续的关节特征量的值，因此定义出2个移动轨迹越类似同一刚体则取越大的值的同一刚体特征量r_r，并根据测地距离的时间变化g_t、欧几里得距离的时间变化f_t来进行计算。2个移动轨迹类似同一刚体是指，与2个移动轨迹对应的区域包含于同一刚体上的程度较高。

根据在f_t-g_t曲线图上图示移动轨迹对的f_t、g_t时的、离f_t=g_t（直线Lfg）的距离dl_i，j，来求出同一刚体特征量r_r。首先，能够通过以下的式19来求出离f_t=g_t（直线Lf_g）的距离dl_i，j。

【数学式16】

$>{\mathrm{dl}}_{i,j}=\{f_t(i,j)-g_t-(i,j)\}/\sqrt{2.0}$>(式19)

此外，离直线Lf_g的距离dl_i，j的计算方法，不限于式19。在本发明人的实验中，得到ft越大则越类似关节、即不类似同一刚体这种结果，因此也可以使用对式19赋予了ft的影响的式子。例如也可以使用式20。当然，只要能够得到同样效果，则离直线Lf_g的距离dl_i，j的计算方法不限于式20。

【数学式17】

$>{\mathrm{dl}}_{i,j}=f_t(i,j)\{f_t(i,j)-g_t(i,j)\}/\sqrt{2.0}$>(式20)

关于同一刚体上的移动轨迹对，理想上应该成为dl_i，j=0，但实际上，由于计算误差等的影响，有时会从直线Lf_g偏离，并不成为dl_i，j=0。因此，作为余量而设定阈值Th1、Th2，通过下式来计算同一刚体特征量r_r。r_r取从0到1的值，越接近于1，则表示移动轨迹对越类似同一刚体上的移动轨迹。作为错误值，r_r取-1。此外，例如，能够对阈值Th1使用0.1，对阈值Th2使用0.01。但是，在计算g_t、f_t时，是使用指定值64将全部的距离进行了正规化的情况下的例子。

【数学式18】

$>\left(\begin{array}{cc}{r}_r(i,j)=({\mathrm{Th}}_1-{\mathrm{dl}}_{i,j})/{\mathrm{Th}}_1& (0\le {\mathrm{dl}}_{i,j}\le {\mathrm{Th}}_1)\\ r_r(i,j)=({\mathrm{Th}}_2+{\mathrm{dl}}_{i,j})/{\mathrm{Th}}_1& (-{\mathrm{Th}}_2\le {\mathrm{dl}}_{i,j}\le 0)\\ r_r(i,j)=-1& ({-\mathrm{Th}}_2>{\mathrm{dl}}_{i,j},{\mathrm{dl}}_{i,j}>{\mathrm{Th}}_1)\end{array}\right)$>(式21)

※其中(Th₂≤Th₁)

此外，根据同一刚体特征量r_r，通过下式22来求出移动轨迹对的关节特征量j_r。关节特征量j_r越接近于1，则表示移动轨迹对越“类似关节”，关节特征量j_r越接近于零，则表示越类似同一刚体上的2个移动轨迹。

【数学式19】

$>\left(\begin{array}{cc}{j}_r(i,j)=1-r_r(i,j)& (1\ge r_r(i,j)\ge 0)\\ j_r(i,j)=-1& (0>r_r(i,j),r_r(i,j)>1)\end{array}\right)$>(式22)

由于同一刚体特征量r_r为从0到1的值，因此关节特征量j_r也取从0到1的值。j_r越接近于1，则表示移动轨迹对的关节运动越大。此外，作为

错误值，j_r取-1。

此外，在以下，为了进行说明而使用同一刚体特征量r_r、关节特征量

j_r的双方，但如上所述，这2个特征量是相互处于依存关系的变量，因此在

实际的处理中不需要将双方明确地定义为不同的变量而使用，只要仅根据

某一个来进行计算就足够。

此外，关于同一刚体特征量r_r以及关节特征量j_r的计算方法不限于式

21、式22，关于同一刚体特征量r_r，使用越接近于直线Lfg则值越接近于1、

而越远离则值越接近于0那样的函数，此外，关于关节特征量j_r，使用越接

近于直线Lfg则值越接近于0、而越远离则值越接近于1那样的函数即可。

例如，关于同一刚体特征量r_r，也可以通过以下的式23或者式24来

计算。通过适当地设定参数σ、param，即使不使用Th1、Th2也能够减少

异常值的影响。

【数学式20】

r_r(i，j)＝exp(-(dl_i，j²/2σ2))(式23)

【数学式21】

$>\left(\begin{array}{cc}{r}_r(i,j)=\exp ({-\mathrm{dl}}_{i,j}/\mathrm{param})& ({\mathrm{dl}}_{i,j}\ge 0)\\ r_r(i,j)=\exp ({\mathrm{dl}}_{i,j}/\mathrm{param})& ({\mathrm{dl}}_{i,j}<0)\end{array}\right)$>(其中param>0)(式24)

此外，例如关于关节特征量j_r，也可以通过以下的式25或者式26来计

算。此时，不一定需要满足式22的形式，能够自由选择式23、式24、式

25、式26。

通过适当地设定参数σ、param，即使不使用Th1、Th2也能够减少异

常值的影响。其中，max_dl_i，j为满足dl_i，j＞0的dl_i，j的最大值。

【数学式22】

$>\left(\begin{array}{cc}{j}_r(i,j)=\exp ({-(\max \_{\mathrm{dl}}_{i,j}-{\mathrm{dl}}_{i,j})}^2/\left({2\sigma }^{\prime 2}\right))& ({\mathrm{dl}}_{i,j}\ge 0)\\ j_r(i,j)=-1& ({\mathrm{dl}}_{i,j}<0)\end{array}\right)$>(式25)

【数学式23】

$>\left(\begin{array}{cc}{j}_r(i,j)=\exp (-(\max \_{\mathrm{dl}}_{i,j}-{\mathrm{dl}}_{i,j})/\mathrm{param})& ({\mathrm{dl}}_{i,j}\ge 0)\\ j_r(i,j)=\exp ((\max \_{\mathrm{dl}}_{i,j}-{\mathrm{dl}}_{i,j})/\mathrm{param})& ({\mathrm{dl}}_{i,j}<0)\end{array}\right)$>(式26)(其中param>0)

通过以上，在特征量计算部1402中计算出关节特征量。

接着，对关节检测部1401的处理进行说明。关节检测部1401根据由特征量计算部1402计算出的各移动轨迹对的关节特征量，计算移动轨迹的节似然度特征量。

在此，图16表示节的移动轨迹A、刚体上的移动轨迹B、C、D以及异常值的移动轨迹E。图16（a）表示选择了某3个移动轨迹间的3个移动轨迹对（AB，BC，AC）的情况下的例子。如图16（a）所示那样，移动轨迹对AB的关节特征量j_r（AB）较小、即同一刚体特征量r_r（AB）较大。移动轨迹对AC也同样是关节特征量j_r（AC）较小、同一刚体特征量r_r（AC）较大。在这种情况下，可以说移动轨迹A与移动轨迹B、与移动轨迹C都分别类似同一刚体。在此，由于移动轨迹A为节，因此移动轨迹B、C需要属于不同刚体。由此，如图16（a）所示那样，对于移动轨迹对BC，成为关节特征量j_r（BC）较大、同一刚体特征量r_r（BC）较小。

与上述例子同样，图16（b）表示选择了某3个移动轨迹间的3个移动轨迹对（AB，BD，AD）的情况下的例子。如图16（b）所示那样，移动轨迹对AB的关节特征量j_r（AB）较小、即同一刚体特征量r_r（AB）较大。移动轨迹对AD也同样是关节特征量j_r（AD）较小、同一刚体特征量r_r（AD）较大。并且，移动轨迹对BD也同样是关节特征量j_r（BD）较小、同一刚体特征量r_r（BD）较大。在这种情况下，能够得到3个移动轨迹A、B、D全部类似同一刚体这种信息。但是，却得不到哪个移动轨迹类似节、原本是否存在类似节的移动轨迹的信息。

并且，图16（c）表示选择了某3个移动轨迹间的3个移动轨迹对（AB，BE，AE）的情况下的例子。在此，E为异常值的移动轨迹。

如图16（c）那样，关于与异常值的移动轨迹对AE、BE，关节特征量j_r、同一刚体特征量r_r都应该成为-1的值。在该情况下，也得不到移动轨迹A和B的哪个是节、原本是否存在相似于节的移动轨迹的信息。

由此，根据满足图16（a）的关系的移动轨迹对来求出节似然度特征量即可。相反，在图16（b）、（c）的情况下，由于得不到哪个移动轨迹类似节的信息，因此想使其无助于计算。因此，通过以下的式，根据移动轨迹A以外的全部移动轨迹对来计算移动轨迹A的节似然度特征量X_jnt。

【数学式24】

$>\left(\begin{array}{c}{X}_{\mathrm{jnt}}\left(A\right)=r_r\left(\mathrm{AB}\right)r_r\left(\mathrm{AC}\right)j_r\left(\mathrm{BC}\right)+r_r\left(\mathrm{AB}\right)r_r\left(\mathrm{AD}\right)j_r\left(\mathrm{BD}\right)\\ +r_r\left(\mathrm{AB}\right)r_r\left(\mathrm{AE}\right)j_r\left(\mathrm{BE}\right)+r_r\left(\mathrm{AC}\right)r_r\left(\mathrm{AD}\right)j_r\left(\mathrm{CD}\right)\\ +r_r\left(\mathrm{AC}\right)r_r\left(\mathrm{AE}\right)j_r\left(\mathrm{CE}\right)+r_r\left(\mathrm{AD}\right)r_r\left(\mathrm{AE}\right)j_r\left(\mathrm{DE}\right)\end{array}\right)$>(式27)

（其中，对于关节特征量为-1的项置换为0而相乘）

在此，可以说，根据

【数学式25】

$>j_r\left(\mathrm{BD}\right)\cong 0,j_r\left(\mathrm{BE}\right)\cong 0,j_r\left(\mathrm{CE}\right)\cong 0,j_r\left(\mathrm{DE}\right)\cong 0$>

而式27成为

【数学式26】

$>X_{\mathrm{jnt}}\left(A\right)\cong r_r\left(\mathrm{AB}\right)r_r\left(\mathrm{AC}\right)j_r\left(\mathrm{BC}\right)+r_r\left(\mathrm{AC}\right)r_r\left(\mathrm{AD}\right)j_r\left(\mathrm{CD}\right)>0$>

即，能够通过来自满足图16（a）那样的关系的3个移动轨迹的信息，来表示移动轨迹A的节似然度特征量。

相反，关于不存在于节的例如移动轨迹B，能够根据B以外的全部移动轨迹对、通过以下的式28来计算节似然度特征量X_jnt。

【数学式27】

$>\left(\begin{array}{c}{X}_{\mathrm{jnt}}\left(B\right)=r_r\left(\mathrm{AB}\right)r_r\left(\mathrm{BC}\right)j_r\left(\mathrm{AC}\right)+r_r\left(\mathrm{AB}\right)r_r\left(\mathrm{BD}\right)j_r\left(\mathrm{AD}\right)\\ +r_r\left(\mathrm{AB}\right)r_r\left(\mathrm{BE}\right)j_r\left(\mathrm{AE}\right)+r_r\left(\mathrm{BC}\right)r_r\left(\mathrm{BD}\right)j_r\left(\mathrm{CD}\right)\\ +r_r\left(\mathrm{BC}\right)r_r\left(\mathrm{BE}\right)j_r\left(\mathrm{CE}\right)+r_r\left(\mathrm{BD}\right)r_r\left(\mathrm{BE}\right)j_r\left(\mathrm{DE}\right)\end{array}\right)$>(式28)

（其中，对于关节特征量为-1的项置换为0而相乘）

在此，根据

【数学式28】

$>j_r\left(\mathrm{AC}\right)\cong 0,j_r\left(\mathrm{AD}\right)\cong 0,j_r\left(\mathrm{AE}\right)\cong 0,r_r\left(\mathrm{BC}\right)\cong 0,j_r\left(\mathrm{DE}\right)\cong 0$>

而式28成为，

【数学式29】

$>X_{\mathrm{jnt}}\left(B\right)\cong 0$>

即，关于节以外的移动轨迹，可知节似然度特征量X_jnt的值被抑制得较小。

通过以上的构成，能够更细致地表现移动轨迹xk的节似然度、即能够更正确求出移动轨迹xk的节似然度特征量。

图17表示根据节似然度特征量的值来以灰度显示关节的节的例子。可知越接近于节的位置的颜色变得越浓，能够容易地视觉识别节的位置。

此外，关于预定的阈值Th1、Th2，例如，在预先已知被拍摄体的尺寸、运动的大小的情况下，可知g_t-f_t值的分布如图18那样变化。在图18中，施加影线的位置表示g_t值以及f_t值所分布的区域。由此，也可以根据被拍摄体的尺寸、运动的大小，使阈值Th1、Th2变化。例如，如图18（b）那样，对于较大的被拍摄体、运动，也可以设定比在图18（a）的情况下使用的阈值Th1、Th2大的阈值Th1、Th2。

或者，也可以具备用户的被拍摄体选择模式。预先对于被拍摄体和被拍摄体的尺寸确定最佳的阈值Th1、Th2，在使用本装置时，用户如果能够预先指定被拍摄体、尺寸，则能够使用更适当的阈值Th1、Th2，而更正确地求出移动轨迹的节似然度特征量。此外，不仅是被拍摄体、尺寸，也可以是能够在某种程度上规定关节区域的尺寸的拍摄场所或者装置的设置场所这种信息。由此，可知被拍摄体的最大的大小、大概的大小。或者，用户也可以通过触笔、触摸板等，预先互动地指定某种程度的被拍摄体区域。

此外，之前说明了“类似同一刚体”的移动轨迹对比“类似关节”的移动轨迹对更接近于f_t=g_t这种关系，不仅如此，由于f_t、g_t的值也存在某种程度的差，因此还能够增加这些信息而使关节检测高精度化。

例如，如图18（c）所示那样，对于f_t、g_t都比阈值ThRig小的移动轨迹对，进行同一刚体特征量r_r变得更大的加权，对于f_t、g_t的某个比阈值ThRig大的移动轨迹对，进行同一刚体特征量r_r变得更小的加权，由此能够将更“类似同一刚体”的数据作为更“类似同一刚体”的数据来处理，能够更高精度地进行节似然度特征量的计算。

此外，关节检测部1401也可以为，不是将节似然度特征量X_jnt直接向显示控制部106输出，而是在输出前进行节似然度特征量X_jnt的变换，将变换后的节似然度特征量向显示控制部106输出。

即，关节检测部1401将节似然度特征量X_jnt的值中、在由像素坐标系构成的二维平面上成为极大的点作为节而求出。例如，也可以定义如果节似然度特征量X_jnt为局部极大则取1、除此以外成为零那样的新的节似然度特征量newX_jnt，关节检测部1401将新的节似然度特征量newX_jnt向显示控制部106输出。在此，为了简单而进行了二值化，但当然也可以为多值。根据该构成，能够将节似然度特征量X_jnt局部最高的像素位置的信息向显示控制部106传递，因此即使在关节的数量增加时，也能够稳定地进行关节区域的显示。

（实施方式3）

上述实施方式2的关节区域显示装置，根据多个移动轨迹对来计算各移动轨迹的节似然度特征量，并进行基于节似然度特征量的显示。此时，例如，在仅想检测节区域的那种情况下，基于节似然度特征量的显示就足够，但是在想检测关节状区域整体的情况下，仅通过将节似然度特征量的值显示在图像上，在关节状区域的端部，节似然度特征量会变低，因此作为关节状区域整体的显示，存在难以进行视觉识别这种课题。

由此，在本实施方式中说明了如下目的的处理：通过利用求出的各移动轨迹的节似然度特征量以及移动轨迹的同一刚体特征量，来计算表示各移动轨迹的“关节状区域似然度”的“关节状区域似然度”特征量，并使用其来检测关节状区域整体。

图19表示本实施方式的关节区域显示装置的构成。关节区域显示装置100C为，在实施方式2的关节区域显示装置100B的构成所包含的关节检测部1401之后，具备关节状区域检测部1901。

本实施方式的关节状区域检测部1901为，利用移动轨迹对间的同一刚体特征量r_r以及移动轨迹的节似然度特征量X_jnt，计算移动轨迹的“关节状区域似然度”Xreg。

即，关节状区域检测部1901为，在“相对于类似节的移动轨迹而更类似同一刚体”的移动轨迹为关节状区域这种定义的基础上来计算关节状区域似然度，因此能够仅根据节似然度的信息，来求出各移动轨迹的“关节状区域似然度”。

以下，参照图20对关节状区域检测部1901的动作进行说明。

在图20中，A、B、C、D是关节状区域上的点，E是不存在于关节状

区域上的异常值。关节状区域上的移动轨迹全部具有的共用点为，相对于

相似于节的移动轨迹而同一刚体特征量变大。

因此，通过以下的式来定义B的关节状区域似然度Xreg（B）。

【数学式30】

$>\left(\begin{array}{c}{X}_{\mathrm{reg}}\left(B\right)=X_{\mathrm{jnt}}\left(A\right)r_r\left(\mathrm{AB}\right)+X_{\mathrm{jnt}}\left(B\right)r_r\left(\mathrm{BB}\right)+X_{\mathrm{jnt}}\left(C\right)r_r\left(\mathrm{BC}\right)\\ +X_{\mathrm{jnt}}\left(D\right)r_r\left(\mathrm{BD}\right)+X_{\mathrm{jnt}}\left(E\right)r_r\left(\mathrm{BE}\right)\end{array}\right)$>另外，r_r(BB)＝1·

(其中，对于节似然度特征量为-1的项置换为0而相乘）

在此，根据

【数学式31】

$>X_{\mathrm{jnt}}\left(B\right)\cong 0,X_{\mathrm{jnt}}\left(C\right)\cong 0,X_{\mathrm{jnt}}\left(E\right)\cong 0$>

【数学式32】

$>X_{\mathrm{reg}}\left(B\right)\cong X_{\mathrm{jnt}}\left(A\right)r_r\left(\mathrm{AB}\right)+X_{\mathrm{jnt}}\left(D\right)r_r\left(\mathrm{BD}\right)>0$>

此外，关于异常值E，Xreg（E）成为以下那样。

【数学式33】

$>\left(\begin{array}{c}{X}_{\mathrm{reg}}\left(E\right)=X_{\mathrm{jnt}}\left(A\right)r_r\left(\mathrm{AE}\right)+X_{\mathrm{jnt}}\left(B\right)r_r\left(\mathrm{BE}\right)+X_{\mathrm{jnt}}\left(C\right)r_r\left(\mathrm{CE}\right)\\ +X_{\mathrm{jnt}}\left(D\right)r_r\left(\mathrm{DE}\right)+X_{\mathrm{jnt}}\left(E\right)r_r\left(\mathrm{EE}\right)\end{array}\right)$>(其中，r_r((BB)＝1)

（其中，对于节似然度特征量为-1的项置换为0而相乘）

在此，根据

【数学式34】

$>r_r\left(\mathrm{AE}\right)\cong 0,X_{\mathrm{jnt}}\left(B\right)\cong 0,X_{\mathrm{jnt}}\left(C\right)\cong 0,r_r\left(\mathrm{DE}\right)\cong 0,X_{\mathrm{jnt}}\left(E\right)\cong 0$>

【数学式35】

$>X_{\mathrm{reg}}\left(E\right)\cong 0$>

即，关于关节状区域上的移动轨迹B，能够得到反映了关节状区域似然

度的正值，此外，关于不存在于关节状区域上的移动轨迹E，能够将关节

状区域似然度的值抑制得较小。

通过按照以上顺序来进行计算，能够将关节状区域上的移动轨迹A～D和关节状区域外的移动轨迹E分离，显示控制部106能够仅使关节状区域上的移动轨迹显示在显示器120上。

图21表示例如显示了根据手腕整体运动的场景而计算的关节状区域似然度特征量的例子。对具有规定阈值以上的关节状区域似然度特征量的位置进行着色。

在图17中，仅通过灰度强调了作为节部分的肘，但在图21的例子中可知，提取有类似关节状区域的部分整体，并能够容易地视觉识别关节状区域。

（实施方式4）

以下，对本发明实施方式4的关节区域归属度计算装置进行说明。

图22是表示关节区域归属度计算装置的功能构成的框图。

关节区域归属度计算装置2200为，对与构成动态图像中的移动体的多个区域分别对应的多个移动区域，分别计算向关节区域的归属度。关节区域归属度计算装置2200包括距离计算部107和关节区域归属度计算部2201。

距离计算部107是如下的处理部：作为输入而接受上述多个移动轨迹，对于多个移动轨迹所包含的任意的移动轨迹对，计算表示移动轨迹间的相似度的距离。距离计算部107执行的处理如实施方式1所示那样。

关节区域归属度计算部2201根据第一移动轨迹、第二移动轨迹以及第三移动轨迹中任意2个移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，将表示同时满足如下3个关系的程度的节似然度特征量，计算为第一移动轨迹向关节区域的归属度，这3个关系为：与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上，与第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上，和与第二移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于经由同一个节所连接的另外的刚体上。即，关节区域归属度计算部2201对多个移动轨迹，分别计算该移动轨迹向关节区域的归属度、即该移动轨迹存在于关节区域上的可能性的程度。关节区域归属度计算部2201将移动轨迹的节似然度特征量计算为该移动轨迹向关节区域的归属度。关节区域归属度计算部2201能够使用与实施方式1或者实施方式2所示的方法相同的方法，来计算节似然度特征量。

图23是表示关节区域归属度计算装置2200的动作的流程图。

在图23中，2个步骤S307以及S2301分别与图22的距离计算部107以及关节区域归属度计算部2201对应。即，距离计算部107执行步骤S307的动作，关节区域归属度计算部2201执行步骤S2301的动作。

在步骤S307中，距离计算部107作为输入而接受与构成动态图像中的移动体的多个区域分别对应的多个移动区域，对多个移动轨迹所包含的任意移动轨迹对，计算将构成移动轨迹对的移动轨迹间直接连接的距离即两点间距离、以及将移动轨迹对以外的移动轨迹作为中继点而从构成移动轨迹对中的一方移动轨迹到达另一方移动轨迹的路径的距离即测地距离。此外，步骤S307的详细如实施方式1所示那样。

在步骤S2301中，关节区域归属度计算部2201根据上述多个移动轨迹所包含的第一移动轨迹、第二移动轨迹以及第三移动轨迹中任意2个移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，将表示同时满足如下3个关系的程度的节似然度特征量，计算为第一移动轨迹向关节区域的归属度，这3个关系为：与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上，与第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上，和与第二移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于经由同一个节所连接的另外的刚体上。即，关节区域归属度计算部2201使用与图3的步骤S308以及S305所示的方法同样的方法，来计算第一移动轨迹的节似然度特征量。

根据实施方式4，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化，来计算移动轨迹向关节区域的归属度，由此能够不受移动体的形状变化的影响，而正确地计算移动轨迹向关节区域的归属度。

（实施方式5）

以下，对本发明实施方式5的关节状区域归属度计算装置进行说明。

图24是表示关节状区域归属度计算装置的功能构成的框图。

关节状区域归属度计算装置2400对于与构成动态图像中的移动体的多个区域分别对应的多个移动区域，分别计算向经由关节区域连接的区域即关节状区域的归属度。关节状区域归属度计算装置2400具备距离计算部107和关节状区域归属度计算部2401。

距离计算部107是如下的处理部；作为输入而接受上述多个移动轨迹，对于多个移动轨迹所包含的任意的移动轨迹对计算表示移动轨迹间的相似度的距离。距离计算部107执行的处理如实施方式1所示那样。

关节状区域归属度计算部2401根据着眼的移动轨迹、第一移动轨迹、第二移动轨迹以及第三移动轨迹中任意2个移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，根据同时满足如下3个关系的程度来计算关节状区域似然度，这3个关系为：与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上，与第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上，且与第二移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于经由同一个节所连接的另外的刚体上。

例如，能够将根据满足这些关系的程度而计算的关节状区域似然度，计算为第二移动轨迹以及第三移动轨迹向关节状区域的归属度。

并且优选为，根据着眼的移动轨迹、第一移动轨迹、第二移动轨迹之中第一移动轨迹的关节区域归属度、以及着眼的2个移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，将满足第一移动轨迹存在于关节区域、且与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上这种关系的程度，计算为第二移动轨迹向关节状区域的归属度。如在实施方式4所述的那样，根据上述的3点的关系，能够计算第一移动轨迹的关节区域归属度。可以说“相对于类似节的移动轨迹而类似同一刚体”的移动轨迹向关节状区域的归属度较高，因此能够更正确地求出关节状区域归属度。

即，关节状区域归属度计算部2401对于多个移动轨迹，分别计算该移动轨迹向关节状区域的归属度、即该移动轨迹存在于关节状区域上的可能性的程度。关节状区域归属度计算部2401将移动轨迹的关节状区域似然度计算为该移动轨迹向关节状区域的归属度。关节状区域归属度计算部2401能够使用与实施方式3所示的方法相同的方法来计算关节状区域似然度。

图25是表示关节状区域归属度计算装置2400的动作的流程图。

在图25中，2个步骤S307以及S2501分别与图24的距离计算部107以及关节状区域归属度计算部2401对应。即，距离计算部107执行步骤S307的动作，关节状区域归属度计算部2401执行步骤S2501的动作。

在步骤S307中，距离计算部107作为输入而接受与构成动态图像中的移动体的多个区域分别对应的多个移动区域，对于多个移动轨迹所包含的任意的移动轨迹对，计算将构成移动轨迹对的移动轨迹间直接连接的距离即两点间距离、和将移动轨迹对以外的移动轨迹作为中继点而从构成移动轨迹对中的一方移动轨迹到达另一方移动轨迹的路径的距离即测地距离。此外，步骤S307的详细如实施方式1所示那样。

在步骤S2501中，关节状区域归属度计算部2401根据上述多个移动轨迹所包含的着眼的移动轨迹、第一移动轨迹、第二移动轨迹以及第三移动轨迹中任意2个移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，将基于同时满足如下3个关系的程度而求出的关节状区域似然度，计算为着眼的移动轨迹向关节状区域的归属度，这3个关系为：与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上，与第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上，且与第二移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于经由同一个节而连接的另外的刚体上。即，关节状区域归属度计算部2401使用与图19的特征量计算部1402、关节特定部1401以及关节状区域检测部1901执行的方法同样的方法，来计算着眼的移动轨迹的关节状区域似然度。

根据实施方式5，通过根据移动轨迹间的测地距离的时间变化和两点间距离的时间变化，来计算移动轨迹向关节状区域的归属度，由此能够不受移动体的形状变化的影响，而正确地计算移动轨迹向关节状区域的归属度。

此外，还能够将本发明实现为从上述实施方式1～3的关节区域显示装置中除去了显示控制部106的关节区域检测装置。

此外，在上述实施方式1～3中也可以为，关节特征计算部对于任意移动轨迹间，在测地距离的时间变化比预定的测地距离阈值小、且两点间距离的时间变化比预定的两点间距离阈值大的情况下，将关节特征量计算为0，在测地距离的时间变化为预定的测地距离阈值以上的情况、或者两点间距离的时间变化为预定的两点间距离阈值以下的情况下，将上述关节特征量计算为1。

此外，在本发明的实施方式中，将具有由节和刚体区域构成的关节的物体作为一般例子而用于说明，但例如也可以是绳那样的非刚体的物体。绳状的物体能够视为由细小的刚体和无数的节构成的关节。由此，绳的运动也能够作为无数的细小的关节运动相连的运动来处理，同样能够通过本方法来进行节似然度的计算以及关节状区域的显示。

此外，在本发明中使用的“区域”这种定义，不仅包含由多个轨迹构成的区域，还包括仅由一个轨迹构成的情况。其原因在于：只要节的轨迹至少存在1点、并存在另外两点的移动轨迹，则能够根据它们的轨迹来计算各轨迹的节似然度特征量以及关节状区域似然度特征量。

此外，本发明的关节区域显示装置的必须的构成要素，为实施方式1～3的关节区域显示装置中的关节特征计算部、关节检测部以及显示控制部。此外，本发明的关节区域检测装置的必须的构成要素，为实施方式1～3的关节区域显示装置中的关节特征计算部以及关节检测部。

工业上的可利用性

本发明作为通过根据多张图片中的运动来提取在形状变化的同时进行移动的图片中的人物等移动体的关节、由此来提取关节以及包含关节的移动体的区域的关节区域显示装置，例如能够利用为运动解析装置、监视装置、摄像机、TV等AV机器中内置的关节区域显示装置等。

附图标记的说明

100、100B、100C  关节区域显示装置

101  图像输入部

102  移动轨迹计算部

103  关节显示部

104  关节特征计算部

105、1401  关节检测部

106  显示控制部

107  距离计算部

108、1402  特征量计算部

110  摄像机

120  显示器

200  计算机

201  I/F

202  CPU

203  ROM

204  RAM

205  HDD

206  视频卡

1901  关节状区域检测部

2200  关节区域归属度计算装置

2201  关节区域归属度计算部

2400  关节状区域归属度计算装置

2401  关节状区域归属度计算部