用于跟踪目标的装置、跟踪目标的方法和跟踪目标的程序

具体实施方式

(本发明的第一工作实例)

随后参照附图说明本发明的第一实施例。图2是说明本发明的目标跟踪装置一个结构实例的框图。如图2所示，该目标跟踪装置包括：图像输入终端11，从一个摄像机等接收曾经输入的图像信息；目标区域提取部分12，从提供到图像输入终端11的图像信息中提取一个目标区域；特征量产生部分14，根据提供到图像输入终端11的图像信息产生一个目标的特征量和一个目标区域的特征量；特征量合成部分15，合成多个目标的特征量以便产生一个新的特征量；和对应关系建立部分17，建立在一个目标和一个目标区域之间的对应关系。

此外，虽然目标区域提取部分12、特征量产生部分14、特征量合成部分15和对应关系建立部分17能够通过硬件实现，但是它们也能够通过软件实现。换句话说，目标区域提取部分12、特征量产生部分14、特征量合成部分15和对应关系建立部分17能够依靠存储在存储器中的执行其下面所述的功能的程序实现，并且一个CPU将根据该程序执行该程序步骤。

该目标跟踪装置通过使用一个摄像机之类的装置在一个规定的范围(下文称作跟踪范围)之内连续拍照来跟踪一实物体，并且识别拍照出现的实物体的图像。

例如，摄像机固定不动并连续在一个预定范围中拍照。此外，该摄像机能够以快门范围垂直或左-右方向改变。

而且，能够采用能够以确定时间期提取图像的成像可选装置来取代通过使用摄像机的连续图像扫描。采用例如数字照相机的获得静止图像形式的图像信息的装置也是可行的。

一个目标区域表示包括一个目标的图像中的区域，其中的一个目标是指一个实物体的图像。通过例如下列的步骤提取该目标区域：利用摄像机之类装置实现获得没有目标的该跟踪范围的图像；目标区域提取部分12把该获得的图像信息存储在一个背景图像存储装置中作为背景图像信息；目标区域提取部分12比较由图像输入终端11接收的图像信息内容和以像素为单位存储在该背景图像存储器中的背景图像信息，以便计算该象素值的差值，并且提取具有超过一个预定门限值的像素(在下文中将该像素称为目标像素)；目标区域提取部分12从该提取的像素中选择全部连续地目标像素；目标区域提取部分12把该选择的目标像素与提取范围互连；并且目标区域提取部分12把区域号码标号到提取的区域并且提供作为目标区域。

此外，背景图像存储装置不仅能够储存单一背景图象信息内容而且能够储存多个背景图像信息内容。例如，如果该跟踪范围是户外，则背景图像存储装置既可以存储在白天获得的背景图像信息(下文称作白天图像)又可以存储夜间获得的背景图像信息(下文称作夜间图像)以便实现在白天采用白天图像以及在晚上采用夜间图像。

如果象标的目标的形状的特征量已知，则该目标跟踪装置可以具有一个目标模式存储装置代替该背景图像存储装置，用于预先存储有关目标的形状、彩色操作之类的信息作为目标模式信息。在此情况中，目标区域提取部分12能够把接收的图像信息与已经存储在该目标模式存储装置中的该目标模式核对，并且提取与该目标匹配的区域作为一个目标区域。

一个特征量是用于在一个目标和一个目标区域之间建立一个对应关系的量。该特征量包括两类量，例如一个目标区域的特征量(称为一个目标区域特征量或一个区域特征量)和一个目标的特征量(称作一个目标特征量)：该区域特征量表示从每一个目标区域获取的特征量而该目标特征量表示从构成一个目标的目标区域的一个组合获取的特征量。

例如，特征量产生部分14计算一个目标区域的彩色直方图，并且把该计算的该目标区域的彩色直方图提供作为一种区域特征量。另外，该特征量可以是该目标区域的一个区域，一个图像模板等或其可以是相对于一个区域标准化的一个彩色直方图。而且，它可以是从彩色直方图、区域、图像模板以及相对于一个区域标准化的彩色直方图的一组特征量中选择的两个或更多的特征量的组合。

一个目标的特征量也能够由该彩色直方图、区域、图像模板和相对于一个区域标准化的彩色直方图的任何一个或由它们的一种组合表示，因为一个目标的特征量是一种包括构成该目标的该目标区域的特征量的一个组合。

特征量产生部分14根据该目标区域的特征量计算一个目标的特征量。一个目标区域的特征量是从每一个目标区域计算的一种特征量，并且一个目标的特征量是从构成该目标的该目标区域的一个组合计算的一个特征量。因此，如果一个目标对应于单个目标区域，则该目标的特征量是根据该单个目标区域的特征量决定的，并且如果一个目标由多个目标区域构成，则该目标的特征量是从该目标区域的特征量的合成决定的。

注意，目标区域提取部分12是用于从图像信息提取一个目标区域的一个目标区域提取装置的具体实例(一个实施例)，并且提供包括关于该提取的目标区域的图像信息的目标区域信息。而且，特征量产生部分14是特征量产生装置的一个具体实例，用于产生该目标区域的特征量和目标的特征量，而特征量合成部分15是特征量合成装置的具体实例，用于通过合成针对全部需要的多个目标的组合的特征量而产生合成的特征量。

图3是说明对应关系建立部分17的一个结构实例的框图。对应关系建立部分17具有状态跟踪判定部分13和对应关系判定部分16，如图3所示。状态跟踪判定部分13建立一个目标和一个目标区域之间的对应关系并且判定跟踪的状态。对应关系判定部分16根据该目标的跟踪的状态而确认该目标和目标区域之间的对应关系。

在上述描述中，跟踪的状态是指表示一个目标相对于另一目标的相对位置的状态，例如与另一物体交叉和从另一物体进行分离。物跟踪的状态包括例如一种单独状态，其中单个目标存在于一个目标区域中，一种交叉状态，其中多个目标对应于单个目标区域，以及一种进行分离的状态或一种在进行分离状态，即一种过渡状态，其中一个目标区域正被进行分离成多个目标区域。换言之，本实施例的跟踪的状态包括一个单独状态、一种交叉状态和一种进行分离的状态。本交叉状态一般通过该进行分离的状态而实现到该单独状态的过渡。

此外，状态跟踪判定部分13是一种跟踪状态判定装置的指定实例，用于以每一个目标或目标区域判定跟踪的状态，其中的跟踪状态表示相对于另一目标的一种位置关系。对应关系判定部分16是对应关系建立装置的一种具体实例，用于根据在合成的特征量和该目标区域的特征量之间的相似程度建立在一个目标和一个目标区域之间的对应关系，该目标区域是包括该目标的区域，还包括对应关系判定装置，用于提供已经确定的当前的对应关系信息。

在本实施例中，如下面所述的那样，通过由合成与来自目标特征量的目标区域关联的特征量而建立在一个目标和一个目标区域之间的对应关系，在该目标区域中的一个目标的判定能够以较之不执行合成的情况更高的可靠性而实现。具体地说，在当交叉的状态中止之时建立一个目标和一个目标区域之间的对应关系时，合成多个目标的特征量，并且可能仍然包括在该交叉目标的分区之后的一个目标区域中的在该目标区域和多个目标的特征量之间的相似程度都通过使用该合成的特征量来计算，因此即使在多个目标仍然包括在该交叉目标的分区之后的一个目标区域中时、或即使在该相交(交叉)之时两个目标分组互换时，也能防止引起一个在目标和一个目标区域之间的一个错误的对应关系。

随后参考图4示出的流程图来说明本实施例的操作。图4是表示由本发明的目标跟踪装置实施的处理实例的流程图。

目标区域提取部分12通过图像输入终端11接收图像信息(步骤S301)。目标区域提取部分12从该接收的图像信息提取一个目标区域(步骤S302)。目标区域提取部分12随后提供包括关于该目标区域图像信息的目标区域信息(目标区域图像信息)。

状态跟踪判定部分13存储由目标区域提取部分12提供的该目标区域信息。根据从目标区域提取部分12提供的当前目标区域信息、存储在状态跟踪判定部分13本身中的过去的目标区域信息和已被确定从对应关系判定部分16提供的过去的对应关系信息，状态跟踪判定部分13通过跟踪该目标而建立一个目标和一个目标区域之间的对应关系；并且利用每一个目标或利用每一个目标区域来判定该目标和该目标区域的跟踪的状态。顺带地提请注意，在注意力集中在一个目标时，该跟踪的状态表示为一个目标的跟踪的状态，而在注意力集中在一个目标区域，该跟踪的状态表示为一个目标区域的跟踪的状态。然而，当该目标和目标区域之间的对应关系已经建立时，这两种表示形式是等效的。

以此方式，状态跟踪判定部分13提供第一区域对应关系信息作为一个输出(步骤S303)。该第一区域对应关系信息是表示目标和目标区域之间的对应关系和跟踪的状态的信息(该信息表示对于该跟踪的状态的一个目标区域和一个目标的对应关系)。已经确定的对应关系信息是表示由对应关系判定部分16判定的一个目标和一个目标区域之间的判定的对应关系的信息。该过程将随后描述，对应关系判定部分16通过该过程判定在该目标和一个目标区域之间的对应关系。

图5是表示第一区域对应关系信息的一个实例的示意图。该第一区域对应关系信息是表示目标和其对于目标区域的跟踪状态的对应关系的信息，如图5A示出的那样，用于描述在目标区域α、β和γ与目标A、B、C和D之间的一种对应关系，如图5C所示，其中假设该目标区域信息包括关于三个目标区域α、β和γ以及四个目标A、B、C和D。该第一区域对应关系信息可以是表示目标区域和其对于分别目标的跟踪状态的对应关系的信息，如图5B所示。

一个目标的跟踪就是建立一个将被跟踪的目标对于一个目标区域的对应关系。这种对应关系的建立能够通过例如从对应于一个过去目标的目标区域中建立一个目标的位置、寻找最接近该目标的建立位置的目标区域以及把该寻找的目标区域与被跟踪的目标关联来实现。在此情况中，一个目标的位置能够被认为是例如一个目标区域的重心。稍后将描述建立该对应关系的方法。

特征量产生部分14根据通过图像输入终端11接收的图像信息和从目标区域提取部分12接收的目标区域信息产生一个目标区域的特征量(步骤5304)，以便把区域特征量信息提供到特征量合成部分15和对应关系建立部分17。区域特征量信息是表示由目标区域提取部分12提取的每个目标区域的特征量(一个区域特征量)。特征量产生部分14随后根据从状态跟踪判定部分13提供的第一区域对应关系信息和在步骤S304中产生的该目标区域的特征量来判定该目标的特征量，以便更新该存储的目标的特征量(步骤S305)。特征量产生部分14随后响应特征量合成部分15的请求而提供一个目标的特征量。

当从状态跟踪判定部分13提供的第一区域对应关系信息指示该目标的跟踪状态是一种单独状态时，特征量产生部分14将进一步更新一个目标的特征量。当跟踪状态不是单独状态(除该单独状态之外的状态)时，由于在图像中的一个目标与另一目标相交时不能确切计算一个目标的特征量，所以特征量产生部分14不实行存储的特征量的更新。例如根据公式(1)更新该特征量。

H_t＝(1-η)H_t-1+ηH_in    …    (0≤η≤1)    (1)

其中H_in表示当前观察的一个目标的特征量(从当前构成一个目标的一组目标区域获得的特征量)。H_t和H_t-1表示存储在特征量产生部分14中的分别在时间t和t-1的一个目标的特征量，H_t表示在更新之后的一个目标的特征量。符号η表示针对一个目标的特征量更新的系数。

根据存储在特征量产生部分14中的目标特征量和从状态跟踪判定部分13提供的第一区域对应关系信息，特征量合成部分15通过计算针对多个目标的全部需要的组合的每一个从目标的特征量合成一个特征量(在下文称为合成的特征量)(步骤S306)。换句话说，特征量合成部分15根据由特征量产生部分14提供的目标特征量和该第一区域对应关系信息判定目标和目标区域的全部可能的组合，并且仅针对该目标和目标区域的判定的组合产生合成的特征量(假定该合成的特征量是包括单个目标的一个目标特征量的概念)。特征量合成部分15提供包含该计算的合成的特征量的合成特征量信息。该合成特征量信息涉及包括该计算的合成的特征量和该目标和采用来计算该合成的特征量的合成的特征量之间的对应关系的信息。而且，特征量产生部分14响应特征量合成部分15的请求选择存储的该目标的特征量，以便把该选择的目标特征量提供到特征量合成部分15。根据该第一区域对应关系信息，特征量合成部分15确定特征量产生部分14请求得目标特征量。

多个目标的全部需要的组合被确定如下：例如假设其中目标A、B和C产生相交的情况(即交叉状态)并且随后分离成两个目标区域α和β(即进行分离的状态)；随后，想象八个可能的目标和目标区域的组合，即(α，β)＝(ABC，Φ)，(Φ，ABC)，(A，BC)，(B，CA)，(C，AB)，(BC，A)，(CA，B)和(AB，C)。特征量合成部分15产生针对A、B、C、AB、BC、CA、和ABC的合成的特征量。在上述描述中，(α，β)＝(AB，C)例如表示目标A和B驻存在目标区域α中而目标C驻存在目标区域β中。符号Φ表示在该对应目标区域中没有目标。合成特征量信息例如包括AB的合成的特征量和表示这样事实的信息，即对应于AB的计算的合成特征量的目标是目标和目标B。

对应关系判定部分16根据由特征量产生部分14提供的区域特征量信息、由特征量合成部分15提供的合成特征量信息和由状态跟踪判定部分13提供的第一区域对应关系信息判定在目标和目标区域之间的对应关系(步骤S307)。对应关系判定部分16随后提供已经确定的对应关系信息。

当该目标的跟踪状态在从状态跟踪判定部分13提供的第一区域对应关系信息中展现一种进行分离的状态时，对应关系判定部分16将根据该区域特征量信息和该合成特征量信息针对该目标判定在目标和目标区域之间的对应关系。另外，针对在该第一区域对应关系信息中被指示为一个非进行分离的状态(除了进行分离状态之外的状态)的目标，对应关系判定部分16将判定目标和目标区域之间的对应关系与表示包括在从状态跟踪判定部分13提供的第一区域对应关系信息中的目标区域的对应关系一致。对应关系判定部分16采用关于该判定的目标和目标区域之间的对应关系的信息作为已经确定的对应关系信息。

状态跟踪判定部分13利用下述的方法判定目标的跟踪状态是单独状态、交叉状态和进行分离状态的哪个状态。状态跟踪判定部分13根据从目标区域提取部分12提供的当前目标区域信息、存储在状态跟踪判定部分13本身中的过去的目标区域信息和由对应关系判定部分16提供的过去判定的对应关系信息来分类全部的目标和目标区域。

如果已经确定得对应关系信息指示在目标A和目标区域α之间建立的对应关系，则状态跟踪判定部分13把目标A和目标区域α注册在类别X中。如果目标B和目标区域β被相关到一个建立的对应关系中，则状态跟踪判定部分13把目标B和目标区域β注册在除类别X以外的类别Y中。另外，如果目标A和目标B对于γ也已经建立了对应关系，则从存在的在属于类别X的目标A和属于类别Y的目标B之间的一个建立的对应关系的示意图中，状态跟踪判定部分13注册目标区域γ，属于类别X的全部成分和属于类别Y的全部成分注册在相同的类别中。例如，能够作出分类来实现把目标区域γ和属于是类别Y的成分的目标B和目标区域β注册到类别X中。结果是，类别Y被删除，并且目标A和B、目标区域α、β和γ属于类别X。能够因此实施分类，使得在一个类别中每个目标和每个目标区域都至少与一个其它目标或其它目标区域以对应关系相关。

接着该目标和目标区域的分类，状态跟踪判定部分13判定此时采用的跟踪状态是单独状态、交叉状态和进行分离的状态的哪个状态。状态跟踪判定部分13判定：如果单个目标成分是在一类别的成分中，则该目标的跟踪状态是单独状态；如果两个或多个目标成分是在一个类别的成分中，并且如果仅一个目标区域成分存在于该类别的成分中，则该两个或多个目标成分的整体跟踪状态是交叉状态；并且如果两个或多个目标成分存在于一个类别的成分中而且进一步有两个或多个目标区域成分存在于该类别的成分中，则该整体的跟踪状态是进行分离的状态。

随后的说明涉及从特征量的合成到目标区域和目标的选择的过程顺序。对应关系判定部分16计算针对全部目标和目标区域的组合的每一个的组合相似性程度并且选择具有最高组合相似性程度的目标和目标区域的组合。该组合的选择实现建立在一个目标和一个目标区域之间的对应关系。在上述描述中，组合相似的程度是从构成该组合的目标和目标区域之间的相似程度获得的该组合的有效性的一个指数。一个高组合相似性程度表示一个有效组合以及构成该组合的目标和目标区域的特征相似。应该注意的是，虽然总体的相似性程度，即针对各个组合的目标区域和合成的特征量的特征量之间的相似程度的取和被用作组合的相似性程度，但是该组合的相似性程度并不局限于该相似程度的取和。

例如，在当目标A、B和C产生相交(即交叉状态)然后变成分离的情况时，能够从针对下列八种目标和目标区域的组合的目标区域和合成的特征量的特征量中计算该组合的相似性程度：(α，β)＝(ABC，Φ)，(Φ，ABC)，(A，BC)，(B，CA)，(C，AB)，(BC，A)，(CA，B)和(AB，C)。对应关系判定部分16判定具有最高计算的组合相似性程度的该目标和目标区域的组合是最佳对应关系的目标和目标区域。

例如，假设这样的一种情况，其中确定不可能以对应关系相关该目标C和目标区域α，而其中可能对应于目标区域α的目标是A和B，而可能对应于目标区域β的目标是A、B和C。在此情况中，对应关系判定部分可以仅针对四种组合计算组合的相似程度，即(α，β)＝(AB，C)，(Φ，ABC)，(A，BC)，(B，CA)，从而对应关系判定部分16能够降低用于相似计算的计算量。

为了计算组合相似程度，对应关系判定部分16计算目标的合成的特征量和目标区域的特征量之间的距离(下文称作特征量之间的距离或特征量间的距离)并且随后计算在特征量之间的组合距离。如果该计算的组合距离小则该组合相似程度高，并且如果该计算的组合距离大则该组合相似程度低。例如，组合距离被计算为在特征量之间的距离的取和，如表达式(2)所示。

$>>>D>k>>=>>\Sigma >i>>>>|>>Hr>i>>->>Hg>ki>>|>>2>>->->->>(>2>)>>>s>$

其中i表示目标区域的数量，k表示目标和目标区域的组合的数量，Hr_i表示第i个目标区域的特征量，而Hg_ki表示在第k个组合中对应于第i个目标区域的目标的合成的特征量。D_k代表针对该第k个组合的组合距离。

在上述的目标而目标区域的八个组合中，(α，β)＝(ABC，Φ)，(Φ，ABC)，(A，BC)，(B，CA)，(C，AB)，(BC，A)，(CA，B)和(AB，C)，i＝1和2，而k＝1至8。对应关系判定部分16从在每一个集中的特征量之间的距离计算针对全部可能组合(在本实例中是八个组合)的每一个计算该组合距离(D_k)，每一个组合都由几个目标(或一个目标)和一个目标区域组成，(例如在组合(α，β)＝(A，BC)中，一个集由α和A组成，另一集由β和BC组成，并且组合距离(D_k)是在α和A之间的距离以及在β和BC之间的距离的取和)；并且确定来自可能组合的该最小组合距离值的组合作为最高相似性的组合。

特征量合成部分15最好根据一个期望的合成比例ε计算该合成的特征量。对应关系判定部分16在根据该合成比例ε计算的合成的特征量的基础上计算组合相似程度，以便选择几个目标(或一个目标)和一个目标区域的最佳组合。该合成比例ε是指用于调整包含在一个目标区域中的每一目标的特征量的比例的系数。例如，由于摄像机拍摄目标的距离的原因，图像中显示的目标的显见幅度在某些情形中不同。在此情况中，通过简单地取和目标的特征量的合成的特征量的计算将致使对应关系判定部分16判定在几个或一个目标和一个目标区域之间的不正确的对应关系的判定，因为该计算的合成的特征量不同于该目标区域的实际特征量。对应关系判定部分16能够通过使得特征量合成部分15根据一个预定合成系数ε来计算一个合成的特征量而防止在几个或一个目标和一个目标区域之间的不正确的对应关系。

当合成例如两个目标A和B的合成的特征量时，特征量合成部分15根据公式(3)产生一个合成的特征量，并且对应关系判定部分16根据公式(4)计算该组合距离。

Hg(ε)＝(1-ε)H_A+εH_B    (0≤ε≤1)    (3)

$>>>D>k>>=>>\Sigma >i>>>min>ϵ>>>>|>>Hr>i>>->>Hg>ki>>>(>ϵ>)>>|>>2>>->->->>(>4>)>>>s>$

特征量合成部分15从0至1地改变合成系数(例如每间隔0.1从0至1)并且根据改变的合成系数ε的全部值计算合成的特征量。对应关系判定部分16相对于ε的变化选择最小化在一个目标区域的特征量和目标的合成的特征量之间的特征量间距离的合成的特征量。在选择的合成的特征量的基础上，对应关系判定部分16进一步根据公式(4)计算用于每一个组合(K)的组合距离，并且把实现该组合距离最小的该目标和该目标区域的组合定义为一个最佳对应关系。

虽然对应关系判定部分16依据一个L2基准计算该特征量间的距离，但是只要支撑相似性程度的计算，则任何其他的计算技术的距离测量都可被用于该特征量间的距离计算。如公式(2)和(4)所示，L2基准涉及差值的平方取和的形式计算的距离的测量。

如上所述，即使在多个目标相交并且随后分离之后仍然存在一组多个目标时，或在该相交目标的组合在目标的相交出现之前与之后立即互换时，本发明的一个目标的跟踪装置也能够通过计算在交叉状态中的目标的合成的特征量、计算在该目标区域的特征量和该合成的特征量之间的相似程度、以及根据该计算的程度相似而判定在目标和目标区域之间的对应关系而继续跟踪一个标的目标。

此外，本发明的用于跟踪一个目标的装置针对全部的目标和目标区域的组合计算在目标区域的特征量并且该合成的特征量之间的相似程度，并且根据该计算的相似程度而选择该目标和目标区域的一个最佳组合，从而在建立一个标的目标和该标的目标存在的区域之间的对应关系时实现选择全部目标的一个最佳对应关系。

随后提供的详细说明涉及状态跟踪判定部分13、特征量产生部分14和对应关系判定部分16的结构。该说明首先涉及状态跟踪判定部分13的结构。图6是说明状态跟踪判定部分13的一个结构实例的框图。在图6示出的实例中，状态跟踪判定部分13包括目标跟踪部分131、状态判定部分132和目标区域信息存储部分133。

目标跟踪部分131是通过使用该目标区域信息、已经确定的并且是从一个目标区域信息存储装置提供的过去的目标区域信息的对应关系信息而跟踪一个或几个目标的一个目标跟踪装置的实施例，以便提供指示在目标和目标区域之间的对应关系的一个第二区域对应关系信息。目标区域信息存储部分133是用于存储目标区域信息和该第一区域对应关系信息的一个目标区域信息储存装置的实施例。状态判定部分132是用于从第二区域对应关系信息、目标区域信息和过去的目标区域信息判定一个目标的跟踪状态的一个状态判定装置的实施例，以便提供该第一区域对应关系信息。

目标跟踪部分131根据由目标区域提取部分12提供的当前目标区域信息、存储在目标区域信息存储部分中的目标区域信息和由对应关系判定部分16提供的已经确定的过去的对应关系信息而跟踪目标并且判定在该目标和该目标区域之间的对应关系。目标跟踪部分131还产生该第二区域对应关系信息，并且把该产生的第二区域对应关系信息提供到状态判定部分132。

该第二区域对应关系信息涉及指示在目标和目标区域之间的对应关系的信息。不同于该第一区域对应关系信息，该第二区域对应关系信息不包括关于跟踪状态的信息。图7是说明第二区域对应关系信息的一个实例的示意图。例如，当认识到该目标区域信息具有关于三个目标区域α、β和γ以及已被确定具有四个目标A、B、C和D的过去的对应关系信息时，该第二区域对应关系信息是如图7A示出的目标和目标区域之间的对应关系的信息，以便指示如图7C所示的在目标区域α、β和γ和目标A、B、C和D之间的对应关系。另外，该第二区域对应关系信息可以是指示例如如图7B所示的目标和目标区域之间的对应关系的信息。

状态判定部分132根据由目标区域提取部分12提供的目标区域信息和由目标跟踪部分131提供的第二区域对应关系信息执行该跟踪目标状态的判定，并且提供根据第二区域对应关系信息的第一区域对应关系信息和该判定结果。

目标区域信息存储部分133存储由目标区域提取部分12提供的目标区域信息。存储在目标区域信息存储部分133中的该目标区域信息用作过去的目标区域信息，用于在下一代循环中的该第二区域对应关系信息的产生。

图8是说明特征量产生部分14的一个结构实例的框图。在图8示出的实例中，特征量产生部分14包括特征量提取部分141、特征量更新部分142和特征量存储部分143。

特征量提取部分141是特征量提取装置的一个实施例，用于从图像信息、目标区域信息和第一区域对应关系信息提取一个区域特征量，以便提供包括该区域特征量的信息的该区域特征量信息。特征量存储部分143是一个特征量存储装置的实施例，用于按照要求选择该存储的目标特征量并且提供该选择的目标特征量。特征量更新部分142是一个特征量更新装置的实施例，用于根据该区域特征量、该第一区域对应关系信息和在当前之前产生的一个目标特征量而更新存储在该特征量存储装置中的目标特征量。

特征量提取部分141根据通过图像输入终端11接收的图像信息和由目标区域提取部分12提供的该目标区域信息而计算每一个目标区域的特征量，并且提供包括该计算的目标区域的特征量的区域特征量信息作为一个输出。提供作为一个输出的区域特征量信息由特征量更新部分142和对应关系判定部分16接收。

针对在该第一区域对应关系信息中指示其跟踪状态是单独状态的一个目标，特征量更新部分142根据从特征量提取部分141提供的区域特征量信息更新存储在特征量存储部分143中的该目标的特征量。针对在该第一区域对应关系信息中指示为其跟踪状态处于除了该单独状态之外的状态中的目标，特征量更新部分142不实施存储在特征量存储部分143中特征量的更新。由特征量存储部分143存储的该目标的特征量由特征量合成部分15使用来产生该合成的特征量：响应特征量合成部分15的请求选择一个目标的存储的特征量，并且把该目标的选择的特征量提供到特征量合成部分15。

图9是说明对应关系判定部分16的一个结构实例的框图。在图9所示的实例中，对应关系判定部分16包括对应关系计算部分161和对应关系建立部分162。

对应关系计算部分161是一个对应关系计算装置的实施例，用于产生表示在一个目标和一个目标区域之间的最佳对应关系的最佳对应关系信息。对应关系建立部分162是一个对应关系判定装置的实施例，提供已经确定的对应关系信息，其中该已经确定的对应关系信息是包括判定的在一个目标和一个目标区域之间的对应关系的信息。

根据由特征量产生部分14提供的区域特征量信息、由特征量合成部分15提供的合成特征量信息以及由状态跟踪判定部分提供的第一区域对应关系信息，对应关系计算部分161计算在该目标区域的特征量和合成的特征量之间的相似程度，并且进一步计算针对将被放置于对应关系中的目标和目标区域的组合的全部可能组合的组合的相似程度。对应关系计算部分161进一步实施一种选择，以便选择具有最高组合相似程度的目标和目标区域的组合的最佳对应关系，以便产生该最佳对应关系信息并且提供该最佳对应关系信息作为一个输出。在上述的描述中，该最佳对应关系信息是指指示目标和目标区域之间的最佳对应关系的信息(目标和目标区域的组合具有最高的组合相似程度)。

如果由状态跟踪判定部分13提供的该第一区域对应关系信息指示该目标的跟踪状态是进行分离的状态，则对应关系建立部分162决定将有关包括在由对应关系计算部分161提供的该最佳对应关系信息中的目标和目标区域之间的对应关系的信息指定作为关于该目标和目标区域之间的对应关系的信息。针对被指示为除进行分离状态以外的状态的目标的那些目标，对应关系建立部分162建立关于包括在由状态跟踪判定部分13提供的该第一区域对应关系信息中的感兴趣的目标和目标区域之间的对应关系的信息作为关于在感兴趣的的目标和目标区域之间的对应关系的信息。

对应关系建立部分162进一步比较关于包括在该第一区域对应关系信息中的目标的信息和关于建立的在目标和目标区域之间的对应关系的信息，并且当出现不对应任何包括在该第一区域对应关系信息中目标的一个目标区域时(将称为一个不在对应目标区域(not-in-correspondence))，则产生一个新的目标，建立该新的目标与该不在对应目标区域的对应关系，并且把关于该建立的在目标和目标区域之间的对应关系的信息提供作为已被确定的该对应关系信息。

假设例如其中两个目标A和B存在于单一目标区域α中的一个完全重叠的结构的情况，使得一个目标跟踪装置仅识别在目标区域α中的一个目标A。在此情形中，当目标A和B的状态产生到进行分离的状态的转换时，一个新的目标区域β将从作为不在对应目标区域的α分离。然而，目标跟踪装置尚未识别目标B的存在，并且结果是，出现了不对任何目标有对应关系的一个目标区域β。为此原因，对应关系建立部分162建立新目标B，并且以对应关系把目标B与目标区域β相关。

应该指出，图2、3、6、8和9中示出设计可利用软件实行。具体地说，本实施例的目标跟踪装置能够利用使得计算机实施下列处理过程的一个目标跟踪程序实现：接收图像信息的图像输入处理；目标区域提取处理，从该输入的图像信息中提取目标区域，以便提供包含关于该目标区域的图像信息的目标区域信息；状态跟踪判定处理，用于从该目标区域信息和已经确定的指示在该目标区域和当前之前的目标之间的对应关系的对应关系信息而判定针对每一个目标或针对每一个目标区域的跟踪的状态，并且提供指示在该目标区域和目标之间的对应关系以及跟踪的状态的第一区域对应关系信息；特征量产生处理，用于根据该图像信息、该目标区域信息和由该跟踪状态判定装置提供的该判定的结果而产生表示目标区域的特征量的区域特征量和表示目标的特征量的目标特征量；特征量合成处理，用于通过根据该目标特征量和该第一区域对应关系信息而合成针对多个目标的全部需要的组合的特征量来产生每一个合成的特征量，并且提供该合成特征量信息，该合成特征量信息是包括该合成的特征量和在目标和被采用来产生该合成的特征量的合成的特征量之间的对应关系的信息；以及对应关系建立处理，用于根据该目标区域信息、第一区域对应关系信息、区域特征量信息和该合成特征量信息而建立在目标和目标区域之间的对应关系，并且提供已经确定的当前的对应关系信息。

(改进的实施例1)

状态跟踪判定部分13可以根据下面描述的判定方法来判定一个目标的跟踪状态。例如，在由于目标的叠加(交叉状态)而仅有一个目标被首先进入与一个目标区域对应的情况中，判定该跟踪状态是一个单独状态。当该目标区域从上述状态分离成多个目标区域时，仅存在一个目标。结果是，不可能判定已经实现从交叉状态到进行分离的状态的转换的跟踪状态，但有可能判定保持一个单独状态的跟踪状态。为了应对在单独状态中的一个目标进行分离成多个目标的情形，即使在该类别中仅存在单一的目标成分，该状态跟踪判定部分13可以在一个类别中包括有两个或更多的目标区域成分的情况下，决定跟踪状态应该是分离状态。

上述实施例示出提取目标区域的一个方法实例，其中目标区域提取部分12计算在通过图像输入终端11提供的图像信息和已被事先获得的背景图象信息之间的象素值中的差值。某些情况下，在计算像素值的差值在，由于该目标具有类似于背景图像的目标的原因(例如目标和背景图像的彩色相似)，目标区域提取部分12不能正确地提取该目标区域。如果该目标区域未被正确地提取，则状态跟踪判定部分13的状态判定部分132可能错误地判定该跟踪状态已经实现到进行分离状态的过渡。为了在此情况中实现该目标区域的正确的提取，状态判定部分132最好通过使用在目标区域之间的一个空间距离来应对该问题。

具体地说，针对位于靠近到一个物体间区间距离的预定门限值之内的目标区域，在分类目标和目标区域时，状态判定部分132按照对应关系把与每一个目标区域相关的目标区域和目标分类成同一个类别。例如假设存在目标A和B和目标区域α和β的情况，目标区域α对应于目标A而目标区域β对应于目标B。根据上述实施例说明的方法，状态判定部分132定义两个类别：目标区域α和目标A所属的类别和目标区域β和目标B所属的类别。与上述实施例相比，如果在目标区域α和目标区域β之间的距离不大于一个预定门限值，则状态判定部分132能够把目标区域α、β和目标A、B一起分组在单个类别中。倘若该目标间的区间距离不大于一个预定门限值，则分组成单一类别将使得即使在一个目标区域分离成在包括两个或更多个目标的类别中的两个或更多的目标区域时，该状态判定部分132也判定在该交叉状态中的跟踪状态保持不变。在目标间的区间距离超越该预定门限值之时，状态判定部分132判定该跟踪的状态已经输入进行分离的状态。

(改进的实施例2)

而且，需要状态判定部分132能够根据目标区域的在进行分离的持续时间的一个周期应对其中一个目标区域的一部分随机分离的情况。在进行分离的持续时间周期是指这样的一个持续时间周期，在其期间目标区域是在启动一个进行分离的状态，其中该启动目标区域的一个进行分离的状态被定义为这样一个状态，即在先前属于是单一目标区域的一个目标区域分离成几个目标区域，该被分离的目标区域保持着目标间的区间距离或超过一个规定阈值(可以是0)的距离。在此情况中，状态判定部分132以短于一个预定门限值的间隔的连续周期的处理来分组该目标区域，并且把对应于该目标区域的目标也分组为同一个类别，以便保留从前的跟踪状态。当用于在进行分离的持续时间周期超出该门限时，状态判定部分132判定该跟踪状态是进行分离的状态。

用于在进行分离的持续时间周期被更新和存储如下：用于在进行分离的持续时间周期被存储在目标区域信息存储部分133中；目标跟踪部分131获取存储在目标区域信息存储部分133中的分离的连续周期，把用于在进行分离的持续时间周期与每个目标区域相关并且计算用于在进行分离of一个新的持续时间周期；而且目标跟踪部分131更新存储在目标区域信息存储部分133中的分离的连续周期。

目标跟踪部分131实现用于在进行分离的该持续时间周期和一个目标区域的相关如下：根据包括在从目标区域提取部分12提供的目标区域信息中的当前目标区域、从对应关系判定部分16提供的已被确定的过去的对应关系信息，目标跟踪部分131进行当前目标区域和过去得目标区域之间的相关；并且，目标跟踪部分131把与存储在目标区域信息存储部分133中的过去的目标区域相关的用于在进行分离的持续时间周期与对应于该过去的感兴趣的的目标区域的该当前目标区域相关。如果相关了多个分离的连续周期，则目标跟踪部分131把多个分离的连续周期的最长的一个与该目标区域相关。此外，目标跟踪部分131能够把多个分离的连续周期的最短的一个与当前目标区域相关。另外，目标跟踪部分131计算多个分离的连续周期的一个平均值，并且把该计算的平均周期与该当前的目标区域相关。

状态判定部分132从目标区域信息存储部分133获取分离的连续周期。而且，状态判定部分132判定一个目标区域的跟踪状态。而且，根据判定结果，状态判定部分132更新存储在目标区域信息存储部分133中的分离的连续周期。更具体地说，当已经判定该跟踪的状态是一个启动的进行分离状态时，状态判定部分132则根据针对感兴趣的在进行分离和当前时间来更新存储在目标区域信息存储部分133中的分离的连续周期。如果目标区域的跟踪的状态不是该启动的进行分离的状态，则状态判定部分132复位用于在进行分离的持续时间周期。另外，表示进行分离的启动时间的进行分离启动时间也可被存储来代替用于在进行分离的持续时间周期的存储。在此情况中，能够通过寻找该当前时间和分离启动时间之间的差值来获得用于在进行分离的持续时间周期。

目标跟踪部分131能够产生该第二区域对应关系信息，包括用于在进行分离的该持续时间周期而不是在目标区域信息存储部分133中存储用于在进行分离的持续期周期。在此情况中，状态判定部分132从该第二区域对应关系信息中获取用于在进行分离的持续时间周期。用于在进行分离的持续期周期无需插入目标区域信息存储部分133地从目标跟踪部分131到状态判定部分132的直接传递提供一个优点，即实现目标区域信息存储部分133的处理量的降低。

此外，该第一实施例和该改进的实施例1和2可被组合使用。具体地说，根据目标和目标区域之间的该对应关系、目标区域和目标区域的进行分离的持续期时段之间的距离的组合，把具有一共同区域对应的目标区域的目标集合在一起，而且把该目标和对应的目标区域分组到一个类别中也是可实行的。而且，如果满足下列条件或下列条件的组合任意之一，把包括在一个类别中的目标和目标区域的跟踪状态判定为进行分离的状态也是实用的：该分类的类别符合针对进行分离的状态的条件而且在每一个类别中包括两个或多个目标；包括在每个类别中的目标区域之间的距离超过一个预定门限值；该目标区域在进行分离的状态过程中的持续时间超过一个预定门限值。

(改进的实施例3)

该目标跟踪装置能够通过下列过程来合成目标的特征量以便建立在目标和目标区域之间的对应关系：特征量合成部分15不仅获得目标的特征量而且从特征量产生部分14获得区域特征量信息。特征量合成部分15根据一个期望的合成比例ε而在该区域特征量信息和由特征量产生部分14提供的该目标的特征量的的基础上计算合成的特征量。特征量合成部分15进一步提供对应于该合成比例ε的合成的特征量，该合成比例ε得出包括在该区域特征量信息中的在计算的合成的特征量和该目标区域的特征量之间的最高相似程度。根据由特征量合成部分15提供的该合成的特征量，对应关系判定部分16计算在目标区域的特征量和针对目标和目标区域的每一个组合的该合成的特征量之间的相似程度，而且计算组合的相似程度。

由于特征量合成部分15提供对应于产生在目标和一个目标区域之间的最高相似程度的合成比例ε的该合成的特征量，所以对应关系判定部分16只根据一个合成的特征量就足以计算针对该目标和目标区域之间的每一个组合的合成的特征量。结果是能够删去对应关系判定部分16多余的计算处理。

(改进的实施例4)

该目标跟踪装置能够通过下列方法由合成的特征量建立目标和目标区域之间的对应关系：特征量合成部分15不仅获得目标的特征量而且获得该区域特征量信息，而且计算根据公式(5)至(7)最小化该距离的合成比例ε的值，其中公式(5)是用于根据该区域对应关系信息和由特征量产生部分14提供的目标特征量计算在一个目标区域的特征量和对应的目标的合成的特征量之间的距离f(ε)的一个公式；特征量合成部分15计算合成比例ε的值，该合成比例ε清零(nulls)由部分差分距离f(ε)相对于在数学表达式(6)和(7)中所示的合成比例ε产生的作用，即特征量合成部分15计算最小化距离f(ε)的合成比例ε的值；特征量合成部分15通过使用该计算的合成比例ε而根据公式(3)产生一个合成的特征量，并且对应关系判定部分16根据该产生的合成的特征量计算该相似程度。注意，公式(5)至(7)是使用针对目标A和B的该合成的特征量的一个实例表示的。

$>>f>>(>ϵ>)>>=>>>|>>Hr>i>>->>Hg>ki>>>(>ϵ>)>>|>>2>>=>>>|>>>(>H>>A>>->>H>B>>)>ϵ>+>>Hr>i>>->>H>A>>|>>2>>=>>\Sigma >n>>>>\{>>(>>a>n>>->>b>n>>)>>ϵ>+>>x>n>>->>a>n>>\}>>2>>->->->>(>5>)>>>s>$

$>>>>\partial >f>>>\partial >ϵ>>>=>2>>\Sigma >n>>\{>>(>>a>n>>->>b>n>>)>>ϵ>+>>x>n>>->>a>n>>\}>>(>>a>n>>->>b>n>>)>>->->->>(>6>)>>>s>$

$>>ϵ>=>>>>\Sigma >n>>>(>>a>n>>->>x>n>>)>>>>>\Sigma >n>>>>>(>>a>n>>->>b>n>>)>>>>>->->->>(>7>)>>>s>$

其中Hg_ki表示目标A的特征量H_A和目标B的特征量H_B的合成的特征量，Hr_i表示目标区域的特征量。如果该特征量例如是一个彩色直方图并且如果该彩色直方图的等级(BIN)的数量是n，则特征量H_A、H_B、Hr_i和Hg_ki分别是n维矢量，并且被表示为H_A＝(a₁，a₂，…，a_n)，H_B＝(b₁，b₂，…，b_n)，Hr_i＝(x₁，x₂，…，x_n)，以及Hg_ki＝(x_k1，x_k2，…，x_kn)。

如果根据公式(7)计算的合成比例ε小于0或大于1，则根据公式(7)计算的更靠近合成比例ε的值的0或1被选择作为合成比例ε的值。特征量合成部分15通过使用计算的合成比例ε来计算该合成的特征量。根据该计算的合成比例ε，对应关系判定部分16计算由公式(2)表示的每个组合的距离，并且确定最小化组合距离的目标和目标区域的组合作为一个最佳对应关系。

根据公式(5)、(6)和(7)，特征量合成部分15能够唯一地使用一个具体的合成系数ε而产生一个合成的特征量。因此，与其中针对合成系数ε的各种值而产生合成的特征量的情况相比，有可能降低用于计算相似程度的计算量。应该指出的是，该特征量合成部分15能够通过类似于上述的方法在三个或更多目标重叠的情况中来产生一个合成的特征量。另外，虽然在上述实施例中特征量合成部分15使用L2标准作为特征量之间的一个距离的度量，但是也能够使用其它的距离度量。

而且，该目标跟踪装置可以是能够通过下列方法合成特征量和选择目标区域和目标的装置：特征量合成部分15使用目标区域的比例作为合成比例ε而产生合成的特征量；并且对应关系判定部分16根据该产生的合成的特征量计算该相似程度。此方法是根据这样的事实，即在目标交叉时的合成比例接近等于该目标的区域的比例。使用目标的区域比例作为一个合成比例，使特征量合成部分15能够削减用于计算该合成比例的操作。该合成的特征量是根据公式(8)计算的。

$>>Hg>=>>>S>A>>>>S>A>>+>>S>B>>>>>H>A>>+>>>S>B>>>>S>A>>+>>S>B>>>>>H>B>>->->->>(>8>)>>>s>$

其中H_A和H_B分别表示目标A和B的特征量；S_A和S_B分别表示关于目标A和B的图像信息上的区域；Hg代表该合成的特征量。通过使用产生的合成的特征量Hg，对应关系判定部分16计算公式(2)中表示的距离的取和，并且把最小化该距离的取和的该目标和目标区域的组合确定作为一个最佳对应关系。

例如，特征量产生部分14采用包括在一个目标区域的一个图像中的像素的数量作为该目标的一个区域来产生包括一个目标区域的一个特征量以及包括其它目标区域的特征量。在特征量产生部分14中的特征量存储部分143存储该该区域包括的特征量，并且当该第一区域对应关系信息中包括的一个目标的跟踪状态指示非交叉状态时(除该交叉状态之外的状态)，更新该区域包括的特征量。

而且，该目标跟踪装置能够根据下面描述的方法合成特征量并且建立目标和目标区域之间的对应关系：假设每一个重叠目标的区域潜在地在从S1到S2的范围中变化，并且特征量合成部分15根据公式(9)产生在该变化范围中的合成的特征量。公式(9)被用于计算目标A的特征量和目标B的特征量的合成的特征量。根据在该产生的合成的特征量中包括的并具有相对于该目标区域的特征量的最高相似程度的该合成的特征量，对应关系判定部分16计算在该目标和该目标区域之间的相似程度，并且根据公式(10)计算该组合相似程度。

$>>Hg>>(>\Delta s>)>>=>>>>S>A>>+>\Delta s>>>>S>A>>+>>S>B>>>>>H>A>>+>>>>S>B>>->\Delta s>>>>S>A>>+>>S>B>>>>>H>B>>>(>->>s>1>>\le >\Delta s>\le >>s>2>>)>>->->->>(>9>)>>>s>$

$>>D>=>>\Sigma >i>>>min>\Delta s>>>>(>>Hr>i>>->>Hg>i>>>(>\Delta s>)>>)>>2>>->->->>(>10>)>>>s>$

其中ΔS表示来自恰在彼此重叠的目标A和B之前的区域的目标A的区域的一个差值。允许目标区域的变化的合成的特征量的计算使特征量合成部分15即使在感兴趣的目标区域或多或少改变的条件下也能够避免选择与实际完全不同的合成比例，从而使得能够根据正确的合成比例来产生该合成的特征量。结果是，对应关系判定部分16能够判定在目标和目标区域之间的最佳对应关系。

(改进的实施例5)

同样可行的是，特征量合成部分15不仅获取目标的特征量而且从特征量产生部分14获取区域特征量信息，并且根据该区域特征量信息和由特征量产生部分14提供的目标的特征量而产生在一个区域变化范围中的合成的特征量；提供作为对于一个目标区域的特征量的最高相似程度的合成的特征量的一个输出；并且，根据该合成的特征量，对应关系判定部分16寻找针对目标和一个目标区域的每一个组合的组合相似程度。换句话说，能够把合成比例ε限制在根据该目标的区域变化的范围预定的一个范围之内。以此方式，特征量合成部分15仅需要提供针对该目标每一组合的单个合成的特征量，从而与针对合成比例ε的各种值产生合成的特征量的情况比较，能够删去冗余处理。

(改进的实施例6)

另外，特征量合成部分15能够通过使用目标的模板作为特征量来获得该合成的特征量。该模板涉及通过从一个画面提取对应于感兴趣的实物体的图像的一部分所产生的一个局部图像，并且对应于表示形状和色彩的图像。一个模板是通过根据该目标和目标区域之间的对应关系而提取在对应于一个实物体的画面中的区域产生的。另外，已经事先模式化的例如一个基准面部图像的一个图像能够被采用作为一个模板。

例如，假设其中在单个目标区域中驻留两个目标的情况。则特征量合成部分15跨越该目标区域运行模板，并且计算在该目标区域中的每一个位置的模板和该目标区域之间的相似程度。特征量合成部分15寻找该相似程度达到最大值的位置。特征量合成部分15根据公式(11)和(12)计算该相似程度。

$>>>d>i>>>(>a>,>b>)>>=>>\Sigma >>>(>x>+>a>,>y>+>b>)>>>>\in >m>>i>>>>>>|>>M>i>>>(>x>+>a>,>y>+>b>)>>->R>>(>x>,>y>)>>|>>2>>->->->>(>11>)>>>s>$

$>>>d>i>>=>>min>>a>,>b>>>>d>i>>>(>a>,>b>)>>->->->>(>12>)>>>s>$

其中M_i(x，y)表示在坐标(x，y)的该第i模板的一个像素的值，而R(x，y)表示在坐标(x，y)的该目标区域的一个像素的值。符号m_i表示该第i模板的整个坐标域。特征量合成部分15按照示出的公式(11)计算在该模板和该目标区域之间的该象素值的差值的平方和，作为在其特征量之间的距离。当在其特征量之间的距离是最小值时，按照公式(12)表示的那样，判定该模板和该目标区域之间的相似程度是最高值。特征量合成部分15采用其中该模板和目标区域之间的相似程度是最高值的位置(a，b)作为该目标的位置。

特征量合成部分15随后根据在模板和目标区域之间的相似程度判定该重叠目标(交叉状态中的目标)的前-后方向中的关系(前/后关系)。特征量合成部分15判定对于该目标区域的较高相似程度的模板覆盖对于该目标区域的较低相似程度的模板。特征量合成部分15随后通过合成该模板而产生对应于一个合成的特征量的合成模板。如上所述，特征量合成部分15能够根据该图像模板的特征量和目标区域判定分别目标的前/后关系，并且通过根据该目标的判定的前/后关系合成该图像模板而计算一个合成的特征量。

另外，特征量合成部分15能够选择具有对于感兴趣的目标区域的各个最高相似程度的最高值的模板，并且判定该选择的模板覆盖该未选择的模板。可以期望在此情况中从感兴趣的目标区域中排除其中该目标区域和该选定的模板(在该情况的模板相似程度达到最高值)重叠的区域，在保持目标区域和未选择的模板的基础上，针对在模板和目标区域之间的相似程度的计算、模板的最高相似程度的选择、属于是最高相似程度的模板的位置的计算以及覆盖模板的判定而重复地执行操作。

图10是说明使用模板产生合成的特征量的构思的示意图。如图10A所示，特征量合成部分15操作模板A和B来扫描目标区域α。特征量合成部分15能够判定该模板B以一个覆盖结构覆盖模板A，因为模板B和目标区域α之间的最高相似程度高于模板A和目标区域目标区域α之间的最高相似程度。如图10B所示，特征量合成部分15在分别位置合成模板A和模板B，其中每一个模板都构成对于目标区域α的最高相似程度，从而产生合成模板X。当产生合成模板X时，特征量合成部分15使用模板B的特征量的值针对模板B覆盖模板A的部分执行该合成操作。用于补充说明，坐标(a₁.b₁)代表模板A和目标区域之间的相似程度最高的位置，坐标(a₂.b₂)代表模板B和目标区域之间的相似程度最高的位置。

根据公式(2)，对应关系判定部分16计算基于合成模板的彩色直方图的该目标区域和该合成的特征量的特征量之间的相似程度，并且能够计算该组合的相似程度。另外，与公式(12)相似，对应关系判定部分16能够通过调整(collating)该目标区域和该合成模板来计算在该目标区域的特征量和该合成的特征量之间的相似程度，从而计算该组合相似程度。使用模板使得即使一个目标被局部地隐藏在另一目标之后时也能够正确计算一个目标和一个目标区域之间的对应关系。

(改进的实施例7)

在每一个上述方法中，当建立目标和目标区域之间的对应关系时，时常出现的情况是，即使在低的组合相似程度时也必由对应关系判定部分16进行目标和目标区域之间的该对应关系的建立，导致在该目标和该目标区域之间的一个不正确的对应关系。考虑到这一问题，如果针对一个最佳组合的该组合相似程度(即针对该最高组合相似程度的组合的组合相似程度)是低值，则对应关系判定部分16可以计划不建立目标和目标区域之间的对应关系。在此情况中，如果针对目标和目标区域的该最佳组合的该组合相似程度等于或小于一个预定门限值，则对应关系计算部分161判定不存在对应于构成该组合的目标的最佳目标区域。对应关系计算部分161随后提供该最佳对应关系信息，包括有指示在该目标和该目标区域之间不存在最佳对应关系的信息。当最佳对应关系信息包括有指示不存在对应于该目标的最佳目标区域的信息时，对应关系建立部分162将针对感兴趣的目标判定把指示包括以第一区域对应关系信息中的目标和目标区域之间的对应关系的信息原样地指定为该目标和该目标区域之间的对应关系，并且提供该信息作为已经确定的对应关系信息。如果情况不是这样，则指示包括在该最佳对应关系信息中的目标和目标区域之间的对应关系的信息被提供作为已被确定的对应关系信息。例如假设其中对应关系计算部分161采用(α，β)＝(A，BC)作为一个最佳组合的情况。随后，对应关系计算部分161从由α和A组成的集的相似程度以及由β和BC组成的集的相似程度中计算该组合相似程度，并且判定该组合相似程度是否不大于一个预定门限值。如果该组合相似程度等于或小于该门限值，则对应关系建立部分162判定把指定包括在该第一区域对应关系信息中的关于在目标A、目标B和目标C以及目标区域α和β之间的对应关系的信息原样地作为在目标A、目标B和目标C以及目标区域之间的对应关系。

(改进的实施例8)

在每一个上述方法中，当建立目标和目标区域之间的对应关系时，时常出现的情况是，即使在低的组合相似程度时也必由对应关系判定部分16进行目标和目标区域之间的该对应关系的建立，导致在该目标和该目标区域之间的一个不正确的对应关系的建立。考虑到这一问题，如果针对一个最佳组合的该组合相似程度(即针对该最高组合相似程度的组合的组合相似程度)是低值，则对应关系判定部分16可以计划不建立目标和目标区域之间的任何对应关系。在此情况中，如果针对目标和目标区域的最佳组合的该集的相似程度(由几个目标或一个目标以及一个目标区域组成的一个集的相似程度)等于或小于一个预定门限值，则对应关系计算部分161判定不存在对应于该目标的最佳目标区域。对应关系计算部分161随后提供该最佳对应关系信息，包括有指示在该目标和该目标区域之间不存在最佳对应关系的信息。当最佳对应关系信息包括有指示不存在对应于该目标的最佳目标区域的信息时，对应关系建立部分162将针对感兴趣的目标判定把指示包括以第一区域对应关系信息中的目标和目标区域之间的对应关系的信息原样地指定为该目标和该目标区域之间的对应关系，并且提供该信息作为已经确定的对应关系信息。如果情况不是这样，则对应关系建立部分把指示包括在该最佳对应关系信息中的目标和目标区域之间的对应关系的信息提供作为已被确定的对应关系信息。例如假设其中对应关系计算部分161采用(α，β)＝(A，BC)作为一个最佳组合的情况。然后，对应关系计算部分161判定由α和A组成的集的相似程度以及由β和BC组成的集的相似程度是否分别不高于一个预定门限值。如果在α和A之间的相似程度等于或低于该预定门限值，则对应关系建立部分162判定把指示包括在该第一区域对应关系信息中的目标A和感兴趣的的目标区域之间的对应关系的信息原样地指定为目标A和该目标区域之间的对应关系。

(改进的实施例9)

能够尝试让对应关系计算部分161仅针对可明确鉴别的目标建立与一个目标区域的对应关系。在此情况中，对应关系计算部分161以组合相似程度的高度次序排列目标和目标区域的全部组合。如果排列在上部排序中的组合的组合相似程度之间差值小(例如等于或小于一个预定门限值)并且此外如果共同目标和目标区域(或一个目标和一个目标区域)存在于上部排序组合中，则对应关系计算部分161只把该共同目标和目标区域的组合认为是一个最佳对应关系。对应关系计算部分161提供包括只关于该共同目标和目标区域的组合的信息的最佳对应关系信息。这意味着，该最佳对应关系信息包括指示没有在其它目标和目标区域中的一个最佳对应关系的任何组合的信息。

例如假设在目标A、B和C以及目标区域α、β、γ之间的对应关系中，排列在该组合相似程度的排序中的上面三个是(α，β，γ)＝(A，B，C)，(AB，Φ，C)和(B，A，C)。在本实例中，对应关系计算部分161专门把目标C和目标区域γ的组合假设为一个最佳组合，并且提供包括只指示目标C和目标区域γ的组合作为一个最佳组合的信息的最佳对应关系信息。另外，此方法能够与改进的实施例7结合：在其中对于该目标和目标区域的最佳组合来说该目标和一个目标区域的集的相似程度的每一个都相等或低于一个预定门限值的情况中，如果该较高排序的组合的组合相似程度之间的差异是小值(例如等于或小于一个预定门限值)并且此外不存在对于该较高排序组合而言是共同的目标和目标区域，则对应关系计算部分161能够把指示缺乏在其它目标和目标区域中的一个最佳对应关系的任何组合的信息包括到该最佳对应关系信息中。

对于该最佳对应关系信息指示为没有最佳的那些目标来说，对应关系建立部分162则判定把包括在该第一区域对应关系信息中的该目标和目标区域之间的对应关系指定作为在目标和目标区域之间的对应关系。

如上所述，针对全部可能组合的具有范围从最高组合相似程度到在一个预定门限值之内的组合相似程度的那些组合，对应关系计算部分161从排列在较高组合相似程度中的那些组合中选择具有在一个规定阈值之内的组合相似程度的那些组合，把共同存在于该选择组合中的目标和目标区域之间的对应关系包括到该最佳对应关系信息中作为最佳的对应关系，并且针对未被包括在所说的共同存在的目标和目标区域之间的对应关系中的目标和目标区域，对应关系计算部分161把指示缺少在目标和一个目标区域之间的一个最佳对应关系的信息包括到该最佳对应关系信息中。针对在该最佳对应关系信息中未被指示为没有对于目标区域的最佳对应关系的那些目标，对应关系建立部分162能够计划提供包括在该最佳对应关系信息中的指示目标和目标区域之间的对应关系的信息作为已经确定的对应关系信息；并且针对在该最佳对应关系信息中被指示为没有对于目标区域的最佳对应关系的那些目标，对应关系建立部分162提供包括在该第一区域对应关系信息中的指示该目标和目标区域之间的对应关系的信息作为该已被确定的对应关系信息。

(改进的实施例10)

而且，在上述分别的方法中，特征量产生部分14能够根据该跟踪状态修改包括在将被提供到对应关系判定部分16的区域特征量信息中的信息。例如在此情况中，对于在其跟踪状态中由从状态跟踪判定部分13提供的该第一区域对应关系信息指示为进行分离的状态的目标区域，该感兴趣的目标区域的特征量被包括在该区域特征量信息中。另外，对于在跟踪状态中被指示为不是该进行分离的状态中的目标区域，该区域特征量信息虽然能够包括但无需包括该感兴趣的目标区域的特征量，因为对应关系判定部分16不需要该目标区域的特征量。再一选择是，这区域特征量信息能够包括指示不需要建立对应关系的信息来代替不包括特征量。对应关系判定部分16从该对应的建立中排除在该区域特征量信息中被指示为不需要建立对于目标的对应关系的目标区域，从而降低对应关系判定部分16的计算量。

(改进的实施例11)

只要在由状态跟踪判定部分13提供的第一区域对应关系信息中该目标的跟踪状态被指示为进行分离的状态，则特征量合成部分15不用于获得存储在特征量存储部分143中的全部目标的特征量而是用于获取存储在特征量存储部分143中的一些目标的特征量，因此将使能够省略为产生该合成的特征量所不需要的目标特征量的获取的多余的处理，并且加速该特征量合成部分产生该合成的特征量的处理。

(改进的实施例12)

在上述方法中，该第一区域对应关系信息与已经针对除了进行分离的状态之外的跟踪状态中的目标所确定的对应关系信息完全相同。

因此，从对应关系判定部分16反馈到状态跟踪判定部分13的包括在已经确定的对应关系信息对应关系信息中的信息内容能被限制到在进行分离的状态中的目标的对应关系。在此情况中，对于其它目标来说，状态跟踪判定部分取代该已经确定的对应关系信息而使用由状态跟踪判定部分13本身过去获得的对应关系(包括在第一区域对应关系信息中)。此方案同样实现等效于使用上述方法的目标跟踪装置的装置。

(改进的实施例13)

在每一个上述方法，虽然特征量更新部分142根据该第一区域对应关系信息更新目标的特征量，但是特征量更新部分142能够根据取代该第一区域对应关系信息的已被确定的对应关系信息更新目标的特征量。在此情况中，特征量提取部分141把在该第一区域对应关系信息中指示为单独状态或进行分离状态的跟踪状态中的目标区域的特征量包括到将被提供到特征量更新部分142的区域特征量信息中。特征量更新部分142在对应关系判定部分16确定在目标和目标区域之间的对应关系之后而根据由对应关系判定部分16提供的已经确定的对应关系信息来判定目标的跟踪状态。随后，特征量更新部分142根据由特征量提取部分141提供的关于目标区域的特征量信息而专门针对在该跟踪状态中是单独状态的目标更新存储在特征量存储部分143中的该目标的特征量。此方案同样实现等效于使用任何上述方法的目标跟踪装置的装置。

(改进的实施例14)

对应关系判定部分16能够判定目标的跟踪状态而不是特征量更新部分142根据已经确定的对应关系信息判定目标的跟踪状态，其中对应关系判定部分16提供已经确定的包括关于该判定的目标跟踪状态的对应关系信息，从而使得特征量更新部分142省略判定该目标的跟踪状态的处理。此方案同样能够实现等效于使用上述方法的任何目标跟踪装置的装置。

(改进的实施例15)

特征量更新部分142能够不只根据第一区域对应关系信息而是根据第一区域对应关系信息和已被确定的对应关系信息来更新存储在特征量存储部分143中的目标的特征量。在此情况中，特征量提取部分141把在该第一区域对应关系信息中被指示为具有单独状态或进行分离状态的跟踪状态的目标区域的特征量包括到将被提供到特征量更新部分142的区域特征量信息中。特征量更新部分142只就在其跟踪状态中被指示为具有单独状态的目标而根据从特征量提取部分141提供的区域特征量信息和从状态跟踪判定部分13提供的第一区域对应关系信息来更新存储在特征量存储部分143中的目标的特征量。在对应关系判定部分16判定在目标和目标区域之间的对应关系之后，特征量更新部分142根据从对应关系判定部分16提供的已被确定的对应关系信息判定该目标的跟踪状态，并且只就已经实现从进行分离的状态到单独状态的过渡的跟踪状态的目标而根据从特征量提取部分141提供的该区域特征量信息来更新存储在特征量存储部分143中的该目标的特征量。

在此情况中，对应关系判定部分16同样能够判定目标的跟踪状态，而不是特征量更新部分142根据已被确定的对应关系信息判定目标的跟踪状态。对应关系判定部分16进一步提供已被确定的包括关于该目标的判定的跟踪状态的信息的对应关系信息。此方案使得特征量更新部分142省略了判定该目标的跟踪状态的处理。

(本发明的第二工作实例)

随后参考附图说明涉及本发明的第二工作实例。在本工作实例中的第一区域对应关系信息包括指示一个目标区域是否在休止或运动中的休止/运动状态信息。一个休止/运动状态状态包含一个休止状态和一个运动状态，其中该休止状态表示目标区域是在休止中的状态，而该运动状态表示目标区域是在运动中的状态。目标跟踪装置把在其休止/运动状态中的休止状态中的目标区域作为一个背景处理。

该第一区域对应关系信息包括指示一个目标区域是否是作为一个背景处理的背景更新信息。该背景更新信息被利用例如二进制表示的″0″和″1″表示：如果有关一个目标区域的该背景更新信息是″1″，则该目标区域被作为一个背景处置；并且如果有关一个目标区域的该背景更新信息是″0″，则该目标区域不被作为一个背景处置。

例如，如果该目标跟踪装置准备用于跟踪一个人体，则该目标跟踪装置能够假设与该人体分离的静态目标作为一个背景而只取一个人体作为一个跟踪标的。例如作为一种可被使用的区别休止状态和运动状态的方法，如果该目标区域保持该静态状态了长于一个规定门限值的持续时间(下文称作静态持续时间周期)，则其中提取的目标区域的一个目标区域被判定作为处在静态状态(一个休止状态)，并且如果该静态持续时间周期短于该规定的阈值，则该目标区域的休止/运动状态状态被判定为运动状态。

通过引进背景更新信息，该目标跟踪装置能够把已经认为是背景的该目标区域视为无需跟踪的目标区域并且从该跟踪标的中排除。以此方式，该目标跟踪装置能够只跟踪属于是要求作为跟踪标的而跟踪的目标。具体地说，本方法可以被用于从全部可能的组合中排除由该休止/运动状态信息指示为正在休止状态的目标和目标区域的组合。例如，在进行目标区域处理中，只有当该目标区域超过在其静态持续时间周期中的一个规定阈值、维持在其休止/运动状态状态中的休止状态并且进一步被根据已经确定的对应关系信息判定为没有对应目标时，该目标跟踪装置才将该目标区域认作该背景的一部分。另外，用于识别该背景的一个阈值的建立使得即使在该目标跟踪装置在目标的跟踪中失败时也能够防止该目标跟踪装置在其中存在一个标的目标的情况中错误地将该目标区域认作一个背景。

图11是说明本发明的目标跟踪装置的第二工作实例的框图。虽然该目标跟踪装置的结构单元与图2示出的第一工作实例的情况相同，但目标区域提取部分12不仅根据通过图像输入终端11提供的图像信息而且根据由对应关系建立部分17提供的已经确定的对应关系信息提取目标区域。在上述装置中，对应关系建立部分17的结构与图3示出的对应关系建立部分相同，状态跟踪判定部分13的结构与图6示出的状态跟踪判定部分相同，特征量产生部分14的结构与图8示出的特征量产生部分相同，并且对应关系判定部分16的结构与图9示出的对应关系判定部分相同。

目标区域信息存储部分133存储目标区域的静态持续时间周期。目标跟踪部分131把存储在目标区域信息存储部分133中的目标区域的过去的静态持续时间周期与当前目标区域相关，并且计算目前的静态持续时间周期。目标区域信息存储部分133存储该计算的该目标区域的当前静态持续时间周期。

在计算最新的静态持续时间周期的过程中，可以想象其中有多个过去的静态持续时间周期能够与一个目标区域相关的情况。当存在多个过去的静态持续时间周期时，目标跟踪部分131选择目前存在的该过去的静态持续时间周期的最长的静态持续时间周期，并且把该选择的静态持续时间周期与当前的静态持续时间周期相关。另外，允许选择最短的静态持续时间周期，以便将其与当前静态持续时间周期相关，或计算该静态持续时间周期的一个平均时间，以便将该计算的平均时间与该当前静态持续时间周期相关。

目标跟踪部分131通过执行根据下列过程的该静态持续时间周期的更新来计算该当前静态持续时间周期：目标跟踪部分131针对每一个目标区域而寻找在过去的目标区域的重心和最新的目标区域的重心之间的差值矢量；如果该差异矢量的幅值等于或低于一个预定门限值，则目标跟踪部分131判定该目标是在休止中并且更新这静态持续时间周期；并且如果该差异矢量的幅值超过该预定门限值，则目标跟踪部分131判定该目标区域是在运动中并且复位该静态持续时间周期。

状态判定部分132根据存储在目标区域信息存储部分133中的目标区域的静态持续时间周期判定该目标区域的休止/运动状态状态。状态判定部分132提供该第一区域对应关系信息，包括目标区域的静态持续时间周期和有关该休止/运动状态状态的信息。另外，目标区域信息存储部分133根据状态判定部分132的判定更新目标区域的休止/运动状态状态。

在第一实施例中，对应关系计算部分161针对潜在以对应关系相关的目标和目标区域的全部组合(全部可能的组合)而计算包含在该目标和目标区域的组合中的目标区域的特征量和合成的特征量之间的相似程度。然而在本实施例中，该计算仅就其中在其休止/运动状态的休止状态的目标区域不以对应关系与任何目标相关的那些目标和目标区域的组合作出。换句话说，在其休止/运动状态为休止状态的目标区域和该对应目标之间的组合被从全部可能的组合中排除，因此对应关系计算部分161能够降低用于计算在目标和目标区域之间的相似程度的计算量。

对应关系建立部分162提供已经确定的对应关系信息，该已经确定的对应关系信息包括关于由目标跟踪部分131计算的该目标区域的静态持续时间周期的信息。根据关于静态持续时间周期的信息和关于休止/运动状态的信息，对应关系建立部分162判定感兴趣的目标区域是否被认为是背景。具体地说，如果静态持续时间周期超过一个预定门限值，则该目标区域被判定认为是背景；该休止/运动状态是在休止状态；并且不存在根据该已经确定的对应关系信息以对应关系相关的目标。如果一个目标区域被认为是一个背景，则对应关系建立部分162把指示在该目标区域的一个区域之内的背景的更新的背景更新信息结合到已被确定的对应关系信息中。

如果该已被确定的对应关系信息包括指示更新在该目标区域的一个区域之内的背景的该背景更新信息，则目标区域提取部分12将根据该目标区域信息、通过图像输入终端11提供的图像信息和由对应关系建立部分17提供的已经确定的对应关系信息来更新在该感兴趣的目标区域的该区域之内的该背景的图像。目标区域提取部分12根据公式(13)更新该背景图像。

B_i(x，y)-(1-μ)B_t-1(x，y)+μI_in    0≤μ≤1    (13)

其中(x，y)表示像素的坐标，I_t0(x，y)表示在坐标(x，y)的该图像信息的象素值。B_t(x，y)和B_t-1(x，y)分别表示在坐标(x，y)的时间t和t-1的该背景图象的象素值。而且，μ表示一个更新系数。

如上所述，能够通过从状态判定部分132提供包括静态持续时间周期和一个目标区域的休止/运动状态的第一区域对应关系信息、并且通过从对应关系建立部分17提供包括该背景更新信息的已经确定的对应关系信息来实现一个目标和该背景之间的识别。而且，在第一区域对应关系信息中包含该休止/运动状态状态信息使得该目标跟踪装置把处于休止的目标从将被产生在感兴趣的目标区域的对应关系的候选目标中排除，从而使得对应关系计算部分161执行的用于计算该相似程度的计算量能够被降低，并且仅跟踪运动中的目标。

另外，目标跟踪部分131能够把包括关于静态持续时间周期的信息的第二区域对应关系信息提供到状态判定部分132，而不是目标区域信息存储部分133存储静态持续时间周期以及状态判定部分132获取存储在目标区域信息存储部分133中的静态持续时间周期。这种策略使得状态判定部分132能够获得关于静态持续时间周期的信息而没有任何目标区域信息存储部分133的干预。

用于补充说明，对于在其跟踪状态中被指示为进行分离的状态以及在其休止/运动状态中被指示为休止状态的目标区域来说，特征量提取部分141可以但无需在该区域特征量信息中包括任何目标区域的特征量，因为对应关系计算部分161不需要该目标区域的特征量。另外，这区域特征量信息能够包括指示不需要任何对应关系建立的信息，代替不包括该目标区域的特征量。以此方式，能够省去提供不必要的特征量的冗余处理。

(本发明的第三实施例)

随后参照附图说明本发明的第三实施例。图12是说明本发明的目标跟踪装置的第三工作实例的框图。如图12所示，该目标跟踪装置包括图像输入终端21、第一控制部分22、目标区域提取部分23、特征量产生部分24和特征量合成部分25。第一控制部分22被连接到图像输入终端21、目标区域提取部分23、特征量产生部分24和特征量合成部分25，以便控制这些部分。此外，第一控制部分22执行在目标和目标区域之间的对应关系的建立(以对应关系相关目标和目标区域)，并且提供已经确定的对应关系信息。

目标区域提取部分23根据从第一控制部分22提供的图像信息提取目标区域，并且把包括关于以区域号码编号的目标区域的图像信息的目标区域信息提供到第一控制部分22。

特征量产生部分24根据从第一控制部分22提供的图像信息和目标区域信息提取目标区域的特征量。而且，特征量产生部分24把包括提取的该目标区域的特征量的区域特征量信息提供到第一控制部分22。

特征量合成部分25根据区域特征量信息15和从第一控制部分22提供的第一区域对应关系信息来计算通过合成针对多个目标的全部所需组合的多个目标的特征量而产生的目标的合成特征量，并且随后该特征量合成部分25把包括该合成的特征量的合成特征量信息提供到第一控制部分22。

象该第一工作实例一样，该第一第一区域对应关系信息包括关于目标和目标区域之间的对应关系的信息以及关于该目标的跟踪状态的信息。此外，在本实施例中以第一控制部分22产生该第一区域对应关系信息。

第一控制部分22通过用于从摄像机等接收提供的图像信号的图像输入终端21接收图像信息。第一控制部分22把该图像信息提供到目标区域提取部分23并且从目标区域提取部分23接收该目标区域信息。第一控制部分22进一步根据该目标区域信息和已经确定的该过去的对应关系信息来产生该第一区域对应关系信息，并且把产生的第一区域对应关系信息、图像信息和目标区域信息提供到特征量产生部分24。第一控制部分22更进一步接收从特征量产生部分24提供的该区域特征量信息，并且把该区域特征量信息和该第一区域对应关系信息提供到特征量合成部分25。而且，第一控制部分22接收从特征量合成部分25提供的该合成特征量信息。

第一控制部分22计算在包括在该区域特征量信息中的该目标区域的特征量和包括在该合成特征量信息中的合成的特征量之间的相似程度，计算该组合相似程度并且判定在该目标和目标区域之间的最佳对应关系。随后，第一控制部分22提供关于该判定的目标和目标区域之间的对应关系的信息作为已经确定的对应关系信息。

图13是说明第一控制部分22的一个结构实例的框图。如图13所示，第一控制部分22包括第二控制部分221、目标跟踪部分222、状态判定部分223和对应关系计算部分224。

应该指出，虽然第一控制部分22(第二控制部分221、目标跟踪部分222、状态判定部分223和对应关系计算部分224)、目标区域提取部分23、特征量产生部分24和特征量合成部分25能够通过硬件实现，但是它们也能够通过软件实现。如下面具体说明的那样，这些部分能够通过使用能够执行处理过程的一个CPU实现，这些处理过程由第一控制部分22、目标区域提取部分23、特征量产生部分24和特征量合成部分25根据程序来执行，并且该程序也存储在用于实施第一控制部分22、目标区域提取部分23、特征量产生部分24和特征量合成部分25的作用的存储装置中。

在通过图像输入终端21接收图像信息时，第二控制部分221把该图像信息提供到目标区域提取部分23。第二控制部分221还把由目标区域提取部分23提供的当前目标区域信息、由第二控制部分221本身存储的过去的目标区域信息和存储在第二控制部分221中的已被确定的过去的对应关系信息提供到目标跟踪部分222。第二控制部分221还把通过图像输入终端21收到的图像信息和由目标区域提取部分23提供的目标区域信息提供到特征量产生部分24。已经确定的该对应关系信息的内容与该第一工作实例的内容相同。

在从目标跟踪部分222接收该第二区域对应关系信息时，第二控制部分221把该第二区域对应关系信息和该目标区域信息提供到状态判定部分223。该第二区域对应关系信息的内容与该第一工作实例的内容相同。

更进一步，在从状态判定部分223接收该第一区域对应关系信息时，第二控制部分221把仅关于在该第一区域对应关系信息中被指示为在其跟踪状态中是进行分离的状态的目标区域的目标的特征量和第一区域对应关系信息提供到特征量合成部分25。该第一区域对应关系信息的内容与该第一工作实例的内容相同。

在从特征量合成部分25接收合成特征量信息时，第二控制部分221把该区域特征量信息。合成特征量信息和第一区域对应关系信息提供到对应关系计算部分224。而且，针对那些在从状态判定部分223提供的第一区域对应关系信息中被指示为在其跟踪状态中是非进行分离状态(处在除进行分离的状态之外的状态中)的目标，第二控制部分221判定把对于包括在该第一区域对应关系信息中的该目标区域的该对应关系指定作为感兴趣的的目标和该目标区域之间的对应关系。针对那些在第一区域对应关系信息中被指示为在其跟踪状态中是进行分离状态的目标，第二控制部分221判定把包括在由对应关系计算部分224提供的该最佳对应关系信息中的对于该目标区域的该对应关系指定作为感兴趣的的目标和该目标区域之间的对应关系。由对应关系计算部分224提供的该最佳对应关系信息的内容与在该第一工作实例中描述的内容相同。

目标跟踪部分222根据从第二控制部分221接收的当前目标区域信息、存储在第二控制部分221中的过去的目标区域信息和已被确定的过去的对应关系信息来跟踪目标，并且把该第二区域对应关系信息提供到第二控制部分221。目标跟踪部分222跟踪一个目标的方法与在第一工作实例中跟踪一个目标的方法相同。

状态判定部分223根据从第二控制部分221接收的该第二区域对应关系信息和该目标区域信息判定目标的跟踪状态，并且把该第一区域对应关系信息提供到第二控制部分221。

根据从第二控制部分221提供的区域特征量信息、合成特征量信息和第一区域对应关系信息，对应关系计算部分224针对目标和目标区域的全部可能的组合而计算在目标的合成的特征量和目标区域的特征量之间的相似程度，并且计算该组合相似程度；判定来指定具有最高组合相似性程度的该目标和目标区域的组合作为该目标和目标区域之间的最佳对应关系，并且提供该最佳对应关系信息；并且把该最佳对应关系信息提供到第二控制部分221。

随后说明根据第三实施例的目标跟踪装置的操作。图14是表示该目标跟踪装置的处理实例的流程图。当通过图像输入终端21接收图像信息时(步骤S1401)，目标区域提取部分23从图像信息提取目标区域(步骤S1402)，并且提供包括关于该目标区域的图像信息的目标区域信息。

目标跟踪部分222跟踪一个目标，并且以对应关系相关该目标和目标区域，以便提供该第二区域对应关系信息。状态判定部分223根据第二区域对应关系信息和该目标区域信息判定该目标的跟踪状态(步骤S1403)。特征量产生部分24计算目标区域的特征量(步骤S1404)。

第二控制部分221带有计数器i。第二控制部分221在计数i上集目标的数量(步骤S1405)。第二控制部分221判定计数值i是否为″0″(步骤S1406)，并且如果计数i的值是″0″，则结束处理。如果计数值i不是″0″，则第二控制部分221指令状态判定部分223执行随后步骤S1407。

状态判定部分223判定一个目标的跟踪状态是否为进行分离的状态(步骤S1407)。如果状态判定部分223判定该目标的跟踪状态是进行分离的状态，则特征量合成部分25针对多个目标的全部需要的组合而合成目标的特征量，以便产生合成的特征量(步骤S1408)。

对应关系计算部分224计算在目标的合成的特征量和目标区域的特征量之间的相似程度，并且针对目标和目标区域的全部可能的组合而计算组合相似程度。第二控制部分221判定以便把具有由对应关系计算部分224计算的最高相似程度的目标和目标区域的组合指定作为在目标和目标区域之间的一个最佳对应关系(步骤S1409)。

如果状态判定部分223在步骤S1407中判定跟踪的状态是除了进行分离的状态之外的状态，则第二控制部分221判定以便把包括在该第一区域对应关系信息中的目标和目标区域之间的对应关系指定为在目标和目标区域之间的最佳对应关系(步骤S1409)。

特征量产生部分24更新根据该对应关系判定该目标的特征量(步骤S1410)，其中特征量产生部分24只更新被指示为在其跟踪状态中是单独状态的目标的特征量。

第二控制部分221随后将该计数值减1(步骤S1411)，并且重复地执行步骤S1407到步骤S1410的处理，直至在步骤S1406该计数值被判定为是″0″。换句话说，从步骤S1407到步骤S1410的处理将被执行到针对全部目标判定了对目标区域的最佳对应关系为止。在针对全部目标完成确定对于目标区域的对应关系的该过程(从步骤S1407到步骤S1410)时，再一次从步骤S1401开始执行该过程。

如上所述的目标跟踪装置的结构使得能够实现具有与该第一工作实例相同作用的目标跟踪装置。

应该指出，图12和13中示出的结构能够通过使用软件来实现。具体地，在本实施例中的目标跟踪装置能够利用执行下列处理的目标跟踪程序来实现：用于接收图像信息的图像输入处理；状态跟踪判定处理，根据该目标区域信息和已经确定的指示当前之前的该目标和目标区域的对应关系的对应关系信息而判定一个或几个目标区域的跟踪的状态，并且提供指示该目标区域和目标的对应关系以及跟踪的状态的第一区域对应关系信息；特征量产生处理，通过使用该图像信息、该目标区域信息和由该跟踪状态判定装置提供的该判定的结果而产生表示目标区域的特征量的区域特征量和表示目标的特征量的目标特征量；以及对应关系建立处理，确定目标和目标区域之间的对应关系，通过：如果目标在其跟踪状态中被判定是在除了进行分离状态之外的状态，则判定把包括在该第一区域对应关系信息中的目标和目标区域之间的对应关系指定作为在目标和目标区域之间的对应关系，该进行分离的状态是其中把一个目标区域进行分离成多个目标区域的过渡状态；并且如果该目标在其跟踪状态中被判定为是进行分离的状态，则根据目标的特征量和该第一区域对应关系信息合成用于多个目标的全部所需组合的特征量，并且产生每一个合成的特征量，把每一个合成的特征量与每一个区域特征量相比较，并且在该目标的合成的特征量与该目标区域的区域特征量是最高的组合相似程度的条件下，以对应关系把该目标和目标区域相关。