更新用于图像的背景减除的背景模型的方法和装置

技术领域

本发明涉及图像中的背景减除的领域。具体地，其涉及用于图像的背景减除的背景模型的更新。

背景技术

在视频监控中，重要的是，能够检测在视频序列中所捕获的场景中的移动对象。存在许多工具来进行视频中的运动检测。它们中的一些工具通过跟随视频流中的特征来逐帧跟踪对象。其它工具逐像素地对当前帧与静态背景帧进行比较。后者是背景减除的基础，其旨在通过检测发生显著改变的区域来提取移动对象。移动对象被称为前景，而静态对象是背景的一部分。

将移动对象与背景分离是个复杂的问题，如果背景是动态的，诸如如果在背景中存在摆动的树或水波纹，或如果照明变化，该分离甚至变得更困难。具体地，动态背景可导致移动对象的误检数量增加。

在CRC出版社、泰勒&弗朗西斯组、博卡拉顿、2015年的教课书“用于视频监控的背景建模和前景检测(Background Modeling and Foreground Detection for Video Surveillance)”(主编：蒂埃里波娃曼斯,法提赫波里克利,本杰明霍费灵，以及安东尼瓦卡瓦特)中给出背景减除方法的综述。例如请参见章节1和7。

背景减除方法通常涉及视频流的当前帧与未受移动对象影响的参考背景帧或模型的比较。通过对图像与背景帧或模型相比较，可以判定图像中的每个像素属于前景还是背景。以这种方式，可以将图像分类为像素的两个互补集合——前景和背景。

背景减除要求基础背景模型的定义以及适应随时间而改变的背景的更新策略。已经在文献中提出了充足的背景模型。这包括参数模型和非参数模型。

参数模型的示例用于通过高斯分布对图像中的像素位置处的背景进行建模。对于静态场景，这可能是有效的，但是如果背景像素是多模态分布的——例如，如果在背景中存在摇摆的树，则这将会失败。

为了处理多模态分布的背景，已经提出通过高斯分布的混合来对图像中的像素位置处的背景进行建模。尽管此类模型在对多模态分布的背景进行建模时是有效的，但它们具有其他缺点。例如，在真实世界的噪声环境中，参数的估计可能是困难的，并且对于自然图像是否呈现高斯型行为，已经有所质疑。

由于这些缺点，已经在文献中考虑了非参数模型。例如，已经提出对过去的像素值的概率密度函数进行的非参数核密度估计。这些模型的长处是它们可以快速适应背景中的高频事件。缺点是它们可能很难处理背景中以不同速度演变的事件。

另一种类型的非参数模型被称为基于样本的模型。在此类模型中，借助于过去背景样本的集合来对每个像素中的背景进行建模。为了适应随时间而改变的背景，随着当前帧中的像素已经被分类为属于背景，对过去背景样本的集合进行更新。王与苏特(“用于跟踪的基于一致性的方法：对背景场景和前景外观进行建模(A consensus-based method for tracking:Modelling background scenario and foreground appearance)”模式识别、40(3)、2007)提出根据先进先出原理来更新过去背景样本的集合。这意味着，对过去背景样本的集合进行更新，使得从集合中移除最早的背景样本并且将当前帧的像素值添加到该集合。在US8009918B2中，描述了一种可替代的更新方法，其中当前帧的像素值更换背景样本的集合中随机选择的背景样本。

这些背景更新方法的缺点是它们要求移动存储器中的实际的背景样本。例如，当根据先进先出原理更新N个背景样本的有序集合时，在将新的背景样本写入到集合的位置1之前，集合的样本1至(N-1)需要被移动到集合的位置2至N。对于已经被分类为属于背景的所有像素位置，这需要重复进行。因此需要改善用于更新基于样本的背景模型的时间复杂性。

发明内容

鉴于上面，因而本发明的目的是在更新基于样本的背景模型时改善时间复杂性。

根据本发明的第一方面，以上目的通过在装置中执行的用于更新用于图像的背景减除的背景模型的方法来实现，该方法包括：接收图像；通过使用背景模型执行背景减除来将图像的区域分类为前景，该背景模型包括针对图像中的每个像素的背景样本的集合，其中背景样本的集合被布置在背景图像的串列中，使得图像的每个像素在每一个背景图像中、在与图像中的像素位置相对应的像素位置处具有背景样本；将图像的被分类为前景的区域中的图像内容更换为串列中的背景图像中的对应区域的图像内容；以及通过重新布置各自指向串列中的背景图像之一的指针的集合，来将图像添加到背景图像的串列中，使得指针之一改为指向该图像。

所提出的方法因此是更新基于样本的背景模型的方法。随着在时间t接收到新图像，利用在时间t-1构建的背景模型来将新图像中的像素分类为背景或前景。此后，利用新图像的背景样本来更新背景模型。

背景模型被布置为背景图像的串列。背景图像包括图像序列中位于新图像之前的图像的背景样本。背景图像中的背景样本不一定来源于图像序列中的相同图像。背景图像的该串列进一步与指针的集合相关联，其中每个指针指向该串列中的背景图像之一。

本发明源自如下实现：如果通过如上描述的将指针重新布置到背景图像而非在存储器中移动背景样本而进行背景模型(即，背景图像的串列)的更新，则可以减少计算复杂度。具体地，通过重新布置指针使得指针之一指向新图像，可以在一个操作中将新图像的所有背景样本添加到背景模型。换句话说，不需要逐像素地执行更新，并且不需要在存储器中移动背景样本。

当重新布置指针时，将新图像的所有样本添加到背景模型。为了保证保守的更新——即，仅仅将已经被分类为不是前景的样本添加到背景模型，该方法进一步提出更换已经被分类为前景的像素中的图像内容——即，(可能关于若干色彩通道的)强度值。更具体地，在新图像中的其中确定呈现前景对象的那些像素位置，改为从串列中的背景图像之一复制图像内容。当想要保守的更新时，这也保持了低的计算复杂度。

“背景模型”通常意指以像素级表示图像中的背景的模型。

“背景减除”通常意指图像与背景模型的比较。通过对图像与背景模型进行比较，可以判定图像中的每个像素属于前景还是背景。

“背景样本”通常意指图像的样本，即，已经被分类为属于背景的像素中的(可能在若干彩色通道中)的观察结果(observation)或者强度值。

“背景图像”通常意指布置为二维数据结构的背景样本的集合。背景图像的尺寸与所接收的图像的尺寸相同。因此，背景图像中的每个像素对应于所接收的图像中的像素。背景图像包括图像序列中位于该图像之前的图像的背景样本。然而，背景图像中的背景样本不一定来源于图像序列中的相同图像。

“背景图像的串列”通常意指背景图像的有序集合。

“指针(pointer)”通常意指编程语言对象，其值引用——即，使用其地址指向，存储在计算机存储器别处的另一个值。指针因此引用存储器中的位置。

可以根据先进先出原理来更新背景模型。以这种方式，存在串列中的背景图像的时间顺序——最新的背景样本典型地在串列中的首位，并且可以发现最老的背景样本在串列中的最后。更详细地，可以将该图像的被分类为前景的区域中的图像内容更换为串列中的最后一个背景图像中的对应区域的图像内容。此外，可以将图像添加在背景图像的串列中的首位。这意味着，通过来自串列中的最后一个背景图像的背景样本来更换将被添加到背景模型的图像的前景像素。

具体地，可以通过重新布置指针的集合来将图像添加在背景图像的串列中的首位，使得指向串列中的第一背景图像的指针改为指向该图像，并且每个剩余的指针被重新布置为指向串列中的、位于该指针当前所指向的串列中的背景图像之前的背景图像。以这种方式，因此将图像添加到串列的首位，并且通过重新布置指针来将串列中的背景图像在串列中往下移动一个级别。因此，因为串列中的背景图像的数量保持恒定，所以从背景模型中移除串列中的最后一个背景图像。

值得注意地是，在从串列中移除最后一个背景图像之前，将串列中的最后一个背景图像的图像内容复制到被分类为前景的区域中的新图像。以这种方式，已经从背景模型中移除的背景样本被重新使用。这最小化了背景模型中重复的背景样本的数量。

为了将图像的像素分类为属于前景或背景，通常可以对像素的强度值同与该像素相关联的背景样本的集合进行比较。如果像素中的强度值与预定义数量的背景样本相似，则该像素很可能属于背景。否则其很可能属于前景。更具体地，对图像中作为前景的区域进行分类的步骤包括，针对图像中的每个像素：对该像素的强度值同与该像素相关联的每一个背景样本进行比较，并且如果与像素的强度值之间的差别小于阈值的背景样本的数量低于预定义数量，则确定该像素属于图像中作为前景的区域。以这种方式，背景模型可以因此高效地用于对图像中的像素进行分类。

可以通过对与像素的强度值之间的差别小于阈值的背景样本的数量进行计数，来计算与像素的强度值之间的差别小于阈值的背景样本的数量。

然而，如果预定义数量等于一，则具有在计算方面特定的有效实施方式。在此情况中，如果在背景样本的集合中不存在类似于像素中的强度值(如差别小于阈值所定义的)的背景样本，则该像素属于前景。事件“没有背景样本是类似的”等同于事件“没有至少一个背景样本是类似的”。假定集合中存在N个背景样本。那么事件“至少一个背景样本是类似的”可以被表示为事件“(背景样本1是类似的)或(背景样本2是类似的或…)或(背景样本N是类似的)”。这可以被表示为并集U^N_i＝1{背景样本i是类似的}。总之，事件“没有背景样本是类似的”等同于事件“没有U^N_i＝1{背景样本i是类似的}”。

由于这个原因，确定像素属于图像中作为前景的区域的步骤可以包括：通过执行逻辑“或”操作，来检查与该像素相关联的至少一个背景样本与该像素的强度值之间的差别是否小于阈值，以及如果否，则确定与该像素的强度值之间的差别小于阈值的背景样本的数量低于预定义数量，因此确定该像素属于图像中作为前景的区域。

因为相比于求和然后与阈值数量进行比较，逻辑操作典型地要求较小处理能力和存储器使用，因此这在计算方面是高效的。

(用于确定强度值与背景样本如何类似的)阈值可以随像素在图像中的位置而变化。具体地，其可以根据该像素位置处的背景在图像序列中的后续图像之间改变值的趋向而改变。改变值的较高趋向可以通常给出阈值的较高值。这是有利的，因为前景分类可以适于动态背景，诸如摆动的树、水波纹，等等。例如，与动态区域相比较，在非动态区域中，可以增加分类的灵敏度。

可以通过指示器图片(indicator map)给出该像素位置处的背景样本在图像序列中的后续图像之间改变强度值的趋向。这提供了快速且有效的实现方式。具体地，当图像形成图像序列的一部分时，可以基于针对图像中的每个像素，指示该像素的位置处的背景样本在图像序列中的后续图像之间改变强度值的趋向的指示器图片，来针对图像中的每个像素计算阈值。

为了对背景动态的变化进行响应，优选地考虑当前接收的图像和图像序列中的之前图像来更新指示器图片。典型地，仅仅针对被分类为属于当前图像和之前图像中的背景的像素来更新指示器图片。具体地，该方法可以包括通过以下来更新指示器图片：针对既不属于图像中的被分类为前景的区域也不属于图像序列中的之前图像中的被分类为前景的区域的像素：检查在该像素的位置处该图像与之前图像之间的差别是否大于预定义的量，并且如果是，则将指示器图片中针对该像素的值增加预定递增值，否则将指示器图片中针对该像素的值减小比预定递增值小的预定递减值。

因为递增值大于递减值，所以允许该方法快速地对背景中的新动态(其例如可以由于场景中的改变的风力情况所引起)进行响应。同时，指示器图片中的累积值将具有较慢的减小，这是有利的，因为动态背景移动很可能再次发生。

为了捕获具有不同时间尺度的背景中的动态，该方法可以进一步使用多于一个背景模型。不同的背景模型可以被设计为具有不同的时间范围。例如，可以存在具有短时间范围的第一背景模型和具有较长时间范围的第二背景模型。具体地，该背景模型可以是第一背景模型，并且将图像的区域分类为前景的步骤可以包括：通过使用除第一背景模型之外的第二背景模型来执行背景减除，其中在第一背景模型中，针对每个像素的背景样本的集合是基于从第一时间间隔采样(即，接收)的图像的，并且其中在第二背景模型中，针对每个像素的背景样本的集合是基于从第二时间间隔采样的图像的，其中第一时间间隔是第二时间间隔的一部分。

第二背景模型因此与第一背景模型具有相同的类型，差别在于，第二背景模型具有较长的时间范围。在这里，通过背景模型中的背景样本被收集的时间间隔来定义时间范围。举例来说，第一背景模型可以包括来自在最后两秒期间采样的图像的背景样本，而第二背景模型可以包括来自在最后30秒期间采样的图像的背景样本。

该方法可以进一步包括更新第二背景模型。因此，可以更新第一和第二背景模型两者。优选地，为了避免背景模型中的冗余信息，仅仅关于图像序列中的每个接收的图像来更新背景模型之一。更具体地，图像可以形成图像序列的一部分，并且该方法可以包括，针对序列中的每个图像，更新第一背景模型和第二背景模型之一，其中，与第二背景模型相比，更频繁地更新第一背景模型。通过与第二背景模型相比更频繁地更新第一背景模型，可以实现不同的时间范围。

举例来说，假定第一和第二背景模型均包括十个背景图像，以及图像序列的图像每秒被接收五次。然后可以每隔15个图像更新第二背景模型，并且可以关于所有其他接收的图像来更新第一背景模型。以该方式，第一背景模型将具有两秒的时间范围，第二背景模型将具有30秒的时间范围。

根据本发明的第二方面，上述目的通过计算机程序产品来实现，计算机程序产品包括其上存储有计算机代码指令的计算机可读介质，计算机代码指令在由具有处理能力的设备执行时用于执行第一方面的方法。

根据本发明的第三方面，上述目的通过用于更新用于图像的背景减除的背景模型的装置来实现，该装置包括：接收器，被配置为接收图像；前景分类器，被配置为通过使用背景模型执行背景减除来将图像的区域分类为前景，背景模型包括关于图像中的每个像素的背景样本的集合，其中，背景样本的集合被布置在背景图像的串列中，使得图像的每个像素在每一个背景图像中、在与图像中的像素位置相对应的像素位置处具有背景样本；前景更换组件，被配置为将图像中被分类为前景的区域中的图像内容更换为串列中的背景图像中的对应区域的图像内容；以及背景更新组件，被配置为通过重新布置各自指向串列中的背景图像之一的指针的集合，来将图像添加到背景图像的串列中，使得指针之一改为指向该图像。

前景更换组件可以进一步被配置为将图像的被分类为前景的区域中的图像内容更换为串列中的最后一个背景图像中的对应区域的图像内容，并且背景更新组件可以被配置为将图像添加在背景图像的串列中的首位。

背景更新组件可以被配置为通过重新布置指针的集合，使得指向串列中的第一背景图像的指针改为指向该图像，并且每个剩余的指针被重新布置为指向串列中的、位于该指针当前所指向的串列中的背景图像之前的背景图像，来将该图像添加在背景图像的串列中的首位。

第二和第三方面可以大体上具有与第一方面相同的特征和优点。进一步请注意，本发明涉及特征的所有可能组合，除非被另外明确地陈述。

附图说明

通过参考附图(其中将对类似的元件使用相同的附图标记)进行的以下对本发明的优选实施例的说明性的且非限制性的详细描述，将更好地理解本发明的以上以及附加的目的、特征和优点，在附图中：

图1示意图片示出包括更新用于图像的背景减除的背景模型的装置的相机系统。

图2示意图片示出根据第一实施例的、为更新用于图像的背景减除的背景模型所采取的步骤的序列。

图3示意图片示出根据第二实施例的、为更新用于图像的背景减除的背景模型所采取的步骤的序列。

图4示意图片示出根据第三实施例的、为更新用于图像的背景减除的背景模型所采取的步骤的序列。

图5是根据实施例的、用于更新用于图像的背景减除的背景模型的方法的流程图。

图6示意图片示出根据实施例的、用于更新指示器图片的当前和之前图像。

具体实施方式

现在将在下文参考其中示出本发明的实施例的附图来更全面地描述本发明。将在操作期间对在本文公开的系统和设备进行描述。

图1图示出包括相机102和用于更新用于相机102所捕获的图像的背景减除的背景模型的装置110的相机系统100。相机102经由例如有线或无线网络104可操作地连接到装置110。

相机102被布置为捕获场景120的图像序列，并且向装置110传送所捕获的图像序列。具体地，相机102可以是例如可以用于追踪场景120中的移动对象的监控相机。场景120可以包括不同的对象。例如，可以存在移动对象122(这里通过奔跑的人图示出)，其应当在图像的序列中被跟踪，因此属于前景。也可以存在背景对象124和126(这里通过树枝124和小路126图示出)。背景对象可以是静态的，诸如小路126，或者是动态的，诸如可以随着风吹来回摇摆的树枝124。

装置110包括接收器112、前景分类器114、前景更换组件116以及背景更新组件118。可以在硬件、软件或其组合中实施装置110的内部组件112、114、116和118。例如，装置110可以包括处理器和可以存储在由处理器执行时用于执行在本文公开的任何方法的软件指令的非暂时性计算机可读介质(即，存储器)。

现在将参考图1-4以及图5的流程图来描述装置110的操作。

在步骤S02中，接收器112例如通过网络104从相机102接收描绘场景120的图像220。图像220是从相机102发送到装置110的图像序列的一部分。在图像220中，描绘了前景对象122和背景对象124、126。

在步骤S04中，前景分类器114将每个像素228分类为属于背景或前景。为此目的，前景分类器114利用背景模型240。背景模型包括多个背景图像242a、242b、242c、242d。为了说明，示出了四个背景图像。然而，典型地存在大约20个背景图像。每个背景图像242a、242b、242c、242d具有与从相机102接收到的图像220相同数量的像素。更具体地，背景图像242a、242b、242c、242d中的每个像素包括图像220中对应像素的背景样本。例如，背景图像242a的像素248a包括与图像220的像素228相关联的背景样本。类似地，背景图像242b、242c、242d的像素248b、248c、248d均分别包括与图像220的像素228相关联的背景样本。换句话说，像素248a、248b、248c、248d的背景样本是图像220的像素228的背景样本的集合。

背景图像242a、242b、242c、242d被布置为一串列，这意味着它们是背景图像的有序集合。因此存在串列中的第一背景图像——在该例子中是背景图像242a，以及串列中的最后背景图像——在该例子中是背景图像242d。

背景模型进一步包括指针244a、244b、244c、244d的集合。这些指针中的每一个指向串列中的背景图像242a、242b、242c、242d之一。在这里，作为该集合中的第一指针的指针244a指向串列中的第一背景图像242a。类似地，该集合中的第二指针244b指向串列中的第二背景图像242b，等等。

在将图像220中的每个像素228分类为背景或前景时，前景分类器114可以应用例如在王和苏特(用于跟踪的基于一致性的方法：对背景场景和前景外观进行建模(“A consensus-based method for tracking:Modelling background scenario and foreground appearance”)，模式识别、40(3)、2007)中所描述的背景减除。在图2的示例中，前景分类器114将通过应用背景减除来将落入对象122内的像素分类为属于前景。换句话说，图像220中存在被分类为前景的区域226。

更详细地，通过x_t(m)来表示在图像序列的时间t时像素m中的观察结果，并且通过{x_t(m)|i＝1,...,N}表示像素m的背景样本的集合。每个观察结果具有k个通道(例如，在RGB色彩空间中，通过三个信道R、G、B来表示每个观察结果)。前景分类器114可以针对图像220中的每个像素228将强度值(针对每个信道，如果可适用)和与像素228相关联的每个背景样本248a、248b、248c、248d相比较，以了解该强度值与背景样本中的每一个之间的差别是否小于阈值T_r。例如，前景分类器114可以根据以下使与像素中的强度值之间的差别小于阈值T_r的背景样本与值“一”相关联，并且可以使其他背景样本与值“零”相关联：

如果集合248a、248b、248c、248d中与像素的强度值之间的差别小于阈值T_r的背景样本的数量高于或等于预定义数量T_N，则前景分类器114可以确定该像素属于背景。否则，其属于前景。

这可以通过根据以下计算二元掩码(binary mask)B_t来实施，B_t在时间t对于背景像素采用值“一”并且对于前景像素采用“零”：

以不同方式表示，前景分类器114可以因此对集合248a、248b、248c、248d中与像素228的强度值之间的差别小于阈值T_r的背景样本的数量进行计数。如果数量等于或超过预定义数量T_N，则前景分类器确定该像素属于背景，否则属于前景。因此，如果前景分类器发现集合248a、248b、248c、248d中的至少T_N个背景样本类似于(在公式1的意义上)像素228中的强度值，则像素228将被分类为属于背景，否则被分类为属于前景。

已经发现，这在像素228中的强度值类似于一个背景样本248a、248b、248c、248d，即，T_N＝1时也是充分的。在此类情况中，可以通过使用逻辑“或”操作以高效方式实施公式2。具体地，公式2可以被重写为：

因而，前景分类器114可以通过执行逻辑“或”操作来检查是否与像素相关联的背景样本中的至少一个与该像素的强度值之间的差别小于阈值(即背景样本248a或背景样本248b或背景样本248c或背景样本248d与像素228的强度值之间的差别应当小于阈值T_r)。如果情况不是这样，则前景分类器114将该像素分类为属于前景。以这种方式，可以节约计算复杂度，这是因为逻辑操作要求较小的处理能力和较小的存储器使用。

阈值T_r对于图像220中的所有像素可以是相同的。然而，在一些实施例中，阈值T_r可以随像素在图像中的位置而变化。因此，不同的像素可以具有阈值T_r的不同值。此外，阈值T_r可以随时间而变化。通常，前景分类器114可以根据像素位置处的背景样本倾向于在图像序列中的连续图像之间如何频繁地改变值，来设置阈值T_r。具体地，与背景差不多一直相同的像素相比，对于背景倾向于频繁改变值的像素来说，阈值T_r可以被设置为较大。以这种方式，在背景频繁改变值——即，例如由于场景中的摆动的树枝从一个模态转变为另一个模态的区域中，分类可以被设置为较不敏感。

进一步在图6中例证这一点。为了设置阈值T_r，前景分类器114可以保持像素的累积模态转变水平(modality>r。与指示器图片中的低值相比，对于指示器图片的较大值，该关系典型地给出阈值T_r的较大值。举例来说，可以根据T_r＝T_c+av(m)来选择阈值T_r，其中T_c是常数，并且α是指示器图片所给出的用于调整背景动态对T_r的影响程度的因子。

前景分类器114可以进一步更新指示器图片600，以便适应场景中的新情况，例如，适应改变的风力情况。具体地，前景分类器114可以基于图像序列中的当前图像220与之前图像620来更新指示器图片600。为此目的，前景分类器114可以检查当前图像x_t，220与之前图像x_t-1，620之间的差别是否大于预定义的量T_m，并且如果是，则对于此类像素，将指示器图片600中的值增加递增值，否则将指示器图片600中的值减小递减值。通过v(m)表示像素m中的指示器图片的值，前景分类器可以因此将指示器图片600更新为：

典型地，v_incr大于v_decr，以便对背景中的新动态变化进行快速响应并且慢慢地减小，这是因为如果背景移动刚刚发生，则其可能不久再次发生。

仅仅针对背景像素更新指示器图片600。具体地，仅仅针对被分类为属于当前图像x_t，220和之前图像x_t-1，620中的背景的像素(即，落在当前图像220中的前景区域226和之前图像620的前景区域626之外的像素)来更新指示器图片。此外，前景分类器114可以应用安全裕度，以便确保在指示器图片的更新中仅仅使用背景像素。更详细地，前景分类器114可以忽略在空间上接近于已经被分类为前景的区域226、626的背景像素。这例如可以通过对分类结果应用形态学运算来实施。例如，对前景区域226、626进行的形态学“膨胀”运算将使它们在空间上增长，因此增加了用于补偿潜在的分类错误的安全裕度。

接下来，在步骤S06中，前景更换组件116图像220中被分类为前景的区域226中的图像内容——即，强度值，更换为串列中的背景图像中的对应区域246的图像内容。区域246对应于区域226，因为区域226的像素对应于区域246的像素，即，像素与在图像中具有相同位置。为此目的，在图2的示例中，选择作为串列中最后一个的背景图像242d。然而，可能已经选择了背景模型240中的背景图像242a、242b、242c和242d中的任何一个。例如，可能已经随机从串列中选择了背景图像。这是在图3和图4的示例中的情况，其中依照随机选择过程选择了第二背景图像242b。

将前景像素的区域226中的图像内容更换为来自背景图像中的区域246的图像内容，结果得到的图像230仅仅包括背景样本，不过背景样本并不来源于相同的原始图像。以这种方式，仅仅利用背景样本来更新背景模型240。前景更换组件116可以应用安全裕度，以便确保在背景模型的更新中仅仅使用背景像素。更详细地，前景更换组件116也可以更换图像220中的在空间上接近于已经被分类为前景的区域226的像素中的图像内容。这例如可以通过在更换图像内容之前对分类结果应用形态学运算来实施。例如，对前景区域226进行的形态学“膨胀”运算将使其在空间上增长，因此增加了用于补偿潜在的分类错误的安全裕度。

装置110然后继续到步骤S08，其中背景更新组件118更新背景模型240。更具体地，背景更新组件118将图像230添加到背景图像的串列中。这可以由于背景模型240的其中指针的集合指向背景图像的构造而以非常高效率的方法进行。将图像230添加到串列中正是重新布置指针的集合的事情，使得先前指向背景图像242a、242b、242c、242d之一的指针之一改为指向图像230。值得注意的是，背景样本不需要在装置110的存储器中移动，并且图像230的背景样本可以在一个操作中被添加到背景模型240(不需要逐像素的更新)。

可以以不同的方式实现指针的重新布置。在图2的示例中，将图像230添加到背景图像的串列中的首位。具体地，指针244a被重新布置为指向图像230，指针244b被重新布置为指向背景图像242a，指针244c被重新布置为指向背景图像242b，并且指针244d被重新布置为指向背景图像242c。因此，将从背景模型中移除串列中的最后一个背景图像242d(值得注意的是，其是用于更换图像220中的图像内容的背景图像)。在图2的底部图示出结果得到的更新的背景模型240’。

在图3的示例中采用略微不同的方法。并非将图像230添加到背景图像的串列中的首位，而是更换用于更换了图像220的前景区域226中的图像内容的背景图像。在该示例中，背景模型中的第二背景图像242b用于更换了区域226中的图像内容。因此，背景更新组件118将重新布置指针244a、244b、244c、244d的集合，使得指向第二背景图像244b的指针244b改为指向图像230。因此，将从背景模型中移除第二背景图像244b(其是用于更换了图像220中的图像内容的背景图像)。在图3的底部示出了结果得到的背景模型340。

在图4的示例中采用了又一个方法。将图像230添加到背景图像的串列中的首位，并且从背景图像的串列中移除用于更换了图像220的前景区域226中的图像内容的随机选择的背景图像242b。因此，背景更新组件118将重新布置指针244a、244b、244c、244d的集合，使得第一指针244a指向图像230，并且第二指针244b被重新布置为指向第一背景图像242a。通常，将位于指向随机选择的将被移除的背景图像的指针之前的并且包括该指针的所有指针移位，以指向串列中的先前背景图像。特例情况是串列中的第一指针指向新图像。因此，将从背景模型中移除第二背景图像244b(其是用于更换了图像220中的图像内容的背景图像)。在图4的底部示出了结果得到的背景模型440。

根据实施例，前景分类器组件114可以进一步利用具有不同时间范围的若干背景模型来操作。以这种方式，可以处理长期变化和短期变化两者。例如，可存在以上描述的类型的第一背景模型(每个像素具有背景样本的集合)，以及以上描述的类型的第二背景模型。可以从图像序列中与诸如最后两秒之类的第一时间间隔相对应的图像中收集第一背景模型的背景样本。可以从图像序列中与诸如最后30秒之类的第二时间间隔相对应的图像中收集第二背景模型的背景样本。

当前景分类器组件114利用若干背景模型进行操作时，其例如以上面关于公式(1)讨论的方式对像素的强度值与每一个背景模型中的背景样本进行比较。如果(当一起看时所有背景模型中的)与像素的强度值之间的差别小于阈值的背景样本的数量低于预定义数量，则确定该像素属于图像中的作为前景的区域。换句话说，公式(2)中的总和或公式(3)中的并集超出所有背景模型中的背景样本。

可以按照上面已经描述的内容来更新所有背景模型。具体地，随着图像序列被接收，装置110可以可交换地更新不同的背景模型。换句话说，装置110可以按接收的图像来(最多)更新背景模型之一。为了允许背景模型具有不同的时间范围，可以以不同的频率来更新不同的背景模型——时间范围较长，更新频率越低。在以上示例中，在两种背景模型的情况下，第二背景模型的时间范围是第一背景模型的时间范围的长度的15倍。第二背景模型的更新频率因此应当比第一背景模型的更新频率低15的因子。在特定示例中，第一背景模型和第二背景模型可以均具有十个背景图像。可以每秒接收五次图像序列的图像。可以每隔15个图像来更新第二背景模型。可以关于所有其他图像来更新第一背景模型。

将理解的是，本领域技术人员可以以许多方式修改以上所描述的实施例并且仍然使用在以上实施例中示出的本发明的优点。

因而，本发明不应当被限制于示出的实施例，而应当仅通过所附权利要求物来限定。另外地，如本领域技术人员所理解的，可以将示出的实施例组合。