首页> 中国专利> 区分场景背景和前景的方法和替换场景图像中背景的方法

区分场景背景和前景的方法和替换场景图像中背景的方法

摘要

本发明涉及一种用于将由电子摄像机记录的场景的图像或者影像中的背景和前景区分开的方法。本发明还涉及一种用于替换所记录的场景图像或场景影像中的所述背景、同时保留所述前景的方法。

著录项

  • 公开/公告号CN103155539A

    专利类型发明专利

  • 公开/公告日2013-06-12

    原文格式PDF

  • 申请/专利权人 弗劳恩霍弗应用技术研究院;

    申请/专利号CN201180045283.6

  • 申请日2011-08-16

  • 分类号H04N5/272(20060101);H04N9/75(20060101);

  • 代理机构11291 北京同达信恒知识产权代理有限公司;

  • 代理人黄志华

  • 地址 德国慕尼黑

  • 入库时间 2024-02-19 20:03:36

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-06-22

    授权

    授权

  • 2013-07-17

    实质审查的生效 IPC(主分类):H04N5/272 申请日:20110816

    实质审查的生效

  • 2013-06-12

    公开

    公开

说明书

技术领域

本发明涉及一种用于区分由电子摄像机记录的场景的图像或影像中的背景 和前景的方法。本发明还涉及一种用于替换所记录的场景影像的图像中的背景 同时保留前景的方法。

背景技术

为了分离由摄像机所记录的物体或人,其中,所述物体或人在实际场景中 相互前后排列且因此彼此互相遮挡,依据现有技术存在多种方法。由此最广泛 使用的方法为已经被使用很长时间的色度键控,其中,在实际场景中的背景具 有限定的颜色,该限定的颜色未存在于前景物体中。通过对记录图像进行简单 的色彩分析,则可检测到该背景并且将该背景与前景分离。该方法的不足在于: 实际场景中的背景必须以限定的色彩出现,这在许多场合下是不可实现的。

发明内容

本发明的目的在于提出一种用于区分由电子摄像机记录的场景的图像或影 像中的背景和前景的方法,该方法允许自由设计背景和前景。另外,本发明的 目的在于提出一种用于替换场景的图像或影像中的背景的方法,其中背景和前 景可被自由设计。

通过根据权利要求1所述的用于区分由电子摄像机记录的场景的图像中的 背景和前景的方法、根据权利要求28所述的用于替换场景图像中的背景的方法 以及根据权利要求29所述的电子显示系统来实现所述目的。从属权利要求指出 根据本发明的方法的有利的改进。

根据本发明,提供了一种方法,通过该方法,由电子摄像机记录的场景的 图像中的背景和前景可被彼此区分开。因此,场景的远离摄像机的一部分被视 为背景,而该场景的接近摄像机的部分被视为前景。场景为背景的对象和前景 的对象的整体。本文如果提到图像,则这些图像可为固定的图像或者优选地影 像的帧。因此,背景和前景均不必完全充满图像,也可仅仅在图像中部分出现 或根本不出现。根据本发明的方法还可用在图像的局部区域上。因此,例如在 记录体育赛事中,场地周边广告可与位于广告前面的运动员区分开来。通常, 假设从摄像机的角度看,前景局部覆盖背景。

可在通过电子摄像机(即,例如具有CCD图像传感器或CMOS图像传感器 的摄像机)记录的场景的静止图像中以及影像中实施根据本发明的方法。原则 上,也可基于由模拟电子摄像机记录的图像信号实施该方法,然而,优选地通 过数码摄像机实施本方法。

根据本发明,背景可显示任意图像。例如,其可为具有多种颜色和/或多个 亮度级别的图像。尤其,优选地,从该文件的意义上讲,单色且亮度均匀的表 面不被理解成图像。

因此,背景的图像通过编码显示,该编码保持图像对于场景的直接的人类 观察者的可见性,或者甚至该背景的图像对于场景的这样的观察者而言是完全 不可见的。具有编码的图像为场景的直接观察者可见是指:如果观察者原地直 接观察场景和在距离背景有足够的距离处(然而在该距离处观察者仍然能够识 别图像的内容),则至少提供这种可见性。因此,图像的编码可包括图像的结构 化或者背景的结构化,条件是该结构化如此细微使得观察者在足够的距离处识 别出图像而结构化不具有干扰效应或不可觉察。

现通过电子摄像机记录具有背景和编码、以及位于背景前的前景的场景的 图像或影像。从而,记录场景的图像的摄像机的图像传感器产生信号。在该信 号中,背景与前景通过编码相区分。因此,这是利用背景具有编码而前景不具 有编码。

由于在图像传感器(其记录场景的图像或影像以用于后续显示或进一步处 理或传输)的信号中进行前景与背景的区分,因此可通过仅仅具有一个图像传 感器(即记录图像的传感器)的摄像机来实施本方法,而不需要多个图像传感 器。因此,优选地,确切地通过一个图像传感器实施本方法。因此,根据本发 明,也只需要该一个图像传感器的确切的一个图像信号。

在一些实施方式中,为了通过编码识别背景,需要适当改动待被摄像机或 图像传感器记录的图像。因此,如果改动记录的场景图像以用于保存、进一步 处理或传输,则恰好在记录图像之前改动未完成是优选的,从而在最终产生的 图像中至少前景是纯正的,正如其在未改动的图像中会出现的那样。

在本发明的有利的实施方式中,图像的编码或背景的编码可包括背景显示 该图像的周期性交替的不同组成部分,相应地一个周期的组成部分组成完整的 图像。周期持续时间(即在该时间内,图像的所有组成部分显示一次)从而被 选择成如此短以致完整的图像对于场景的直接观察者可见。现在使摄像机的曝 光时间与所述组成部分的显示同步,以使摄像机总是只记录图像的一个组成部 分,该组成部分被选择成使得其允许通过键控方法、优选地通过基于颜色的键 控(例如色度键控)将前景和背景区分开。如果m是图像被细分成的组成部分 的数目,则如果摄像机精确地记录每一周期的一个组成部分,有利地,在显示 时,所述组成部分改变的频率为摄像机的曝光频率的m倍。

在示出这样的组成部分的过程中,影响图像显示的至少一个成像参数可在 一个周期的过程中改变。成像参数可被理解成例如以下参数:适合于控制各个 像素、成组的像素(图案)或完整的图像的颜色通道、对比度、亮度和/或饱和 度的权重因子或比例因子的一个值或成组的值。

对于键控,在摄像机曝光期间记录的背景的组成部分提供遮罩,该遮罩允 许将前景与背景区分开。因此,例如,曝光的组成部分可显示增强的背景的图 像的特定的颜色组成部分,或者专门地,优选地该颜色组成部分被选择成使得 其不存在于或仅仅较弱地存在于前景中。在这种情况下,例如通过基于颜色的 键控,尤其色度键控,可将前景与背景区分开。

根据本发明,在本发明的所有实施方式中,任何能够产生遮罩(通过该遮 罩,可将前景与背景区分开)的方法意欲被理解为键控方法。通常,“键控”描 述一种用于检测图像或视频中的组成部分的过程。由此,所述组成部分可被识 别或滤掉(图像分析)并且可以被其他图像源所替换(图像合成)。在图像分析 中,检测图像中的特定特征或编码且由所述特定特征或编码产生与待被检测的 图像组成部分相对应的遮罩。遮罩可作为图像合成中的模板。基于属性或编码 计算遮罩不必是完全的并且可通过另外的过程进行补充。例如,本文包括图像 分析过程,例如:光流法,根据颜色、边缘等的图像分割法或试探法(即,关 于场景中的物体的假设)。尤其,可从摄像机追踪得到信息,在该信息的帮助下, 得知摄像机在场景中的视角使得可预先确定图像中的背景的位置和尺寸或者甚 至前景的位置和尺寸。

因此,通常,将前景中不存在的属性或者在前景中仅仅较弱出现的属性作 为编码添加到背景中,以使在基于该属性的遮罩中,将前景与背景区分开。

在上文描述的实施方式中,用于曝光的组成部分使用于键控的遮罩可使用。 一个周期的其他组成部分使图像完整以形成对于场景的直接观察者而言完整的 图像。在显示这些其他组成部分期间,优选地摄像机不记录。

例如,在曝光期间示出的组成部分可显示图像的增强的或减弱的特定的颜 色成分,从而通过该颜色成分,可将背景与前景区分开。因此,当前景示出该 颜色成分减弱时,曝光的组成部分示出该颜色成分增强;或者,当前景示出该 颜色成分增强时,曝光的组成部分示出该颜色成分减弱。则背景在一个周期中 示出的组成部分或其他组成部分可示出相应地减弱或增强的互补的颜色成分, 以使场景的直接观察者感知到图像的实际颜色。

在本发明的有利的实施方式中,背景的图像可被相应地恰好分为两个组成 部分,该两个组成部分以特定的频率交替显示。则摄像机可以以交替频率的一 半进行同步记录。因此,在摄像机的一个周期期间,总是显示图像的两个组成 部分。因此,所示出的组成部分改变的频率是摄像机的曝光频率的两倍。

在上述实施方式的另一实现中,例如,可将颜色分成三个组成部分且仅有 三分之一的组成部分曝光。因此,摄像机仅曝光三个组成部分中的一个组成部 分。在该情况下,改变组成部分的频率将被选择成为摄像机的曝光频率的三倍。

根据本发明的方法的另一实施方式提供了,图像的编码或背景的编码包括 背景显示按照时间而交替的图案,该交替的图案在一个周期内互补以形成完整 的图像。通过周期性交替的图案,在图像传感器的信号中,可将前景与背景区 分开。

由此,在本发明的有利的实施方式中,图案检测(例如基于傅里叶变换和/ 或傅里叶滤波的图案检测)可在图像传感器的信号中实施。因此,通过图案交 替示出的频率,可将前景与背景区分开。在傅里叶变换中,背景区域示出交替 频率的成分,而前景没有示出交替频率的成分。

有利地,背景示出的图案在图像传感器的扫描方向上可以是周期性的,并 且可尤其为例如棋盘图案。图案的各个区域(即例如棋盘方格)可在亮和暗之 间振荡,正如在不同的颜色成分之间振荡。

为了产生振荡图案,背景可尤其为自发光的,例如LED显示器;或者,与 图案对应的可控滤光片也可设置在背景的图像的前面,该滤光片周期性交替地 阻挡图像的不同部分。

对于棋盘图案而言,振荡图案可交替地以棋盘图案和与该棋盘图案反演的 棋盘图案的形式示出。

优选地,图案是二元的,即图案在两个状态之间精确地转换。在一个状态 中,给定的图案区域使图像的光完全通过或者以最大亮度发光;在另一状态中, 给定的图案区域使图像的光减弱或者以降低的亮度发光。减弱也可是完全减弱 或者完全黑暗。

在本发明的另一实施方式中,图像的编码或背景的编码可包括在背景幕上 以彩色点形式表示在网格中的图像。从而,彩色点与围绕它们的背景幕一起构 成图像的彩色点的位置处的颜色。因此,图像的背景幕也可以是黑色的从而通 过彩色点的颜色而精确地给出图像的颜色。

现在,彩色滤光片被设置在图像传感器的前面或者设置在摄像机的前面, 该彩色滤光片精确地使彩色点的颜色减弱或者滤掉彩色点的颜色,以及可以使 背景的颜色通过而不使其减弱。由于实际上背景并非完全是黑色的,因此,即 使在黑色背景的情况下,彩色滤光片使那些不是彩色点的颜色的颜色通过,而 不使其减弱。

在图像传感器记录的图像中,由于滤光片的存在,图像的背景幕的颜色相 对于彩色点的颜色增强地存在。如在本发明的所有基于颜色的实施方式中,如 果现在所选择的背景幕的颜色在前景中不存在或者仅较弱地存在于前景中,则 通过基于颜色的键控可将前景与背景区分开。还可以选择彩色滤光片以使场景 的除了彩色点的颜色之外的所有颜色可由穿过该彩色滤光片的颜色组成。

为了在最终产生的图像中显示前景而没有颜色偏差,可计算出图像传感器 的前面的彩色滤光片的作用。

在特别优选的实施方式中,图像传感器前面的彩色滤光片可为光谱滤光片, 尤其是干涉滤光片,其滤掉在整个可见光范围中分布的特定范围的可见光谱。 相应地在每一个彩色点的前面,可设置与摄像机前面的滤光片互补的光谱滤光 片或干涉滤光片,该滤光片本身使均匀分布在可见光谱中的颜色通过,以使得 从这些通过的颜色中,可显示图像显示所需的全部颜色。彩色点的彩色滤光片 和摄像机的彩色滤光片互补这一事实是指:在可见光范围内,这些滤光片使不 同的、基本上非重叠范围的可见光谱通过。例如,也可使用陷波滤光片来代替 干涉滤光片。

由于彩色点,背景在网格中表示图像。因此,优选地,该网格的分辨率选 择成使得场景的观察者从特定的距离识别出图像。

背景的彩色点可被配置成反光的或者自发光的。例如,通过灯泡或发光二 极管(LED)可产生自发光的彩色点。由于发光二极管可通过仅单色光来实现, 因此可通过发光二级管构成背景的彩色点,且通过图像传感器或摄像机前面的 滤光片(例如干涉滤光片),可以精确地滤掉或减弱所述发光二级管发出的频率。 如果摄像机前面的滤光片使非发光二级管发出的频率通过而没有减弱,则图像 的背景幕以及前景可由这些颜色显示。

在本发明的另一实施方式中,图像的编码可包括仅发出或反射选自光谱中 彼此间隔的可见光谱的至少一个范围、优选地至少两个范围的颜色的背景。现 在,场景发出的光在入射在图像传感器上之前所通过的彩色滤光片被设置在图 像传感器或摄像机的前面。所述彩色滤光片被选择成使得其使图像的颜色所选 自的那些范围的可见光谱减弱,而使位于这些范围之间的可见光谱范围通过而 不发生减弱。以此方式,背景以减弱或黑暗的形式出现在图像传感器上,同时 前景呈现为由通过彩色滤光片的那些颜色构成。如果合适地选择滤掉的光谱范 围或者通过的光谱范围,则从而可显示前景的所有颜色。尤其,通过的范围的 选择也可适于在前景中出现的那些颜色。

在图像传感器记录的图像中,通过对颜色减弱的区域进行键控可将背景与 前景区分开。因此在该情况下,颜色减弱产生键控遮罩。如果图像传感器前面 的滤光片进行的减弱作用不完全,则假定其是必须的,则颜色减弱区域,尤其 是前景,可通过计算重建以显示最终的图像。

有利地,在该情况下,通过在背景的前面和前景的后面(即在背景和前景 之间)设置相应的彩色滤光片(即例如干涉滤光片),可实现背景的编码。以此 方式,从背景发出的光穿过该彩色滤光片使得基本上只有来自背景的被位于背 景和前景之间的滤光片滤掉的光入射在摄像机前面的彩色滤光片上。从而,仅 仅没有被摄像机前面的滤光片滤掉或者减弱的颜色成分出现于前景中。

在本发明的另一可行的实施方式中,背景的编码可包括至少发出一个非可 见光谱范围的电磁辐射的背景。现可将转换装置设置在图像传感器的前面或者 摄像机的前面。这可具有平面构型,具有基本上平行于图像传感器和/或平行于 摄像机的入光面而取向的表面。

一方面,转换装置具有这样的区域,即在该区域中可见光可不受阻地穿过 该装置。在其他区域中,该装置具有实现将非可见光辐射转换为可见光的元件, 并且该元件包括在背景发出的光的光路中的被转换的光。例如,光路中的所述 包括可通过一个或者多个合适的包括在摄像机透镜系统的光路中的光转换元件 的透镜而发生,使得所述包括对于摄像机而言呈现为背景的一部分。有利地, 这种类型的单独的透镜被分配至每一光转换元件。

优选地,转换元件以网格形式设置在转换装置的表面上。因此,该转换元 件以等间距的间隔存在于该表面上。可见光可在转换元件之间穿过转换装置。

非可见电磁辐射可为紫外线辐射或红外线辐射。

在图像传感器记录的图像中,转换装置产生遮罩,利用该遮罩,通过键控 方法将背景与不发出或者在较小的程度上发出相应的非可见光辐射的前景区分 开。有利地,转换装置将非可见光转换成在前景中不存在的或者仅在较小程度 上存在的颜色。

荧光材料的点或磷光材料的点可以作为光转换元件。接着,优选地对于每 一点,提供用于将相应的点整合到摄像机的光路中的背景中的装置。通过荧光 材料或磷光材料进行的光转换产生非定向的具有特定颜色的可见光。因此,优 选地使用随后定位且集成在滤光片中的透镜以使该散射光对应于光路成束。作 为协助,相应地补充透镜功能的光障也可用在滤光片中。因此,光障可吸收或 反射散射光的由于其穿过透镜的方向(例如,由于其相对于光路横向延伸)而 不能够在摄像机的光路中成束的部分。对于与光路相反的散射光,光障可以是 半反射性的(即,使入射的非可见电磁辐射通过,相反,材料转换成的散射光 在反方向反射并且再次退回到光路中)。

在本发明的另一可行的实施方式中,图像的编码可包括仅发出和/或反射一 个特定的偏振方向或旋转的偏振方向的偏振光的背景或图像。这里可使用线性 偏振或圆偏振。在摄像机的前面或图像传感器的前面设置彩色滤光片和偏振滤 光片,场景发出的光在入射在图像传感器上之前穿过这些滤光片。优选地,由 此,彩色滤光片设置在偏振滤光片的前面,因此使得从场景发出的光在入射在 图像传感器上之前,首先穿过彩色滤光片然后穿过偏振滤光片。优选地,彩色 滤光片可减弱或提高或增强一个颜色成分。

因此,在图像传感器前面的偏振滤光片被定位成该偏振滤光片滤掉图像所 发出的或反射的偏振光。因此,通过对由图像传感器产生的图像中的暗图像成 分进行键控,可实现将前景与背景区分开。因此,不具有彩色滤光片的色调的 暗图像成分作为用于键控的遮罩。

可以参考这样一个事实:本文的彩色滤光片优选地仅减弱相应的颜色成分 但并不完全滤掉相应的颜色成分。以此方式,由于偏振滤光片滤掉背景的偏振 光而产生的那些黑色区域可与前景的可能的黑色区域区分开,这是因为前景包 括具有彩色滤光片的色调的较浅的黑色。记录的自然场景中的黑色并不是完全 黑色的而是深灰色。因此,此外,由于彩色滤光片,对象获得非感知的但是可 测量的色调。然而,由偏振滤光片所减少的光多数被广泛吸收,而与颜色无关。

在本发明的另一可行的实施方式中,图像的编码或背景的编码包括背景至 少发出一个非可见光谱范围的电磁辐射(例如紫外线或红外线)。在图像传感器 的前面设置转换装置,场景发出的光在入射在图像传感器上之前穿过转换装置。 该转换装置使从场景发出的非可见电磁辐射转换成可见光,并且从图像传感器 的角度将该可见光并入场景中。

有利地,转换装置具有分束器,光在入射在图像传感器上之前穿过该分束 器,并且,该分束器使非可见光辐射至少部分地偏转向转换器,该转换器检测 非可见光辐射且产生与背景精确对应的可见光的相应图案。该可见光可被并入 朝向图像传感器的光路中(例如通过半透镜),使得图像传感器通过半透镜和分 束器看到场景。因此,在该实施方式中,首先通过分束器使非可见光辐射至少 部分地偏转在光路之外,然后,通过半透镜使与背景对应的图像并入光路中。

转换器可具有图像传感器和成像透镜系统,通过成像透镜系统,由非可见 光辐射在图像传感器上生成背景图像。例如,转换装置可产生相应的可见光辐 射,接着,通过图像显示器,该相应的可见光辐射的图像被并入摄像机的光路 中,如描述的。显示器的并入的图像在由摄像机的图像传感器生成的图像中的 背景区域中形成附加的色调或图案。随后的键控由此生成遮罩,通过该遮罩可 将前景与背景区分开。

在所有的实施方式中,元件设置在摄像机前面或设置在图像传感器前面是 指该元件被设置在图像传感器和场景的前景之间。因而,该元件可被容纳在摄 像机透镜系统的前面、摄像机透镜系统中、或者在摄像机透镜系统和图像传感 器之间。滤光片可被设置在背景的前面是指滤光片被设置在图像或背景与前景 之间。

在示出背景的或背景图像的周期性交替的组成部分的本发明的全部实施方 式中,交替频率优选地大于最大可感知的交替频率25Hz,高于25Hz时,所示 出的交替组成部分被观察者感知为该交替组成部分所组成的图像。优选地,交 替频率大于或等于50Hz。

附图说明

参考一些附图,通过示例随后说明本发明。因此,相同的附图标记对应于 相同的特征或相应的特征。在示例中示出的特征也可在各个示例中组合并且独 立于具体的示例而产生。

这里示出:

图1为根据本发明的第一实施方式的用于实施根据本发明的方法的构造;

图2为根据本发明的第二实施方式的用于实施根据本发明的方法的构造;

图3为根据本发明的第三实施方式的用于实施根据本发明的方法的构造;

图4为根据本发明的第四实施方式的用于实施根据本发明的方法的构造;

图5为根据本发明的第五实施方式的用于实施根据本发明的方法的构造;

图6为根据本发明的第六实施方式的用于实施根据本发明的方法的构造

图7为根据本发明的第七实施方式的用于实施根据本发明的方法的构造;和

图8为两个互补的干涉滤光片的两条光谱的示意图。

具体实施方式

图1示出根据本发明的第一实施方式的用于实施根据本发明的方法的装置。 通过摄像机1拍摄具有前景2和背景3的场景。摄像机1具有图像传感器(未 示出),该图像传感器产生图像信号4,该图像信号被提供到用于图像分析和/或 图像处理的装置5。例如,摄像机1可具有成像透镜系统1a和摄像机壳体1b, 图像传感器设置在摄像机壳体1b中。

在示出的示例中,前景2为简单的立方体。然而,在全部实施方式中,根 据本发明的方法可对任何前景2实施,尤其是对例如体育赛事的运动员实施。 同样,只要背景3允许实施本发明所需的编码,则背景3可为任何类型。例如, 背景可为演播室背景或体育场内的场地周边广告。

在图1示出的示例中,背景3示出一图像。因而,示出图像的相应的一个 周期中的周期性交替的不同的组成部分,这些组成部分构成该完整的图像。在 时间t1,t2,t3,…,t8,…时的图像的组成部分的显示现与摄像机的曝光同步, 使得在至少一个周期中,优选地在每一周期中,摄像机仅记录组成部分中的特 定的一个t1,t3,t5,…,选择该特定的一个组成部分以便其允许通过键控来区 分图像信号中的前景和背景。例如,键控可为基于颜色的键控,优选地色度键 控。然后,分析装置5区分摄像机1的图像传感器所记录的图像4中的前景和 背景。

在示出的示例中,例如,背景的图像可被分成两个图像,第一图像包括来 自背景的原始图像的可选地减色的组成部分,第二图像包括补色的组成部分, 使得原始图像以这两个图像的组合形式生成。则两个图像可以以高频率(例如 100Hz)交替示出以使得这两个图像不再单个地为观察者所感知。则记录用的摄 像机1可以以该频率的一半(例如50Hz)和减小的曝光时间(例如1/100秒) 同步操作,从而仅有两个图像中的具有所选择的颜色成分的第一图像被摄像机 记录。针对反射背景还可被动地产生该方法。出于该目的,可驱动的LCD彩色 滤光片可被设置在背景的前面,该滤光片相应地使图像的相应的组成部分通过。 在背景自发光(例如LCD显示器)的主动情况下,背景可被特定地驱动以相应 地显示图像的组成部分。

图2示出用于实施根据本发明的方法的另一有利的设置。由此,用于编码 的背景示出周期性交替的图案,所述周期性交替的图案在一个周期内互补以形 成完整的图像。因此,如果将一个周期的所有图案考虑在一起,则生成了完整 的图像。

通过摄像机1的图像传感器记录包含背景3和前景2的场景并且通过分析 装置5分析图像信号4。在图像传感器记录的图像中,现在通过周期性交替的图 案可将前景2与背景3区别开。出于该目的,例如在图像传感器的信号4中可 执行傅里叶转换,并且通过图案的交替显示的频率可将前景2与背景3区别开。 因此,例如可对图像传感器进行行扫描,且可直接对扫描信号执行分析。周期 性交替的图案通过交替频率在傅里叶转换中产生频率成分,与对何种背景进行 成像无关。

可以通过分析连续图像而在一段时间中以及在一个图像内实现所述分析。 因此,可寻求在摄像机1的图像分析中的对应的图案。来自摄像机追踪的信息 可帮助分析。例如,来自摄像机追踪的信息可有助于确定图案尺寸。

不同的图案是可行的。在示出的情况中,背景3示出棋盘图案,该棋盘图 案具有交替的黑色方格和以下这样的方格:其示出在该相应方格的位置处自该 图像剪下的图案。在这里交替示出棋盘图案以及与其互补的棋盘图案,在该与 其互补的棋盘图案的情况下,黑色方格和示出图像的方格相对于实际的棋盘图 案互换。

这里选择高振荡频率以至于观察者不能感知到该频率(例如50Hz)。该频率 也可与摄像机的图像频率耦合。

可被动地产生背景的图案,例如通过可驱动的滤光片,例如LCD滤光片。 也可将背景主动配置成自发光背景,例如LED显示器。

图3示出用于实施根据本发明的方法的另一可行布置。对于编码,这里通 过背景幕7上的彩色点6示出图像。优选地,背景幕7上的彩色点6布置在网 格中。彩色点6相应地与围绕它们的背景幕一起表示在相应的位置处的图像的 颜色。背景幕也可是黑色的,以便使得图像颜色完全由彩色点提供。彩色滤光 片8现设置在摄像机1的图像传感器的前面,优选地设置在摄像机1的透镜1a 的前面,该彩色滤光片精确地减弱或滤掉由彩色点发出的颜色。优选地,背景3 的背景幕7的颜色选择成使得该颜色在前景2中不出现或者仅在小的程度上出 现。在由摄像机1的图像传感器产生的图像信号4中,通过对背景幕7的色调 进行键控,则可在分析装置5中将背景3与前景2区分开。因此,背景幕7形 成待分析的颜色(或图案)以生成用于键控的遮罩。

优选地,点被设置成:对于在特定最小距离处的直接观察者来讲,网格不 呈现为网格形。例如,该最小距离可通过在场景本身中的观察者的正常位置而 提供,例如,在体育场中的场地周边广告的情况下,通过离场地周边广告最近 的座位距该场地周边广告的距离而提供最小距离。则如果彩色点6以相对于彼 此有较小的间距的方式被设置在具有特定颜色的背景幕7或黑色背景幕7上的 网格中,则实际的图像对于观察者可见。此外,网格还应被选择成非常窄以便 使得在特定的最小距离处从摄像机的位置处摄像机不能检测到该网格。则对于 摄像机和场景中的观察者而言,由相对于背景的相应距离产生所需的彩色印象。

彩色点现在仅发出来自可见光范围的特定波长的光,所述特定波长的光精 确地被图像传感器前面的彩色滤光片8滤掉,因此只有背景幕的颜色基本上保 留在图像传感器上。

可特别有利地实现在图3中示出的且后来参照图8进行更详细论述的利用 干涉滤光片的解决方案。由此,仅使可见光谱的频率的一部分通过的干涉滤光 片被设置在每一彩色点6的前面。因此,优选地该部分具有在可见光谱范围内 分布的彼此间隔的多个区域,从而可由此形成图像的颜色。则彩色滤光片8为 与彩色点6的前面的彩色滤光片互补的干涉滤光片,该干涉滤光片精确地滤掉 或减弱那些通过彩色点6前面的彩色滤光片而没有被减弱的颜色。优选地,彩 色点6为自发光的,即,例如灯泡或LED。

图4示出用于实施根据本发明的方法的另一可行实施方式。将彩色滤光片9 设置在背景3和前景2之间,彩色滤光片9仅发出选自在光谱中彼此有间隔的 可见光的至少一个范围、优选地两个范围的颜色。在摄像机1的图像传感器的 前面或者摄像机1的透镜系统1a的前面设置有另一彩色滤光片8,从场景发出 的光穿过该彩色滤光片8进入图像传感器中。该彩色滤光片8精确地滤掉或减 弱穿过彩色滤光片9的那些范围的光谱。因此,在图像传感器上,背景相对于 前景2呈现出减弱或者黑色,前景2尤其发出穿过彩色滤光片8的那些频率范 围的光。因此,暗区域在图像传感器的图像信号4中形成遮罩,利用该遮罩可 实施对于暗区域且因此对于背景进行键控。以此方式,图像分析装置5可将前 景2与背景3区分开。

在该实施方式中,优选地,滤光片8和滤光片9也为彼此互补(即,可透 过不同范围的可见光谱、优选地非重叠范围的可见光谱)的干涉滤光片。

如果背景3自身只发出滤光片8所滤掉的特定频率范围的光,则可省去彩 色滤光片9。例如,可利用发出限定光谱的LED产生这样自发光的背景。因此, 彩色滤光片8可被设计成使得其精确地降低或滤掉LED发出的频率。

彩色滤光片9可被选择成使得穿过该彩色滤光片9的可见光谱的颜色区域 足以显示背景中出现的颜色。相应地,彩色滤光片8也可被选择成使得穿过该 彩色滤光片8的频率足以显示在前景2中出现的颜色。以此方式,由图像传感 器产生的图像可被进一步使用,而不需校正。然而,在图像传感器记录的图像 中校正前景的颜色始终是可能的,其校正由于滤光片8引起的可能的颜色偏差。

图5示出用于实施根据本发明的方法的另一构造。对于编码,背景发出非 可见光辐射10,例如该辐射10可为紫外线辐射或红外线辐射。平面转换装置 11被设置在摄像机1的图像传感器的前面或者摄像机1的透镜1a的前面,该转 换装置使入射在其区域上的辐射通过,并且在其区域中具有例如发荧光或发磷 光的元件15,通过元件15,非可见光辐射10被转换成可见光13。因此,可使 元件15均匀设置,尤其设置在装置11的表面上的网格中,以便一方面,可见 光12可在每一区域中穿过,另一方面,可使非可见光辐射10转换成可见光。 所有入射在图像传感器上的辐射通过装置11。因此,在图像传感器上,一方面 显示未变化地穿过装置的光,另一方面显示通过非可见光辐射10的转换而产生 的光13。由于非可见光辐射10由背景3发出,因此摄像机1的图像传感器精确 地记录光13,在图像传感器处对背景3进行成像。优选地,由装置11产生的光 13的颜色被选择成使得可将光13的该颜色与前景2中出现的颜色区分开。因此, 所产生的光13形成遮罩,利用该遮罩,通过键控方法可将前景2与背景3区分 开。

假定用于使非可见光辐射转换成可见光13的元件15发出不定向光13,则 透镜14可被分配给每一元件15,该透镜被设置成使得其从图像传感器的视角示 出背景3中的未转换的光13。优选地,还可对每一元件提供遮光件,该遮光件 仅仅使沿着光路方向的光穿过。

图6示出用于执行根据本发明的方法的另一可行布置。背景3发出特定偏 振方向的偏振光16。彩色滤光片17和偏振滤光片18被设置在摄像机1的图像 传感器的前面,偏振滤光片的通过方向与背景发出的光16的偏振方向相垂直。 当使用圆偏振时,旋转的通过方向会补充偏振旋转。优选地,场景发出的光在 入射在图像传感器上之前,首先通过彩色滤光片17,然后通过偏振滤光片18。 在该布置中,在图像传感器记录的图像中,背景呈现黑色,而没有色调。相反, 对于场景的直接观察者来讲,由于这些观察者可感知到偏振光16,因此背景3 呈现出正常的颜色。由于彩色滤光片17的存在,由摄像机1的图像传感器产生 的图像中的前景2具有的色调可随后通过计算机在图像信号4中得到补偿。

在本方法的该实施方式中,没有色调的黑暗图像组成部分,即来自于背景3 的图像组成部分形成遮罩,通过该遮罩,可实施键控以将前景2与背景3区分 开。

图7示出用于实施根据本发明方法的另一布置。由此,除了实际图像外, 背景3还发出非可见光辐射10,例如紫外线辐射或红外线辐射。在该实施方式 中,转换装置19被设置在图像传感器的前面,优选地在摄像机1的成像透镜系 统1a后面的光路方向上,通过该转换装置19,可从非可见光生成背景3的可见 图像。因此,装置19具有分束器20和半透镜21,它们两个相继设置在自场景 入射在图像传感器上的光的光路中。分束器20使非可见光至少部分地偏转到转 换装置19的图像传感器22上。转换器24记录通过图像传感器22由非可见光 辐射10生成的图像,并且在图像显示器23上产生可见光的图像,该图像对应 于图像传感器所记录的图像因而精确地示出由非可见光辐射10所预设的图案。 然后,由图像显示器产生的图像通过半透镜21被并入到来自场景的入射在摄像 机1的图像传感器上的光的光路中,并且在由摄像机1的图像传感器产生的图 像信号中作为图案以产生键控遮罩,利用该遮罩,通过键控可将背景3与前景2 区分开。

图8在上部和下部以示意图方式示出两个互补的干涉滤光片的光谱。在水 平轴上绘制出光的频率,该频率旨在基本上包括在所示出的示例中的可见光范 围。如果用包含相同强度的所示出的范围的全部频率的白光辐射干涉滤光片, 则在纵轴上绘制出穿过相应的干涉滤光片的光的相应强度。可检测到:干涉滤 光片使光谱中相间隔的多个范围的可见光通过。因此,可在两个干涉滤光片中 选择通过光的区域,以便可由此形成背景3的所需颜色或前景2的所需颜色。 所示出的两个干涉滤光片互补,这意味着在穿过上部示出的干涉滤光片的光谱 的区域精确地被在下部分示出的干涉滤光片滤掉,同时那些被上部的干涉滤光 片所滤掉的频率精确地通过下部的干涉滤光片。可参考这样的事实:滤光片不 必完全滤掉相应的颜色成分以使根据本发明的方法可行。减弱也是适当的。此 外,如在图8中示意性示出的,也不需要频率范围彼此分隔十分清晰。允许穿 过不同滤光片的范围在一定程度上重叠。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号