用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统

发明背景

1.技术领域

一种用于实时混合或复合计算机生成的3D对象和电影摄影机(例如 摄像机)的馈送视频以为电视广播、电影或视频游戏产生实时增强现实 视频的系统。

2.背景技术

在过去的20年中，在这一领域出现了大量的研究和商业活动；可以 参考来自以下公司的视频插入或增强现实系统，例如运动视觉有限公司 (Sportvision,Inc)，该公司已开发出用于体育赛事(例如美式足球)的 电视观看增强，增加了观众看到叠加在球场上的虚拟的第一次进攻线。 其他已在这一领域开发出系统的公司包括PVI有限公司。已知系统的一 个共同特征是它们主要依靠分析来自摄影机的馈送视频的特征以确定摄 影机指向真实世界场景中的哪一部分；该系统早期已建立那个场景的三 维映射，以便一旦它知道它指向场景中的哪个位置，它能够在馈送视频 中以如下方式添加或复合计算机产生的对象(如虚拟的第一次进攻线)， 通过对象的位置和方向使它看起来好像场景的自然部分。这种方式中仅 仅依赖光流的一个缺点是这种系统可能会不可靠。

其它系统依靠以纯标记为基础的方法(例如光动力飞行器技术公司 (Lightcraft Technologies))。他们需要操作者把真实的物理标记(大小为 1米x1米)放在布景上由系统进行检测。它非常低效，因为它需要几小 时或几天来建立舞台，这对于影视制作来说是不可能完成的。它也具有 许多限制，因为物理标记必须总是保持在他们系统的视野中。也可以参 考附录1中引用的论文。

发明内容

本发明的一个方面是一种用于实时混合或复合计算机生成的三维对 象和电影摄影机(例如摄影机)馈送的视频，以为电视广播、电影或视 频游戏产生增强现实视频的系统，其中：

(a)电影摄影机的机身可以在三维移动，且在电影摄影机中或直接 或间接连到电影摄影机的传感器提供限定电影摄影机的三维位置和三维 方向或使电影摄影机的三维位置和三维方向能够计算出的实时定位数 据，以及

(b)然后，系统自动使用实时定位数据以创建、调用、呈现或修改 计算机产生的三维对象，以及

(c)然后，混合或复合产生的计算机生成的三维对象和电影摄影机 馈送的视频以为电视广播、电影或视频游戏提供增强现实视频。

可选特征—一些或全部特征可以彼此结合，包括以下：

·实时混合或复合计算机生成的三维对象和电影摄影机的实时馈送 视频。

·测试和使用电影摄影机的实时变焦、聚焦以及光圈设置，连同实 时定位数据，以便在三维场景的预定位置和方向正确地呈现三维对象。

·传感器包括加速计和陀螺仪(六自由度传感器(6DOF sensor))

·传感器包括测量三维平移加速度的三轴加速计、测量三维角速度 的三轴陀螺仪、以及测量三维绝对朝向的磁力计，因此组成了九自由度 传感器。

·传感器包括三维距离传感器，例如结构光或飞行时间摄影机。

·三维距离传感器获取摄影机的视频输出中每个像素的深度 (depth)。

·通过在电影摄影机的高分辨率馈送视频上重新投影三维距离传感 器深度来完善边缘深度。

·传感器形成可以完全固定到电影摄影机上的单元

ο该单元包括一个或两个见证摄影机(witness camera)。

ο该单元包括三维距离传感器，其获得视频输出中每个像素的深 度。

ο该单元包括六自由度或九自由度传感器。

ο该单元使用可切换的悬挂器(hanger)以允许它被固定到不同 尺寸和设计的电影摄影机和杆上。

ο该单元可扩展为包括其它形式的传感器。

ο该单元可以组成测量设备，其可以用于测量复杂的场景并无线 传输限定测量的三维场景的数据至计算机，该计算机然后可以追踪或恢 复场景的追踪。

ο电影摄影机包括传统编码器以读取摄影机变焦、聚焦和光圈。

·系统包括一个单一的见证摄影机(单视场的情况)或两个见证摄 影机(立体视场的情况)，配备有镜头，可以是180度鱼眼镜头。

·见证摄影机偏置于电影摄影机，并且偏移值使用包括第一和第二 圆圈组的校准表得到，每个圆圈处于相对一个或多个其他圆圈已知的位 置且每个圆圈使用二进制大对象图像算法(blob image algorithm)进行识 别。

·使用包括若干圆圈的校准表校准电影摄影机镜头的光学畸变，每 个圆圈处于相对一个或多个其他圆圈已知的位置且每个圆圈使用二进制 大对象图像算法进行识别。

·电影摄影机是以下的任意一种：升降架摄影机、摄影机稳定器、 手持式摄影机、移动摄影车式摄影机、三脚架摄影机、智能手机、增强 现实眼镜。

·电影摄影机的三维位置和方向参考部分通过使用来自传感器的实 时三维定位数据加上光流生成的真实世界的三维映射确定，其中见证摄 影机测量场景且在处理器上运行的软件检测场景中不是手动或人为增加 到场景中的自然标记(“特征点”)。

·该系统使用一个或两个高速(例如至少100fps)见证摄影机使该 系统能够完全初始化，没有仅仅测量追踪场景的独立阶段(“即时测量”)， 恰恰相反，在摄影机用于拍摄视频的同时测量连续发生。

·立体视场系统启用软件处理图像且甚至在一点也不用移动摄影机 系统的情况下产生即时三维点云(例如使用两个摄影机之间的间隔和对 极几何的认知将场景中的大量点与它们在三维空间的位置结合)。

·三维点云中每个像素的深度使用从每个立体见证摄影机获得的相 应的二维纹理补丁和极线线性搜索算法(epi-polar line search algorithm) 得到。

·系统运行结合了来自见证摄影机系统的光流数据和来自硬件传感 器的实时定位数据的融合算法。

·融合算法是根据扩展卡尔曼滤波(Extended Kalman Filter，EKF) 预测/校正技术整合所有的传感器输出，以及重新校准所有的传感器，以 确定摄影机的位置和方向，其中所有的传感器可以包括加速计、陀螺仪、 磁力计、三维距离传感器。

·当确定如何合并来自每个传感器的数据时，EKF融合算法使用与 从每个传感器的输出有关的置信度数据。

·见证摄影机系统产生的关键帧是视觉追踪过程的一部分且是在见 证摄影机馈送视频的四个不同分辨率水平计算的实时图像。

·系统包括(a)内容生成计算机，其提供三维计算机生成的虚拟图 形、对象和地点的动画，以及(b)呈现计算机(其可以独立于或不独立 于内容生成计算机)，其中限定电影摄影机的三维位置的实时定位数据由 内容生成计算机和呈现计算机中的二者之一或二者使用以实时引起要生 成的计算机生成的三维对象，该实时计算机生成的三维对象可以实时插 入和混合到电影摄影机的馈送视频中以形成馈送视频中所示的场景的自 然部分。

·计算机生成的三维对象是动画，其可以在场景中的任何地方移动 且可以以内容生成计算机确定的方式改变他们的形状和外观。

·计算机生成的三维对象是人或生物的动画图形，当混合在场景中 时其以逼真的方式移动(如跑、跳舞、步行、战斗、飞行、跳跃......)。

·摄影机定位或追踪数据也可用于后期制作以方便后期制作CGI(计 算机图形影像)。

·三维距离传感器用于提高与重新构造的三维点有关的深度测量的 精度，或拒绝重新构造的三维点。

·三维距离传感器用于实时深度键控以实现动态遮挡(dynamic  occlusion)并抑制绿色阶段(green stage)的最终使用。

·系统使用了小型摄影机注册对象(camera registration object)，例 如已知尺寸和覆盖有已知图案放置在场景中的板，以便检测到的图案的 边缘地方被作为三维点云(以及因此该世界)的起点。

·摄影机注册对象包含至少两个已知尺寸、真垂直排布且使用二进 制大对象图像识别算法识别的球。

·系统包括表明磁北的磁力计、表明重力方向(以及因此给出真垂 线)的加速计、表明系统是否仰摄/俯摄或向左方或右方摇摄或围绕光轴 旋转的陀螺仪、实现对从初始位置的三维平移的推断的三轴加速计。

·软件尝试在三维映射中生成均匀分布的点云以大大减小追踪损失 且增加追踪精度(产生的视差越多，因此估计的摄影机位置越精确)。

·摄影机追踪系统可以无线连接到摄影机系统且当产生三维点云时 能够因此在布景周围快速移动，不需要在布景中拖拽电缆，不像早期的 见证摄影机系统。

·当导演/摄影师追踪、摇摄、倾斜连接到电影摄影机的摄影机追踪 系统时，摄影机追踪系统使三维场景的实时测量(单视场的情况)或即 时测量(立体显示的情况)与电影摄影机的追踪结合。

·系统使电影摄影机追踪的所有方面完全自动化，包括旋转、平移、 聚焦、光圈、焦距；且使混合到视频中的三维计算机生成的内容的缩放、 定位和方向自动化。

·系统实现对场景的实时连续测量以产生限定场景的更完整的点 云。

·系统附加旋转不变性描述符(rotation invariant descriptor)，例如使 用ORB(对象请求代理)，至场景中检测到的特征点以促进追踪的恢复。

·系统使用与传感器提供的信息有关的恒速模型，使用之前正确计 算的或确认的位置预测电影摄影机的下一个位置。它使用该预测在当前 画面上重新投影三维点云，使点匹配算法能够匹配见证摄影机系统在实 时馈送视频中识别的点和在新的三维点云中投影的点。

·系统为摄影机追踪使用莱文贝格－马夸特最小化方案 (Levenberg-Marquardt minimization scheme)以使在实时馈送视频中见证 摄影机系统识别的点和在新的三维点云中投影的点之间的误差减到最 小。

·用户可以使用摄影机追踪系统产生的三维点云限定三维蔽光框 (mask)，例如三维抠像蔽光框(3D Garbage Matting mask)。

·三维对象包括静态对象、动态动画、虚拟世界、虚拟人物、虚拟 建筑、虚拟景观、虚拟电影布景以及动画数据库中的任何数据。

·电影摄影机和见证摄影机使用调制光源对画面采集延时进行了校 准，例如通过比较与闪光灯(flashing LED)有关的光强度曲线。

其他概念—每个可以和上述定义的特征的任何一个或以下定义的任 何其他概念结合。

一种实时混合或复合计算机生成的三维对象和电影摄影机的馈送视 频的方法。其中电影摄影机的机身可以在三维移动且在摄影机中或连接 至摄影机的传感器提供限定摄影机的三维位置和三维方向或使三维位置 能够被计算出的实时定位数据。

一种用于实时混合或复合计算机生成的三维对象和电影摄影机(例 如摄影机)的馈送视频以为电视广播、电影或视频游戏产生增强现实视 频的方法，其中：

(a)电影摄影机的机身可以在三维移动且在电影摄影机中或直接或 间接连接到电影摄影机的传感器提供限定电影摄影机的三维位置和三维 方向或使电影摄影机的三维位置和三维方向能够被计算出的的实时定位 数据，以及

(b)然后，实时定位数据由系统自动使用以创建、调用、渲染或修 改计算机生成的三维对象以及

(c)然后，产生的计算机生成的三维对象与电影摄影机的馈送视频 混合或复合以为电视广播、电影或视频游戏提供增强现实视频。

上述定义和使用的方法或系统使导演(或摄影导演)能够实时将摄 影机中前期制作的计算机生成的三维资源(通常前期可视化 (previsualisation)或视觉效果资源)加入到摄影机拍摄的实景电影底片 或视频图像上，使导演能够探索可能的摄影机视角且随自动混合到导演 看得见的视频中的计算机生成的三维资源实时移动。

上述定义的记录实时定位数据并标出时间码的方法或系统为后期制 作过程提供了匹配移动数据。

上述定义和使用的方法或系统使虚拟对象或图像能够插入到播放视 频流中。

上述定义的方法或系统实现了以下的一个或多个：

·摄影棚用摄影机的实时追踪

·摄影机稳定器(Steadicam)的实时追踪

·升降架摄影机的实时追踪

·移动摄影车摄影机的实时追踪

·摄影机稳定器的实时追踪

·外部广播(OB)的实时追踪

·将实时数据(如追踪数据)用于二维后期制作

·将实时数据(如追踪数据)用于三维立体内容的后期转换

·将实时数据(如追踪数据)用于本地三维立体内容

·三维图像插入

·摄影棚或现场广告植入的三维图形插入

·OB的三维图形插入

·其他赞助图像的三维图形插入

·特定观众位置的三维图形插入

·特定观众的三维图形插入

·特定时间的三维图形插入

·填加人群场景的三维图形插入

·绿屏替换(green screen replacement)的三维图形插入

·在博物馆和文化、历史遗址和自然遗产解说中心辅助学习的教育 内容的三维图形插入

·场景中对象的绝对和相对尺寸的测量

上述定义的方法或系统，其中电影摄影机是下述之一：

-所有具有标准视角范围的摄影机(cameras with a standard tether)

-需要战术光纤连接(tactical optical fibre connection)的摄影机

-需要RF(射频)/无线连接的摄影机

上述定义的方法或系统，部署在以下市场之一：

-电影/电视(非直播)

-商业广告(非直播)

-商业广告直播

-广播(非体育)

-广播OB

-棚内体育节目

-基于OB的体育节目

-电视广告置入直播

-互联网用途(非直播)

-互联网直播

-基于区域的互联网直播

-互联网广告置入直播

-博物馆/遗产内容

-博物馆/遗产广告

-建筑

-游戏

上述定义的用于实现增强现实图像的方法或系统使能够通过任何显 示设备显示，包括智能手机、增强现实眼镜、依靠实时定位数据自动改 变的增强现实图像的外观。

一种影片、电影、电视节目或视频游戏，其中实时计算机生成的三 维对象与摄影机的馈送视频混合，其中摄影机的机身可以在三维移动且 在摄影机中或连接到摄影机的传感器提供限定摄影机的三维位置或使三 维位置能够被计算出的实时定位数据。

一种适合连接到传统摄影机的场景测量和追踪设备，其中摄影机的 机身可以在三维移动且在场景测量和追踪设备中的硬件传感器提供限定 摄影机的三维位置或使三维位置能够被计算出的实时定位数据。

一种手持式或便携式摄影机，包括在摄影机中或连接到摄影机的传 感器，其提供限定摄影机相对三维参考系的三维位置和三维方向或使三 维位置能够通过分析其他数据(例如光流数据)的系统的整体或一部分 被计算出的实时定位数据。

一种电影摄影机，其包括或连接到立体见证摄影机系统，见证摄影 头系统产生广角(如180度)立体图像，启用软件处理图像并在一点也 不追踪和移动摄影机系统的情况下产生即时三维点云。

一种用于连接电影摄影机的摄影机追踪系统，其具有产生立体图像 的见证摄影机系统，启用软件处理图像并在一点也不移动摄影机系统的 情况下产生即时三维点云并提供电影摄影机的实时追踪(位置、方向、 变焦、聚焦、以及光圈)。

增强现实眼镜，包括在眼镜中或连接到眼镜的传感器，其提供限定 眼镜相对于三维参考系的三维位置和三维方向或使三维位置能够通过分 析其他数据(例如光流数据)的系统的整体或一部分被计算出的实时定 位数据。

本实施系统被称为Ncam。Ncam的各种应用包括以下：

电影、电视和商业广告的视觉效果

前期制作和制作的视觉效果：Ncam旨在帮助填补拍摄过程(制作) 期间可视化预览(前期制作)和视觉特效VFX(后期制作)之间的差距。 Ncam为那些希望在摄影机VFX取景同时实时拍摄提供了解决方法。使 用之前创建的常常来自可视化预览过程的内容，Ncam能够实时在实景 拍摄电影底片上复合那些可视化预览资源，一般是三维模型或动画。

将精心制作且经过检验的可视化预览置于布景上可以节省大量的时 间。电影制作人可以设计可视化预览或VFX，它是否正在绿屏上拍摄和 复合虚拟背景或在前景上叠加生物或对象。然后，电影制片人能够撤销 探测可能的摄影机视角的可视化预览和VFX的控制且在没有通常约束的 情况下匆忙并实时移动。

依次记录数据并标出时间码，给出VFX部摄影机匹配移动数据(六 自由度追踪)同时为编辑提供最终的VFX的“临时”。

通过拍摄摄影机中的“临时”VFX和在早期过程中设计VFX，取出 VFX中的一些猜测工作作为后期制作过程是可能的。我们能够减轻VFX 设计过程，从而节约了损耗。

虚拟广告-现场直播

Ncam的技术非常适用于具有广播空间的实时虚拟广告。数码产品布 置变得越来越流行，其中在拍摄后后期制作期间插入产品，与摄影机中 的真实物理产品截然相反。然而，通过增加数码产品布置现场直播的能 力，我们能够开发各种可能性。例子可以包括在体育场上的品牌标志或 肥皂剧中的罐装饮料。实时根据拍摄环境灯光呈现拟真CG图像的能力 是至关重要的。

全息游戏

将Ncam的技术与全息显示器以及眼镜(例如谷歌眼镜)结合可以 提供完全身临其境的游戏体验。将现实世界与虚拟世界和人物进行了混 合。可能性是无止境的。

博物馆和遗产

Ncam的技术为博物馆和文物部门提供了大范围的潜在应用。

作为探索性工具，它可以用于遗址(例如遗迹)的重建，显示出该 地点在它旧日辉煌时是什么样子。

在博物馆内，Ncam可以用作教学工具，也许是为了展示恐龙的尺寸 和运动，它的内脏或骨架结构。另一个例子可以是探索内燃机的工作， 有效观察分解的动画图，但是在完全身临其境的三维空间。

虚拟摄影机-VCS

Ncam技术完全适合于这个应用。虚拟摄影机本质上是显示完整CG 三维环境的液晶LCD屏幕。当操作者移动LCD屏幕时，它在运动方面 就像物理摄影机。LCD摄影机在XYZ方向平移和旋转上进行追踪且实时 显示CG引擎的完整的CG环境。当前有各种VCS(虚拟摄影机系统) 解决方案可用，但是所有的在技术方面都有局限性。它们趋向于耗费时 间设置、局限于它们操作的空间和环境、以及价格昂贵。以Ncam为基 础的VCS很可能呈现平板电脑的形状，结合LCD屏幕本地计算过程。 可以根据要求从远程PC或可能本地进行CG计算。这种理念使得能够通 过可用性和价格点向多个电影中的之前不能使用这些工具的人的部门开 放存取。这对于设计师、建筑师、VFX、游戏公司、CG和动画工作室等 是非常有用的。

这个VCS也可以形成潜在博物馆和遗产解决方案的支柱。

虚拟侦察系统-VSS

如果你设想正在拍摄一部电影，且它主要在蓝幕/绿幕上。作为电影 制片人或导演，我如何解决哪一个视角或镜头将是最好的？终究，我可 能有少量的物理布景和几个演员，但是除了我的想象我不清楚哪个摄影 机视角是最好的，更不必说向整个剧组解释我们应该在哪里安装摄影机 和做出镜头的有效选择。当前我们可以移动电影摄影机和它的所有设备 至布景上的位置，设置Ncam并仅仅查看，即认识到它在另一个位置会 更好。要是我们有轻量级便携式系统迅速且高效地做出那些决定就好了。 这就是Ncam VSS。

像今天这样，VSS是Ncam，但是集成到小型化摄影机-想象是DSLR (数码单反相机)。本质上它是具有Ncam优势的数码取景器。像今天这 样，我们结合所有的Ncam元件在电影布景上，而是是在便携式设备中。 电视连播的虚拟产品也可以非常受益于此工具，博物馆/遗址以及想要向 潜在投资者展示他们的新创作的建筑师同样。

附图说明

图1

配置2.3的硬件描述。要注意的是，在此绘出的版本合并了追踪工作 站和呈现工作站。

图2

实时获得电影摄影机的位置和旋转的总体追踪算法。

图3

为我们的系统创建的三维自动调平注册对象。该对象用于真实场景 中以在我们的软件中自动计算真实世界的起点、方向和尺寸。平面版本 在图5的右侧示出。

图4

用于自然标记的检测的图像金字塔。该图也示出了一些与标记有关 的二维纹理补丁。

图5

Ncam开发和使用的校准表。左：用于校准所有镜头的校准表。中间： 用于电影摄影机和见证摄影机之间的对齐计算(lineup computing)的校 准表。左边的表也可以用于电影摄影机上的焦距足够短的情况(在布景 上通过实验确定)。右：注册对象的平面版本。更容易运用且可以放置在 地面上任何位置。当添加虚拟对象至真实场景时，圆圈给出了给定世界 方向、比例和起点(0，0，0)的标准正交基。上部左边圆圈的中心是世 界的起点。

图6

安装到具有不同悬挂器尺寸的(15mm和19mm杆)的电影摄影机 的摄影机杆。

图7

无线测量设备。当需要测量时(即例如单视场的情况(参见2.1，或 非常复杂的装置(参见2.1.3的末尾)))，然后，整个追踪过程使用该测 量设备实现。当测量完成时，所有的追踪数据(点云、关键点等)无线 传输至追踪/呈现工作站，其即刻恢复追踪并开始流输出追踪数据和最终 复合的结果。

图8

摄影机/计算机接线盒。要注意的是，此处示出了使用多个RJ45电缆 的版本。所有这些接线盒也具有变体，其中那些电缆被单个战术光纤电 缆替换。

具体实施方式

本技术是关于在电影布景、电视广播或视频游戏上混合实时计算机 生成的三维对象和来自真实摄影机(real camera)(本发明中其余部分称 为电影摄影机)的真实生活馈送视频。本系统的主要目标是：

·为电影导演提供虚拟人物和环境的实时取景工具。

·实时显示直接融入真实视频中的虚拟对象的照片般真实结果。

·为现场拍摄和电影后期制作提供电影摄像机位置的精确估计 (称为摄影机追踪)。适用于所有的电影摄影机：升降机摄影机、摄影机 稳定器、手持式摄影机、三脚架摄影机等。

·提供真实场景的三维几何模型的近似值、真实对象(和/或演员) 和虚拟环境(三维对象、人物等)之间的操作遮挡。

在此描述的技术首先是强大的传感器融合算法，因此融合从3个(立 体视场的情况)或2个(单视场的情况)不同的光流和4个其他传感器 (陀螺仪、加速计、磁力计、三维距离传感器)的物理测量结果计算出 的自然标记(即非手动添加到物理场景中的)。它也是完全非入侵式系统， 不需要手动添加任何物理标记或在真实场景中直接可见的任何物体做它 的工作。

1硬件

本技术根据必须流输出的数据的类型具有两种不同可能的硬件配 置。

这两种配置共同具有以下安装到称为摄影机杆(详情参见图6)的设 备上的硬件，以及单独的连接器，其本质上是合并或分开所有不同的电 缆至一个或几个独立的绝缘线束(loom)(见图8详细的图)的接线盒。

·根据选定的方式(单视场或立体市场)的一台或两台高速摄影 机(至少100fps)，称为见证摄影机。

·每个见证摄影机上安装有180度鱼眼镜头。

·九自由度传感器，包括陀螺仪、磁力计和加速计(或当磁力计 不能使用时是六自由度)。

·三维距离传感器，其拍摄像素的深度。

除了摄影机杆之外，所有的配置具有安装到电影摄影机上的普通镜 头编码器以读取变焦、聚焦和光圈值。它们也共同具有无线测量装置(详 情参见图7)以测量场景并研究它。然而，应当指出的是，在完全立体视 场(见2.5)的情况下，更确切地说即时测量的情况下(见2.5.1)，不需 要测量设备。

除了这些共同的特征，以下描述了这两种配置：

配置1:摄影机流

1.无线嵌入式计算机

(a)嵌入式追踪计算机安装在电影摄影机上。它无线流式输出电影 摄影机平移和旋转(RT)以及来自编码器的变焦、聚焦和光圈(ZFI)至 外部呈现工作站。

(b)外部内容生成工作站。该机器通常运行计算机制图软件以为最 终复合提供三维计算机生成的动画和相关的CG内容。它也流式输出动 画数据至外部呈现工作站(1-1c)。.

(c)外部呈现工作站，其一方面从嵌入式计算机(1-1a)接收数据， 另一方面也运用来自内容生成工作站(1-1b)的动画数据。这种呈现工作 站使用来自1-1a的电影摄影机RT+ZFI显示来自1-1b的三维虚拟环境， 且在来自电影摄影机的真实的视频流内混合结果。它也流式输出最终复 合的结果回到电影摄影机目镜或无线控制监控器。

2.有线嵌入式计算机

(a)嵌入式追踪计算机安装到电影摄影机上。它使用战术光纤电缆 流式输出电影摄影机平移、旋转(RT)以及编码器数据(ZFI)至外部呈 现工作站。

(b)类似配置1-1b。

(c)类似配置1-1c，除了最终复合的结果通过HD-SDI(高清晰度 串行数字接口)电缆发送回摄影机。

配置2：总流

1.无线嵌入式计算机

(a)嵌入式追踪计算机安装到电影摄影机上。在该单元没有实现真 实的处理。它只是无线流式输出所有的传感器数据至外部追踪工作站。 流式输出见证摄影机的2×视频流、l×九自由度数据、1×距离传感器数 据。数据的总量需要大于142MB/sec sec的最小的带宽(见证摄影机要 求63MB/sec，距离传感器74MB/sec，九自由度传感器4.4MB/sec)。

(b)外部追踪工作站，其从嵌入式追踪计算机接收数据。这个单元 处理所有的传感器数据以计算电影摄影机的旋转和平移矩阵。它流式输 出摄影机RT+ZFI至外部呈现工作站(2-1d)。

(c)外部内容生成工作站。该机器通常运行计算机制图软件以为最 终复合提供三维计算机生成的动画和相关的CG内容。它也流式输出动 画数据至外部呈现工作站(2-1d)。

(d)外部呈现工作站，其一方面从嵌入式计算机(2-1b)接收数据， 另一方面也运用来自内容生成工作站(2-1c)的动画数据。这种呈现工作 站使用来自2-1b的电影摄影机RT+ZFI显示来自2-1c的三维虚拟环境， 且在来自电影摄影机的真实的视频流内混合结果。它也流式输出最终复 合的结果回到电影摄影机目镜或无线控制监控器。

2.有线嵌入式计算机：

(a)嵌入式追踪计算机安装到电影摄影机上。它使用战术光纤电缆 或多个Cat-6RJ45电缆流式输出电影摄影机平移和旋转(RT)至外部呈 现工作站(2-2c)。编码器再次用于变焦、聚焦和光圈(ZFI)。

(b)类似配置2-1c。

(c)类似配置2-1d，除了最终复合的结果通过HD-SDI电缆被发送 回摄影机。

3非嵌入式计算机(参见图1图示说明：所有其他版本可以很容易地 从此得出)：

(a)单一摄影机追踪设备(摄影机杆)被连接到电影摄影机且连接 到接线盒。

(b)外部追踪工作站，其从嵌入式追踪设备接收数据。这个单元处 理所有的传感器数据以计算电影摄影机的旋转和平移矩阵。编码器再次 被用于变焦、聚焦和光圈(ZFI)。它流式输出摄影机RT+ZFI至呈现工作 站(2-3d)。

(c)类似配置2-1c。

(d)类似配置2-1d，除了最终复合的结果通过HD-SDI电缆被发送 回摄影机。

除了之前的配置之外，每个版本也具有两个其他变体。一个具有实 际上与外部呈现工作站融合的内容生成工作站，第二个变体具有与追踪 工作站融合的外部呈现工作站。

2.软件

已创建若干新的科学方法和软件以实现精确的追踪结果和实时增强 现实[19]。这些方法在下一部分进行描述。

2.1单视场无标记馈送视频追踪(Monoscopic Marker less Tracking  from video feed)

2.1.1过程概述

在该技术中使用的单视场技术在两个单独的通路上建立，这两个通 路技术上几乎相同，除了一个需要用户交互然而另一个完全自动。

第一通路被称为测量。用户采用了建立在部分1(也参见图7)的第 二段描述的硬件上的设备，以扫描真实场景和注册对象。在该阶段，当 用户四处扫描环境时，由系统在三维自动获悉和计算自然标记。用户一 开始进行测量，他也就必须拍摄注册对象(参见2.1.3.2)以便自动估计 世界的比例、起点和方向。一旦这种情况实现，用户可以继续扫描场景 的剩余部分以建立自然标记的可能的最好的三维点云(自然标记是人眼 不可见的特征点，其由我们的算法计算)。这个测量实现的越彻底，最终 的结果越好。测量部分是所有的工作中最重要的工作，它非常关键。

第二通路是电影摄影机追踪(参见2.1.4)，其由位于电影摄影机中的 追踪设备完成。根据各种情况以及遵循之前题为“硬件”部分的说明， 适用不同的配置。这个步骤是全自动的，且通常不需要任何人机交互。

2.1.2算法概述

在此描述的技术是根据多个传感器融合技术的增强现实构架(参见 2.3)。

事实上，它不依赖于通常的唯一光流数据来追踪摄影机和插入虚拟 对象。在相当多的例子中这种技术已经证明它们的科学和实际限制。例 如，如果用户隐藏了用于追踪的摄像机，那么追踪失败和丢失。如果摄 影机指向还没有测量的区域(参见2.1.3)，会发生完全一样的问题。此外， 即使电影摄影机一点不移动，由于由纯视觉追踪算法计算出的所检测到 的自然标记的精度，仍然存在着一些不可避免的轻微抖动问题。滤除数 据部分解决了这个问题，但你决不会得到完全稳定的虚拟对象，当使用 长焦距镜头时更是如此。由于我们的技术使用其它传感器来知道摄像机 移动与否，因此我们的追踪算法不会有这个问题。

普通光流技术像SLAM[9]，PTAM[8]，RSLAM[13]等，使用由摄影 机拍摄的视频中包含的信息粗略估计它的位置和方向。对于它的视觉追 踪部分(称为视觉追踪)，我们的技术具有类似的方法，除了一方面当它 丢失时跟踪的核心并不是简单的关键帧搜索，第二方面它使用7个可用 的传感器(一个电影摄影机，两个见证摄影机，陀螺仪，加速计，磁力 计和三维距离传感器)的所有数据来计算摄像机的精确位置和方向。

我们使用扩展卡尔曼滤波(EKF，参见2.3.2)[7，21]整合以下传感 器：陀螺仪，加速计，磁力计传感器和见证摄影机。EKF技术是我们软 件的主体且所有的预测/校正算法是基于允许使用每个传感器中最佳的数 据合并方法。这为所有其他技术不能使用的简单的和关键的情况提供了 无与伦比的稳健性。事实上，当传感器失去追踪时(实际上意味着它的 测量结果不再可靠)，EKF仍然能够通过合并其他可靠的和剩余的传感器 的数据获得位置/方向估计。除此之外，由于每个传感器具有置信度，这 影响合并算法以便防止系统使用不准确的信息。例如，普通陀螺仪具有 天生的缺陷称为漂移，其往往更改它的方向，甚至当它不动时。运行时 间越长，陀螺仪产生的误差越大。陀螺仪的漂移校正通过使用视觉追踪 来完成，当它的误差太大时视觉追踪由陀螺仪校正。EKF能够通过使用 之前正确的估计值预测电影摄影机的运动从而找到电影摄影机的最佳的 位置和旋转，然后根据所有传感器给出的新的测量结果校正它的预测。

此外，当摄影机丢失时，大多数纯光学为基础的追踪技术使用关键 帧(即快照(snapshot))来定位摄影机。如果你用摄影机指向的当前视 野没有关键帧，那么恢复失败。更强大的技术当然是可用的，像SIFT[11] 或SURF[l]技术，以解决例如你仅仅具有垂直旋转的摄影机。事实上，由 于所有这些系统比较当前帧和最相似的关键帧，使用旋转和缩放不变性 描述符获得更好更快的匹配是很有趣的。然而，如果你在摄影机的位置 没有任何关键帧，那么你的系统没有办法恢复它的位置。我们的技术集 聚了每个技术(需要指出的是我们使用ORB[I8]作为关键帧描述符)的优 点，并且我们同时运行三个不同的线程来恢复丢失的追踪(详情参见 2.1.4.4)。恢复过程中可以看见基于概率和随机方法的总体算法。当追踪 丢失时，立即使用椭圆形方法在最新已知位置周围三维空间采样且将该 椭圆形内部所有的关键帧与目前的关键帧进行比较。此外，所有来自剩 余传感器(陀螺仪，加速计，磁力计，三维距离传感器)的其他数据仍 然合并在搜素中，允许我们的软件消除所有看似合理的候选。当然，如 果没有关键帧是足够好的候选，那么系统会使用除了视觉追踪之外的所 有其他传感器，以计算当前位置的近似值。该技术的显著结果是，我们 的技术允许用户在不丢失追踪的情况下，将摄影机指向尚未被测量的位 置。然而我们的算法从不停止采样三维空间以寻找匹配目前快照的关键 帧(即更好RT近似值)。如果恢复了视觉追踪，使用和更新所有其他传 感器数据以除了校正摄影机之外校正它们自己的信息(参见扩展卡尔曼 滤波2.3.2)。

我们的技术的最新(即普通)版本是立体视场(参见2.5)，这意味 着它使用了间隔21厘米的两个见证摄影机(见图6)。这种技术不需要任 何单应性(homography)的计算或任意单个见证摄影机的手动平移(参 见2.1.3)来计算馈送视频中检测到的自然标记的深度信息。该方法在大 多数情况下通过测量阶段淘汰简化了我们的主要算法(参见2.5)。如在 单视场技术中，视觉追踪本身具有完整的子像素方法，允许系统在图像 金字塔的4个不同水平追踪摄影机位置(参见图4)，然而所有其他以光 流为基础的技术当搜索特征点时只在两个不同的图像分辨率不正当地使 用像素技术。

2.1.3第一阶段：测量

2.1.3.1初始化步骤

第一步是用户采用设备完成物理/手动水平平移，以便拍摄两个画面。 该算法通过使用称为FASTER[17]的角点检测方法自动检测图像中的自 然标记(即特征点)。应用匹配以找到点对之间的对应关系。对于一个图 像，所有检测到的点必须保持在相同的三维平面上，以便能够计算出从 该平面上到图片正确的单应性。这提供了有关三维平面的摄像机的转动 和平移。第二张图片遵循相同的原则，我们得到当前图片的摄像机的第 二位置和平移。现在可以计算从一个摄像机到另一个的转换，并获得第 一三维点云。

让我们考虑用摄影机拍摄到的两个视图(左和右)。对于每个视图， 见证摄影机指向平面上存在的点M。M^L和M^R分别是M在左和右视图中 的透视投影。

我们可以写成：

M^L＝H·M^R  (1)

$H=(D·R+\overrightarrow{T}·{\overrightarrow{N}}^t)---\left(2\right)$

其中：

·R是转动矩阵，以其M^L关于M^R旋转。

·是到点M属于的平面的法向矢量。

·D是到平面的距离，该平面例如Ax+By+Cz+D＝0。

等式1中的H的求解为：

$H={\left(\begin{array}{cc}{x}_{M^L}& 0\\ y_{M^L}& 0\\ 1& 0\\ 0& x_{M^L}\\ 0& y_{M^L}\\ 0& 1\\ -x_{M^L}*x_{M^R}& -x_{M^L}*y_{M^R}\\ -y_{M^L}*x_{M^R}& -y_{M^L}*y_{M^R}\\ -x_{M^R}& -y_{M^R}\end{array}\right)}^t$

我们的算法需要4个共面点的最小值进行正确的初始化。这是很平 常的，我们其实有比这更多的点。这就是为什么对于每个单应性我们使 用整个点集中的四个点计算n个可能的单应性。然后，我们使用 RANSAC[4]方法实际上可以找到最佳可能的单应性，并建立了一组正常 值和异常值的候选集。异常值将被拒绝而正常值将由高斯-牛顿方法 (Gauss-Newton method)进行完善，使两个视图中点的重新投影的误差 减到最小。从滤除的点集中计算出最好的单应性，现在需要估计左和右 视图之间的旋转和平移矩阵。这很容易通过使用成两个正交矩阵U，V 和对角矩阵Υ的奇异值分解来实现。矩阵H现在写为H＝UΥV^t

Υ＝(D′·R′+T′·N′^t)  (3)

其中：

R＝det(U)·det(V)·U·R′·V^t

T＝U′·T′

N＝V·N′

D＝det(U)·det(V)·D′

当我们不能运用待定的单应性时，等式3有两种可能的解法：

解法1：

$T^{\prime }=({\lambda }_1-{\lambda }_3)\left(\begin{array}{c}{ϵ}_1\sqrt{\frac{{\lambda }_1^2-{\lambda }_2^2}{{\lambda }_1^2-{\lambda }_3^2}}\\ 0\\ -{ϵ}_3\sqrt{\frac{{\lambda }_2^2-{\lambda }_3^2}{{\lambda }_1^2-{\lambda }_3^2}}\end{array}\right)---\left(4\right)$

$R^{\prime }=\left(\begin{array}{ccc}\cos \theta & 0& -\sin \theta \\ 0& 1& 0\\ \sin \theta & 0& \cos \theta \end{array}\right)---\left(5\right)$

其中：

$\left(\begin{array}{c}\cos \theta =\frac{({\lambda }_2^2+{\lambda }_1{\lambda }_3)}{\Lambda }\\ \sin \theta =({\lambda }_1-{\lambda }_3)·{ϵ}_1{ϵ}_3\frac{\sqrt{({\lambda }_1^2-{\lambda }_2^2)({\lambda }_2^2-{\lambda }_3^2)}}{\Lambda }\\ \Lambda ={\lambda }_2({\lambda }_1+{\lambda }_3)\end{array}\right)$

λ₁、λ₂和λ₃是来自等式(2)的矩阵H的特征值，排序为例如λ₁,λ₂, λ₃且λ₁,≠λ₂≠λ₃。

解法2：

$T^{\prime }=({\lambda }_1-{\lambda }_3)\left(\begin{array}{c}{ϵ}_1\sqrt{\frac{{\lambda }_1^2-{\lambda }_2^2}{{\lambda }_1^2-{\lambda }_3^2}}\\ 0\\ -{ϵ}_3\sqrt{\frac{{\lambda }_2^2-{\lambda }_3^2}{{\lambda }_1^2-{\lambda }_3^2}}\end{array}\right)---\left(6\right)$

其中：

λ₁、λ₂和λ₃是来自等式(2)的矩阵H的特征值，排序为例如λ₁,λ₂, λ₃且λ₁,≠λ₂≠λ₃。

除了特征点集，该算法也拍摄两个关键位置(KP)作为见证摄影机 从每一个视角看到的物体的快照。附加点的获悉总是三个组成部分的总 和：新检测到的点，关键位置和补丁，这在2.1.3.3进行了描述。

最后，请注意，在立体显示的情况下(参见2.5)，测量阶段是自动 的和即时的。对于极其复杂的情况，手工测量可能仍然使用(在场景中 实验决定)，但是这是无对照(anecdotal)的。

2.1.3.2三维世界的自动缩放、起点和方向

在单视场测量期间，计算世界的精确的原点，缩放和取向是不可能， 这个世界要么需要真实对象的先验知识，包括它的精确形状和尺寸，要 么需要用于计算单应性的这两个视图之间使用的距离。应当指出的是， 在最后情况下，这无论如何不会给定你该世界的起点或方向。大多数系 统没有把这部分考虑进去。他们经常要求用户通过输入视频中可见的三 维对象的尺寸手动进行缩放。其他选项是在拍摄过程中使用户在特定的 建模/动画软件中按比例绘制三维虚拟角色，且也适当地将其在真实世界 中对准。然而，任何尺寸误差——即使很小——对最终复合的质量也有 显著影响，这就是为什么在我们的技术(见下文)中它是如此仔细地实 现。一个不良比例观察到的最常见的结果是，用户感觉该虚拟对象在地 面上滑动，而不是完全附属于它。

我们提出了一种新的方法，当进行测量时其需要把专有的注册对象 放在场景中，由于对象具有非常清楚的形状且所有它的尺寸也是已知的， 因此自动检测到该对象。无需用户交互。

我们的注册对象是由几个部分组成的，其本质上是球形和支柱，如 图3所示。球体是在我们的系统中该对象的关键部分，因为它们允许使 用二进制大对象检测算法通过视频识别其图案。然后，计算投影球体(即 圆)的重心，并且当我们准确地知道每个球之间的方向和距离，该系统 能够给出世界的非常精确的比例。我们还提供了注册对象的平面版本(参 见图5的右图)，这常常更方便地从真实舞台上的一个地方移动到另一个 地方。

一旦这个已经实现，用户能够例如把一个1.80米高的虚拟对象放到 真实的视频中，并确保它看起来真的是那么高和正确。其他方法由于任 务手动方面无法获得这种质量。

自动缩放实际上是它自身测量期间完成的工作，但因为它发生在测 量之初，把它也认为是初始化步骤是非常重要的。计算的缩放真正用于 测量之后的步骤以建立三维标记的精确布景。现在让我们来看看详细的 测量本身。

2.1.3.3测量过程和点云构造

该测量需要用户使用测量设备穿过场景。由于该系统根据它在以前 获悉的置信度总是计算新点，总是以见证摄影机从之前的布景中看到足 够多的点以添加新候选的方式建立测量。

在见证摄影机移动期间，该算法创建由在图像金字塔的四个不同水 平(level)获悉的三个数据集组成的映射(参见图4)：

·关键位置。关键位置包含见证摄影机看见的物体的四个不同分辨 率的快照。金字塔的低水平是见证摄影机的原始分辨率(在本例中是640 ×480)。该关键位置在跟踪弄错时也被该算法用于恢复摄影机位置。

·由FASTER[17]在关键位置的每张图像中估计的二维特征点集。 FASTER是非常著名的算法，其主要特点是角点检测算法。每一个关键 点还具有附加的ORB描述符，以确保当丢失追踪时更快的恢复(参见 2.1.4.4)。

·集中在由前面步骤检测到的每个特征点上的补丁集(16×16二维 纹理)。在新点检测期间，无法从单个视图开始计算它们的深度。这就是 补丁的用途。可以通过关键位置的4张图片找到在尽可能接近的关键位 置的两个补丁之间的一致性来应用极线搜索(参见图2，点云构建器矩 形)。一旦在两个视图中检测到点(即补丁)，那么有可能计算出三维特 征点。该三维特征点集被称为映射。明白关键位置A和B之间的搜索是 通过穿过金字塔A和B的同等水平以及B的金字塔分支实现的是重要的 (见图4)。

在映射构建期间，摄像机根据测量操作者的位移移动。此时，我们 的软件只知道先前计算(即跟踪)出的摄像机参数。为了计算摄像机的 新位置，我们需要当前画面和自然标记的三维点云。一方面，FASTER 在图像金字塔的几个水平(当前水平和当前水平+1)计算二维标记集， 另一方面，三维点云重新投影到当前画面中。如果我们知道摄像机的位 置为从它的视角被重新投射的点，最后步骤才能实现。但是，这正是我 们试图计算的。因此，我们的软件使用与由我们的九自由度传感器(见 2.3)所提供的信息关联的恒速模型(constant velocity model)以使用先前 正确计算出的位置来预测摄影机的下一个位置。使用该预测，三维点云 可以重新投影到当前画面上且可以应用点匹配算法找到由FASTER检测 的二维点和三维点云的投影点之间的对应。使用莱文贝格－马夸特[l0， 12，15]算法(Levenberg-Marquardt[10,12,15]algorithm)使两组标记集 之间的误差减到最小，因为它是已知的对于那种问题最好的优化算法。 如果匹配点的数目除以投影点的总数大于给定的临界值，该系统能够成 功追踪摄影机(追踪良好)，并且允许添加新的关键位置。为了后来的用 户，由FASTER检测到的在三维点云中没有找到匹配的二维点以及他们 相关的二维16×16的纹理补丁存储在存储器中。他们将被要求产生新的 三维特征点(见下一段)。

如果三个条件都满足，添加新的关键位置(以及新的特征点)的加 入。首先，正如我们在上一段所说，跟踪必须良好意味着它足够精确或 没有丢失。第二，每30个画面(每秒1个)添加关键位置以避免建立过 大的数据集。第三，新的关键位置必须在距最靠近关键位置10cm的最小 距离。这可以防止系统静止时，获悉附加点。

当顺利通过所有这些测试时，该软件可以添加新的快照和新的三维 特征点。第一步是再次使用FASTER在画面(快照)中检测新的相关二 维点。因为我们有来自追踪的不匹配二维特征点集，我们现在尝试匹配 “旧”的二维特征点集和新计算的点集。这是通过使用新点集的二维纹 理补丁由传统极线搜索(classical epipolar search)完成的。补丁沿着极线 移动(参见图2)尝试匹配“旧”点集中的二维补丁集。由于极线约束， 计算来自两个二维点的匹配的三维点的深度是可能的。这实际上类似于 单应性阶段的匹配步骤(参见2)。如果新的点被添加到映射上，应用局 部光束法平差(local bundle adjustment)。在使用这些新的特征点改善了 摄影机的位置和旋转之后，莱文贝格－马夸特最小化算法用于改善所有 特征点的三维位置。这是在k+1个画面窗口上完成的，意味着最小化考 虑了当前快照加上k最接近的快照以正确估计摄影机的当前位置和旋转 (局部光束法平差)。k的值可以是根据实验确定或者根据最小化算法给 定的误差临界值适应性计算。

除了局部光束法平差，总体光束法平差也应用于所有现有的关键位 置。由于关键位置集随着时间变得越来越大，系统需要越来越多的时间 进行总体调整。如果添加了新的关键位置，我们的软件没有足够的时间 完成局部和/或总体光束法平差，然后调整就会取消以将优先级留给添加 的新的关键位置。新的关键位置的添加一旦成功它们就会被再次应用。

一旦现有的点云存在，可以追踪摄影机。这在下一部分进行描述。

2.1.4第二阶段：电影摄影机追踪

2.1.4.1几何摄影机校准

摄影机校准有几个目标。一方面，它给出我们数学关系以描述如何 在传感器上创建图像。另一方面，它计算摄影机的图像平面上三维点和 它们的投影之间的转换矩阵。

测量和追踪过程的这个重要的先决条件意味着我们必须计算两种不 同的属性：内在和外在参数。内在参数与摄影机和镜头特性有关，并根 据它们被物理构建的方式移动。它们包括图像格式、摄影机的光学中心 与图像平面之间的距离、以及主点。图像格式是由将像素和距离关联的 两个比例因子组成。主点是光学中心在图像平面的投影(即理想情况下 在图像的中间)。除此之外，一些镜头需要计算它们的光学畸变并考虑到 用于跟踪。在校准过程中，具有若干圆形图案的平坦表面由摄影机连续 拍摄(参见图5)。对于所有的位置，通过莱文贝格－马夸特最小化算法 计算外在参数(即摄影机的位置和旋转)和内在参数(包括光学畸变)， 其使所有快照之间二次投影误差最小。

这个过程是基于德韦尔奈(Devernay)和福热拉(Faugeras)的工作 [3]的非常著名的技术。

2.1.4.2电影摄影机偏移

这里开发的总体系统需要放置直接连接到目标电影摄影机的追踪设 备。使用之前的描述符追踪技术估计见证摄影机的位置和方向。然而， 存在通过为电影和见证摄影机使用相同的图案的缩放的问题。事实上， 由于我们的见证摄影机采用180度镜头，校准图案中的圆形往往在见证 摄影机视野中会出现得非常小从而使他们很难检测。

我们已经创建了我们自己的校准表，其实际上是由两种不同的尺寸 和对比图案组成的。表的一个部分在纯白色的背景上具有纯黑色圆圈(针 对见证摄影机)。表的第二部分是由在纯黑色背景上的纯白色圆圈组成的 (电影摄影机)。然后，我们使用非常简单的图案检测器寻找见证和电影 摄影机的这两个图案。因为我们知道这两个图案的精确相对位置，通过 “传播”计算出的电影摄影机的位置和旋转寻找电影摄影机的位置和旋 转，反之亦然。事实上，由于两个摄影机直接连接在一起，我们能够利 用对齐算法精确计算他们之间的三维偏移(R，T)。我们已经开发出了基 于先前描述的圆形图案的对齐算法。图案的确切大小，形状和位置是已 知的，由两个摄影机分别识别图案，从而增加了见证和电影摄影机之间 的简单数学关系(旋转和平移)。

2.1.4.3追踪阶段

从追踪过程中分离测量仅仅是务实的方式，以描述如何在布景上使 用系统。事实上，跟踪过程与图2描述的追踪并无不同且在测量期间使 用。然而，它使用了一个更简单的设备(参见图6)，其与测量设备相当 接近，除了由于很明显的原因它不包括触摸屏。

图2的视觉跟踪矩形框描绘了如何找到在新画面中FASTER检测到 的二维自然标记和现有的三维点云之间的匹配。与每个自然标记有关且 来自两个数据集的二维纹理补丁进行线性比较。一旦所有的特征点都已 经被处理，应用高斯牛顿算法找到的最佳可能的匹配，并计算摄影机的 位置和方向。这样的最小化算法通常需要大约10次迭代以收敛于该解答。 为了增加的标准稳健性达到最小化，我们利用一个统计Tukey M估计量 (最大似然型估计量)[6]。这也确保了收敛不被异常值中断。

每个追踪在获得摄影机的最终参数之前在金字塔两个不同的水平进 行两次。首先，通过以图像金字塔中粗糙水平来计算摄影机的位置和方 向的近似值和使用自然标记的子集大大提高了该算法的收敛性。第二， 在更大的画面上(约20倍大)实现了相同的计算，并且与先前的近似值 合并以获得最终精确的结果。

2.1.4.4追踪失败和恢复

摄像机在真正布景上追踪时，很多情况都可能发生，其中视觉追踪 丢失。这往往发生，例如当待在见证摄影机或杆前面的人们仅仅是被物 体挡住时。对于所有我们失去视觉追踪的情况，三种不同的恢复线程同 时启动，其中第一个得到恢复的被接受。

使用扩展卡尔曼滤波(参见2.3.2)的预测功能，可以首先尝试摄影 机位置恢复，从EKF预测参数开始搜索。事实上，由于EKF是预测校正 算法，它总是在它实际移动到那个位置之前试图猜测摄影机的下一个位 置。当预测正确时，它因此可能得到即时恢复。在实践中，当见证摄影 机隐藏时和当系统使用IMU(惯性测量装置)追踪时预测进行得非常好。 然而，当隐藏见证摄影机时电影摄影机也存在显著的平移的情况下，它 常常失败。

恢复的第二个层次非常不同。在ORB(定向的FAST和旋转的BRIEF) 技术[18]之后，每个特征点都有与之关联的旋转不变性描述符。它首先依 赖于著名的FAST[16]技术来计算与哈尔斯评分(Harris score)[5]相关联 的多尺度特征(即在图像金字塔的不同层次，参见图4)。该描述符的定 向使用强度的质心来计算。第二个描述符是rBRIEF，这是在关键点的定 向之后旋转的简要的描述符[2]。使用这两个描述符，我们的技术能够从 普通视觉追踪技术失败的位置恢复。例如，让我们说，由于任何原因我 们失去了视觉追踪。假设我们现在平移摄影机和将摄影机由绕Z轴旋转 90度，同时仍然丢失。摄影机看到的当前图像以前从未获悉，但它仍然 指向我们添加的关键位置和之前获悉关键点的方向。然而，由于普通恢 复过程不是旋转不变的，这些系统无法恢复追踪。在我们的例子中，只 要电影摄影机已经指向某个之前的位置(旋转无关紧要)，与每个关键点 有关的旋转不变性描述符的使用可以快速恢复(使用暴力匹配技术(brute  force matching technique))。

最后，第三个恢复线程是更加残酷和计算密集型的。围绕最后已知 的摄影机位置建立椭球形(三维椭圆)。该椭球具有由计算出的参数协方 差组成的大小，但是扩展卡尔曼滤波。然后在EKF的误差协方差之后椭 球内产生多个样本。RANSAC算法应用到该集，以便为所搜索的摄影机 的位置和方向找到最佳可能的匹配。。

2.2动态变焦、聚焦和光圈

在总体追踪过程期间，例如导演和摄影导演可以决定变焦或聚焦于 场景中的人物/对象。我们的技术集成了若干普通编码器，例如阿莱(Arri) 提出的编码器，但也能运用任何其他的编码器来实时捕捉变焦、聚焦和 光圈值。这允许动态变焦和布景上的景深。

2.3传感器融合技术

所有纯光学为基础的无标记技术不能在许多情景中追踪。最常见的 情况是在见证摄影机的当前视野内没有留下足够的天然标记。在理想的 情况下，这种情况很少发生，因为用户集中注意力不使例如他的手挡住 镜头。在现实中，这种情况发生了很多，只是因为摄制组经常需要更换 镜头，修改摄像机支架，清洁镜头，移动到另一个拍摄地点等。在以普 通标记为基础的技术和无标记(光流为基础)的技术中，这防止了追踪 系统找到该摄像机的位置和旋转的良好估计。

我们创建了传感器融合方法，其使用多个传感器(见证摄影机、陀 螺仪、加速计和磁力计)自动校正见证摄影机的位置和旋转。该技术是 我们技术的核心。第一步是系统的校准，这意味着相对见证摄影机校准 九自由度IMU。这是一个关键的步骤，以确保所有的传感器在相同的基 础下工作。九自由度传感器和见证摄影机之间的关系接近一个手眼技术 (hand-eye technique)[20]，但我们增加了一些有趣的科学贡献，使之适 合我们的跟踪算法。

2.3.1IMU-见证摄影机校准

让我们考虑转换R_IMU→_C，其计算从九自由度传感器(IMU)到两个 见证摄影机(C)之一的旋转。R_IMU是已知处于局部基(local basis)且 Rc也已知处于它自己的局部基。目标是为R_C＝R_IMU→_C·R_IMU解出R_IMU→_C。

确保R_IMU→_C总是不变的，由于IMU和摄影机之间的关系不随着时 间改变(它们都连接到静态摄影机杆)。

因此写为t_i,i∈[0,n]是可能的：

$\left(\begin{array}{c}{R}_C^{t_0}=R_{\mathrm{IMU}\to C}·R_{\mathrm{IMU}}^{t_0}\\ ·\\ ·\\ ·\\ R_C^{t_{n-1}}=R_{\mathrm{IMU}\to C}·R_{\mathrm{IMU}}^{t_{n-1}}\\ R_C^{t_n}=R_{\mathrm{IMU}\to C}·R_{\mathrm{IMU}}^{t_n}\end{array}\right)$

我们可以从之前的等式得出：

$\left(\begin{array}{c}{R}_C^{t_1-t_0}=R_{\mathrm{IMU}\to C}·R_{\mathrm{IMU}}^{t_1-t_0}\\ ·\\ ·\\ ·\\ R_C^{t_{n-1}-t_{n-2}}=R_{\mathrm{IMU}\to C}·R_{\mathrm{IMU}}^{t_{n-1}-t_{n-2}}\\ R_C^{t_n-t_{n-2}}=R_{\mathrm{IMU}\to C}·R_{\mathrm{IMU}}^{t_n-t_{n-1}}\end{array}\right)$

具有关系：

$R_C^{t_i-t_{i-1}}=R_C^{t_i}·{\left(R_C^{t_{i-1}}\right)}^{-1}$

$R_{\mathrm{IMU}}^{t_i-t_{i-1}}=R_{\mathrm{IMU}}^{t_i}·{\left(R_{\mathrm{IMU}}^{t_{i-1}}\right)}^{-1}$

由陀螺仪给出的旋转测量结果和视觉追踪都应该是相同的。因此， 考虑到R_IMU和R_C描述相同的转动角但是在不同的地点是合乎逻辑的。使 用在李代数中定义为Log:SO(3)→so(3)的旋转矩阵的指数映射，转换矩 阵R_C为轴角表示是可能的：

$\alpha =\arccos \left(\frac{\mathrm{tr}\left(R_C\right)-1}{2}\right)$

$\overrightarrow{r_c}=\frac{1}{2\sin \alpha }\left(\begin{array}{cc}{R}_c\left(\mathrm{3,2}\right)& R_c\left(\mathrm{2,3}\right)\\ R_c\left(\mathrm{1,3}\right)& R_c\left(\mathrm{3,1}\right)\\ R_c\left(\mathrm{2,1}\right)& R_c\left(\mathrm{1,2}\right)\end{array}\right)$

其中tr(RC)是矩

我们现在可以写出以下超定的等式系统：

$S=\left(\begin{array}{c}{\overrightarrow{r_c}}^{t_1-t_0}=R_{\mathrm{IMU}\to C}·{\overrightarrow{r_{\mathrm{IMU}}}}^{t_1-t_0}\\ ·\\ ·\\ ·\\ {\overrightarrow{r_c}}^{t_{n-1}-t_{n-2}}=R_{\mathrm{IMU}\to C}·{\overrightarrow{r_{\mathrm{IMU}}}}^{t_{n-1}-t_{n-2}}\\ {\overrightarrow{r_C}}^{t_n-t_{n-1}}=R_{\mathrm{IMU}\to C}·{\overrightarrow{r_{\mathrm{IMU}}}}^{t_n-t_{n-1}}\end{array}\right)---\left(8\right)$

至于任何超定的系统，使用奇异值分解(SVD)解出之前的矩形矩 阵为S＝UσV^t是可能的，其中U是S·S^t的特征矢量的m×n矩阵，V是S^t·S 的特征矢量的n×n矩阵，D是S的有序奇异值的n×n对角矩阵。

之前的等式解法遭受测量的噪音的影响。因此我们应用莱文贝格－马 夸特最小化方案使误差最小化：

$E=\left|\right|(R_{\mathrm{IMU}\to C}\times {\overrightarrow{r_{\mathrm{IMU}}}}^{t_i-t_{i-1}})·{\overrightarrow{r_C}}^{t_i-t_{i-1}}-1\left|\right|---\left(9\right)$

由于我们有IMU与见证摄影机之间的数学关系，增添所有的测量结 果至扩展卡尔曼滤波以便提取最好的每一个传感器和计算电影摄影机的 旋转和平移是可能的。

2.3.2扩展卡尔曼滤波

扩展卡尔曼滤波(EKF)在航空航天和机器人研究领域中是非常著 名的技术，其合并来自多个不同的传感器的数据。本质上它通过计算估 计误差和应用两个阶段，预测和校正，来估计噪音测量的非线性系统的 参数。在预测阶段，卡尔曼滤波使用在先前的时步(timestep)估计的参 数和误差计算出新的参数，以及在时步相关的误差。修正阶段使用新的 噪音测量更新预测。这些新的测量允许从预测的参数和误差计算新的估 计参数和误差。如果误差大于给定的临界值，参数被修正。

在我们的例子中，以非常特殊的方式开发EKF，由于我们有多个与 三维旋转有关的测量结果(陀螺仪+见证摄影机)并且他们不能轻易地篡 改。

我们技术中EKF的想法是把某种置信值放到每个测量结果中(见证 摄影机、陀螺仪、磁力计、加速计)且使用获得最佳的置信度分数的传 感器迭代地修正当前估计的位置和旋转。在实践中，EKF是比那要复杂 一些，可以用数学描述为非线性系统的预测修正算法。考虑到时步t时的 状态向量算法应用于我们的运动方程的当前物理模型来预测矢量 新的状态为然后修正阶段在时步t+△t产生新的状态矢 量

在我们的例子中，EKF模型可以写成如下：

$\left(\begin{array}{c}Y\left(t\right)=h(X\left(t\right),B)\\ \hat{X}{\left(t\right)}^{\mathrm{\Delta t}}=f(\hat{X}\left(t\right),\mathrm{\Delta t})\end{array}\right)---\left(10\right)$

h是我们的可观察量的状态方程，X_t是总体中平移、旋转、平移速度 和角速度的矢量，f是状态矢量的更新函数，B是系统中的总体噪音。

h的定义

Y(t)＝h(X(t)，B)  (11)

如果在一方面，我们考虑来自无标记视觉追踪的测量结果(即见证 摄影机)为h_witness，另一方面来自IMU的测量结果为HMU，我们可以推 断h是由两种可观察量组成的，h_witness和h_IMU。通过定义，h是简单的函 数，它的一般式由鉴定给定：Y_witness(t)＝X(t)，Y_IMU(t)＝X(t)。根据发送 测量结果的传感器的种类，我们现在可以写成两个版本h，因此在视觉追 踪的情况下重写等式11为：

$Y\left(t\right)=\left(\begin{array}{c}{Y}_{\mathrm{witness}}\left(t\right).T=X\left(t\right).T\\ Y_{\mathrm{witness}}\left(t\right).R=X\left(t\right).R\\ Y_{\mathrm{witness}}\left(t\right).\overrightarrow{V}=X\left(t\right).\overrightarrow{V}\\ Y_{\mathrm{witness}}\left(t\right).\overrightarrow{\Omega }=X\left(t\right).\overrightarrow{\Omega }\end{array}\right)---\left(12\right)$

Y_witness(t).{α∈T,R,V.Ω}是视觉追踪在时步t平移(T，单位为米)、 旋转(R，单位为弧度)、速度(单位为m·s^-1)和角速度(，单位 为rad·s^-1)的观察值y(y∈R¹²)。

在传感器是陀螺仪的情况下，等式11是：

$Y\left(t\right)=\left(\begin{array}{c}{Y}_{\mathrm{IMU}}\left(t\right).R=X\left(t\right).R\\ Y_{\mathrm{IMU}}\left(t\right).\overrightarrow{\Omega }=X\left(t\right).\overrightarrow{\Omega }\end{array}\right)---\left(13\right)$

Y_IMU(t).{α∈R,Ω}是在时步t旋转(R，单位为弧度)和角速度单位为rad·s^-1)IMU的观察值。使用九自由度传感器实际上没有可计算 的平移或速度。

f的定义

$\hat{X}{\left(t\right)}^{\mathrm{\Delta t}}=f(\hat{X}\left(t\right),\mathrm{\Delta t})---\left(14\right)$

其中是在时步t+△t预测状态矢量，是在时步t估计的状 态矢量。

函数f是状态矢量的更新函数，定义为：

$\hat{X}{\left(t\right)}^{\mathrm{\Delta t}}=\left(\begin{array}{c}\hat{X}\left(t\right).T+\hat{X}\left(t\right).V.{\Delta }_t\\ \hat{X}\left(t\right).R\times \hat{X}\left(t\right).\Omega {.\Delta }_t\\ \hat{X}\left(t\right).\overrightarrow{V}\\ \hat{X}\left(t\right).\overrightarrow{\Omega }\end{array}\right)---\left(15\right)$

注意的是，卡尔曼滤波的普通更新函数不适用于我们的例子，因为 旋转矩阵不可篡改且被写为线性形式A·X+B。

预测步骤

预测步骤使用卡尔曼滤波的定义写成：

$\hat{X}{\left(t\right)}^{\mathrm{\Delta t}}=f(\hat{X}\left(t\right),\mathrm{\Delta t})---\left(16\right)$

$P_t^{\mathrm{\Delta t}}=A_t·P_t·A_t^T+Q·\mathrm{\Delta t}---\left(17\right)$

其中：

·是在时步t+△t预测误差的协方差矩阵，

·P_t是在时步t误差的协方差矩阵，

·A是转移矩阵，例如A_t是f的导数矩阵，计算 为有限差值的总和：

·Q是状态矢量的噪音的12x12协方差矩阵。平移状态矢量的噪音 启发式估计为le^-2，以及旋转状态矢量的噪音为l.e^-3。

校正步骤

以下是卡尔曼定义，在我们的例子中校正写成：

$K(t+\mathrm{\Delta t})=P_t^{\mathrm{\Delta t}}·H^T(t+\mathrm{\Delta t})·{(U(t+\mathrm{\Delta t})+H(t+\mathrm{\Delta t})·P_t^{\mathrm{\Delta t}}·H^T(t+\mathrm{\Delta t}))}^{-1}---\left(18\right)$

$P(t+\mathrm{\Delta t})=(I-K(t+\mathrm{\Delta t})·H(t+\mathrm{\Delta t}))·P_t^{\mathrm{\Delta t}}---\left(19\right)$

$\hat{X}(t+\mathrm{\Delta t})=\left(\begin{array}{c}\hat{X}{\left(t\right)}^{\mathrm{\Delta t}}.T+K(t+\mathrm{\Delta t})\times J_{\mathrm{witness}|\mathrm{IMU}}.T\\ \hat{X}{\left(t\right)}^{\mathrm{\Delta t}}.R\times K(t+\mathrm{\Delta t})\times J_{\mathrm{witness}|\mathrm{IMU}}.R\\ \hat{X}{\left(t\right)}^{\mathrm{\Delta t}}.V+K(t+\mathrm{\Delta t})\times J_{\mathrm{witness}|\mathrm{IMU}}.V\\ \hat{X}{\left(t\right)}^{\mathrm{\Delta t}}.\Omega \times K(t+\mathrm{\Delta t})\times J_{\mathrm{witness}|\mathrm{IMU}}.\Omega \end{array}\right)---\left(20\right)$

其中：

·I是单位矩阵，

·K(t+Δt)在时步t+Δt的卡尔曼增益，

·H是函数h的导数矩阵，依据当前选定的传感器它是h_witness或h_IMU

$H(t+\mathrm{\Delta t})=\frac{\partial h}{\partial X}|{\hat{X}}_t^{\mathrm{\Delta t}}---\left(21\right)$

在我们的例子中，雅克比行列式(jacobian)计算为有限差值的总和：

$\frac{h_{\mathrm{witness}|\mathrm{IMU}}(x+\Delta )-h_{\mathrm{witness}|\mathrm{IMU}}\left(x\right)}{\Delta }$

·U(t+Δt)是当前选定的传感器(见证摄影机或IMU)的噪音测量 结果的协方差矩阵。该值根据测试的质量(置信度)进行修改。在视觉 追踪的情况下，它依赖于追踪误差ε：

$U(t+\mathrm{\Delta t})=\left(\begin{array}{c}0.0001\mathrm{ifϵ}<1.0\mathrm{pixel}\\ 10.0\mathrm{ifϵ}\ge 1.0\mathrm{pixel}\end{array}\right)---\left(22\right)$

为IMU确定U(t+Δt)更简单，因为噪音误差由所有传感器的制造 商直接给定。之前的等式直接由这些误差替换。

·P(t+Δt)是在时步t+Δt误差的协方差矩阵。

·V和Ω是分别是速度矢量和角速度矢量的矩阵表示。

·等式20中的J_witness|IMU也根据传感器的种类写为：

$J_{\mathrm{witness}}.T=y(t+\mathrm{\Delta t}).T-{\hat{Y}}_t^{\mathrm{\Delta t}}.T$

$J_{\mathrm{witness}}.R=y(t+\mathrm{\Delta t}).R\times {\hat{Y}}_t^{\mathrm{\Delta t}}.R^{-1}$

$J_{\mathrm{witness}}.V=y(t+\mathrm{\Delta t}).V-{\hat{Y}}_t^{\mathrm{\Delta t}}.V$

$J_{\mathrm{witness}}.\Omega =y(t+\mathrm{\Delta t}).\Omega \times {\hat{Y}}_t^{\mathrm{\Delta t}}.\Omega$

$J_{\mathrm{IMU}}.R=y(t+\mathrm{\Delta t}).R\times {\hat{Y}}_t^{\mathrm{\Delta t}}.R^T$

$J_{\mathrm{IMU}}.\Omega =y(t+\mathrm{\Delta t}).\Omega \times {\hat{Y}}_t^{\mathrm{\Delta t}}.{\Omega }^{-1}$

·y(t+Δt)是选定的传感器给出的当前测量结果。y(t+Δt).{α∈T,R, V.Ω}分别是平移、旋转、速度和角速度的测量结果。J.{α∈T,R,V.Ω})是 卡尔曼创新(Kalman Innovation)。

2.4.三维重构和深度键控

使用集成到我们摄影机杆中的的三维距离传感器实现了实时三维重 构。该距离传感器可以是结构光设备(例如微软体感游戏，华硕Xtion) 或飞行时间摄影机(例如像先进科学理念(Advanced Scientific Concept) 的虎眼石(TigerEye))也被称为闪光激光雷达(Flash Lidar)。这两种技 术都有局限性，我们的技术现在只用短距离传感器华硕Xtion。照常，需 要校准步骤从而知道华硕Xtion相对见证摄影机的位置。我们只需对影像 对齐使用与见证摄影机完全相同的技术(参见2.1.4.2)。当距离传感器具 有灰度摄像机时，我们使用我们通常的校准模式使它在两个摄影机中检 测到：距离传感器的摄影机和我们的见证摄影机之一。这个过程非常简 单，类似于2.1.4.2。

在我们的技术中距离传感器用于两个目的。一方面，它帮助删除例 如远离对象后面创建的不良的特征点。特征点在距离传感器的深度映射 上的简单的重新投影可以告诉我们特征点是否正确。在立体追踪期间(参 见2.5)，通过对极几何创建的每个点仍然可以近于或远于由核线给出的 估计。我们比较重构三维点与它在距离传感器的深度映射上的重新投影 的当前值，以提高它的精度或仅仅拒绝它。

距离传感器的第二个用途依赖于它本身的深度映射。当它给定了最 大范围为12米的深度时，我们能够通过虚拟人物/对象将布景中的每个人 (演员)遮挡在设定的范围内，反之亦然。这叫做动态遮挡，在电影和 实况转播中提高了视觉效果的另一个真实性水平。我们的技术采用的主 要电影摄影机供给(这也可以通过增加附加的高分辨率见证摄影机实现) 通过在电影摄影机上重新投影深度和完善结果(边缘增强)增强距离传 感器的分辨率。这种技术能够提供实时的深度键控，从而消除了约束绿 屏(binding green screen)的使用特别是当使用功能更强大的距离传感器 (闪光激光雷达)。

2.5立体无标记技术

前面描述的使用单视场方法的技术在真实情景中其实并不够高效。 因为它需要已知的真实对象用作注册来计算世界的大小，方向和位置， 将它用在电影上常常是很难的，其中当你尝试注册(检测)对象时许多 人总是你的路径上。但该单视场方法的主要局限性是它需要测量场景的 事实。由于单应性必须被用于该系统的初始化，它意味着技术人员必须 来到布景开始测量它。在实践中，该操作很少取得成功，因为在现场工 作的人们在最后几秒之前不会离开这个地方。

我们已建立立体显示方法以摆脱该局限性，以及因此带来即时测量 和追踪的完全原始概念。

2.5.1即时测量

嵌入摄像机追踪的立体视场技术与任何其他技术相比是重大的进 步，包括我们前面描述的单视场方法。事实上，使用两台预校准的见证 摄影机带来了一些好处。第一个是即时测量。不像在单视场方法描述的 技术，不需要预先测量场景。由于两个见证摄影机之间的精确距离是完 全已知的，因为他们使用内部同步锁定硬件进行同步，我们能够不用移 动杆立即得到点云。然后，在段落中所述的单应性不再使用，由于点的 三维重建是由两个见证摄影机通过立体显示理论带来的。第二个主要问 题是，不需要手动缩放。在这两个视频流拍摄期间，我们运行莱文贝格 －马夸特最小化方案，以尽量减少由对极几何估计的三维点的投影和在 当前视频中检测到的二维特征点之间像素误差的总和。

2.5.2自动注册

然而，使用即时测量增加了新的问题，其使用在单视场方法中检测 到的注册对象时不可能的，这是使用如在单视场的方式检测到的一个注 册对象是不可能的。这一局限性的主要原因来自照相机杆直接连接到电 影摄影机的事实，且请求摄影组到处移动他们的摄影机以获悉注册对象 是不可能的。这就是为什么我们添加了第二个自动注册，其不需要任何 物理注册对象被添加到场景中。然而，它要求用户与点云具有两个不同 的交互：点选择(其用于告诉该系统，我们打算用作地面参考的点)，以 及绕Y(垂直)轴的手动旋转(其用于相对场景正确定向CG内容)。

为了能够只具有这两个非常快和非常简单的用户交互，那么我们必 须计算所有其他剩余的自由度，这意味着计算具有Y轴完全垂直和正确 缩放比例的标准正交基。我们的技术只需在杆中利用嵌入式加速计以计 算重力方向，即Y轴。磁力计给出正北方向，从而提供了一个近似矢量， 其允许我们使用普通向量积计算正交基。

缩放比例甚至更容易计算。它是完全即时和自动的，不需要任何用 户交互。由于精确已知见证摄影机之间的距离，所有的三维重构点直接 拥有正确的缩放比例，因此不像在普通纯运动结构算法中那样要检测附 加对象。

2.5.3即时跟踪

跟踪过程与2.1.4.3中描述的单视场方法的略有不同。每个新的点使 用对极几何创建，其确保三维特征点的比例和深度总是正确的。这意味 着，我们的系统一启动，由于光速准确和即时测量它已经开始跟踪。

我们计算所有从左和右摄像机看到的重新投影的三维点的并集，以 确保跟踪过程的最大稳定性。仅仅由与特征匹配的ORB描述符结合的核 线的三维交集产生点云(参见2.1.4.4)。特征匹配和全体最小化方案仍然 类似于在单视场方法中所使用的。

为了能够依靠即时测量，我们还高度修改了在点云中建立新的点的 方式。除了点的立体重构之外，我们增加了网格离差(grid dispersion) 和特征点均匀性的概念。在普通追踪算法中，启动二维特征检测算法， 并在三维中重构点，如2.1.3.3和2.1.4.4所述。然而，这些点中的许多是 不可靠的(错误的深度，边缘点，移动点，阴影点等)，并且该算法趋向 于在高对比度区域获悉很多点和在低对比度区域没有点。这会在追踪数 据中产生大量的噪音，给出摄影机抖动的感觉。我们创建的网格离差技 术以几乎均匀的方式设法分散系统获悉的自然标记。我们首先通过使用 非常高的临界值开始产生特征点的最大值。然后，我们根据用户给定的 临界值(例如16×16网格，每个单元两个样品)使用哈里斯评分(Harris  score)(例如我们选择两个最好的点)减小特征点的数目。因此，每一个 点具有用于评价它多可靠的质量标准。如果均匀性不是足够好，该系统 也局部改变对比临界值，以确保能够甚至在低对比度区域捕捉到点。我 们的算法在整个图像上分散特征点的事实也防止系统轻易丢失跟踪。事 实上，像我们的没有网格离差技术的普通单视场方法可能有很多点，例 如用于追踪图片的下左部。如果演员进入被隐藏所有这些天然标记的地 方，跟踪就会立即失去，由于我们在整个画面上分散特征，这在我们的 发明中是不会发生的，。

2.6增强现实世界

2.6.1摄影机/见证延迟问题

由于电影摄影机和见证摄影机以不同的速度运行，它们在画面获取 过程可能产生不同的延迟。电影摄影机实际上是创建迄今为止最高的延 迟，迫使我们计算它以便适当地增强现实世界。

我们再次使用我们自己的校准设备自动计算两个摄像机之间的延 迟。在两个摄影机前面使用了以1Hz闪烁的小的高亮度发光二极管。已 经开发出由强度阈值技术增强的二进制大对象检测器算法以检测这两个 摄像机中的发光二极管。从摄影机中的发光二极管强度获取生成的相关 强度曲线使用最小化算法进行了比较，以便找到样本之间的最佳时间一 致性。因此最小化几个统计参数，并从在10秒左右的校准中自动提取以 毫秒为单位的延迟。

2.6.2呈现和增强现实

一旦我们让摄影机跟踪工作，我们的软件可以从不同的CG内容生 成软件(如实时动画软件(Autodesk MotionBuilder))接收数据。那些数 据直接在我们的软件内整合和呈现(在追踪和呈现工作站合并的情况下， 参见图1)，以与真实背景或前景(如果是绿色级)进行复合。

我们的技术固有的另一个有趣的特征是三维消除抠像。消除抠像肯 定不是我们的发明，但它在我们的发明中以一种创新的方式进行。事实 上，由于我们的追踪算法生成精确的三维点云(由于立体视场的方式)， 当被重新投影到电影摄影机视频上时所有这些点在三维和二维上呈现。 我们已经开发出一种简单的用户界面，其允许用户在三维点云中选择多 个点。因此，我们通过对所有选定的点进行三角测量使用听觉三角测量 算法(Ear Triangulation algorithm)[14]创建三维对象。最近创建的表面现 在可以被激活作为消除抠像对象，这意味着在电影摄影机视频上那个对 象的二维投影覆盖的每个像素现在被三维内容生成工作站生成的三维虚 拟环境替换(参见1)。需要注意的是在使用远程深度传感器(即至少 50米)的情况下消除抠像技术变得无效，由于我们的深度键控方法很容 易替换它(参见2.4)。

附录1

参考文献

[1]赫伯特·贝,廷尼图特拉,吕克凡古·瑟夫.加速稳健性特征.第9 届欧洲计算机视觉国际会议论文集[C].柏林,海德堡,施普林格出版社. 2006(6):404-417。(Herbert Bay,Tinne Tuytelaars,and Luc Van Gool.Surf: speeded up robust features.In Proceedings of the 9th European conference on  Computer Vision-Volume Part I,ECCV'06,pages 404-417,Berlin, Heidelberg,2006.Springer-Verlag)

[2]迈克尔·卡隆德,文森特·利普特,克里斯托夫·斯察,帕斯卡·菲 阿布里夫.独立二进制稳健性的基本特点[C].第11届欧洲计算机视觉国 际会议论文集.柏林,海德堡,施普林格出版社.2010(4):778-792。 (Michael Calonder,Vincent Lepetit,Christoph Strecha,and Pascal Fua. Brief:binary robust independent elementary features.In Proceedings of the  11th European conference on Computer vision:Part IV,ECCV'IO,pages 778-792,Berlin,Heidelberg,2010.Springer-Verlag.)

[3]弗雷德里克·达沃尼,奥维利尔·法戈瑞斯.直线必须是直的[C]. 国际光学工程学会,2001(2567)。(Frederic Devernay and Olivier Faugeras. Straight lines have to be straight.In In SPIE,volume 2567,2001.)

[4]马丁A·费什勒,罗伯特C·博尔斯.随机样本一致性一个应用到 图像分析和自动化制图的范式模型[C].美国计算机协会通讯,1981,24(6): 381-395。(Martin A.Fischler and Robert C.Bolles.Random sample  consensus:A paradigm for model fitting with applications to image analysis  and automated cartography.Communications of the ACM,24(6):381-395, 1981.)

[5]克里斯·哈里斯,麦克·斯蒂芬斯.一种组合的角落和边缘检测器 [C].第四阿尔维愿景会议.1988:147-151。(Chris Harris and Mike Stephens. A combined corner and edge detector.In In Proc.of Fourth Alvey Vision  Conference,pages 147-151,1988.)

[6]D.C.霍格林,F.莫斯特勒,J.W.图基.解读鲁棒探索性数据分析, 威力系列概率与数理统计：应用概率统计[M].约翰·威力与桑恩.1983。 (D.C.Hoaglin,F.Mosteller,and J.W.Tukey.Understanding Robust and  Exploratory Data Analysis.Wiley series in probability and mathematical  statistics:applied probability and statistics.John Wiley and Sons,1983.)

[7]鲁道夫·埃米尔·卡尔曼.一种新的以线性滤波和预测的问题的 方法[J].美国机械工程师学会基础工程出版社.1960,82(D):35-45。 (Rudolph Emil Kalman.A new approach to linear filtering and prediction  problems.Transactions of the ASME-Journal of Basic Engineering,82(Series  D):35-45,1960.)

[8]格奥尔格·克莱恩,大卫·莫瑞.工作区并行跟踪和映射小型增强 现实技术[C].美国华盛顿,第六届电气和电子工程师协会和美国计算机 协会国际研讨会上混合和增强现实程序.美国计算机协会,计算机社会. 2007,(7):1-10。(Georg Klein and David Murray.Parallel tracking and  mapping for small ar workspaces.In Proceedings of the 20076th IEEE and  ACM International Symposium on Mixed and Augmented Reality,ISMAR '07,pages 1-10,Washington,DC,USA,2007.IEEE Computer Society.)

[9]J.J.伦纳德,H.朗迪·怀特.基于追踪几何学的机器人追踪[J]. 电气和电子工程师协会-机器人与自动化.1991,7(3)。(J.J.Leonard and  Durrant H.Whyte.Mobile robot localization by tracking geometric beacons. IEEE Transactions on Robotics and Automation,7(3),1991.)

[10]K.利文贝格.一种用于一些问题在最小二乘的解决方案[J].夸 脱相联平行处理机数学.1944,(2):164-168。(K.Levenberg.A method for the  solution of certain problems in least squares.Quart App-l.Math,2:164-168, 1944.)

[11]G.戴维·劳氏.局部尺度不变特征的目标识别[C].第二届计算 机视觉会议论文集.1999,2(99):1150-。(David G.Lowe.Object recognition  from local scale-invariant features.In Proceedings of the International  Conference on Computer Vision-Volume 2-Volume 2,ICCV'99,pages 1150-,Washington,DC,USA,1999.IEEE Computer Society.)

[12]D.麦夸特.非线性参数的最小二乘估计的一种算法.美国工业 与应用数学学会.1963,(11):431-441。(D.Marquardt.An algorithm for  least-squares estimation of nonlinear parameters.SIAM J.Appl.Math, 11:431-441,1963.)

[13]克里斯多夫·梅,加布·西不利,马克·康明斯,保罗·纽曼,兰· 瑞德.瑞斯姆：一种使用大比例尺立体声固定时间的系统[J].国际应用数 学和计算机科学.2011.9,94(2):198-214。(Christopher Mei,Gabe Sibley, Mark Cummins,Paul Newman,and Ian Reid.Rslam:A system for large-scale  mapping in constant-time using stereo.Int.J.Comput.Vision,94(2):198-214, September 2011.)

[14]加里·霍西尔·梅斯特.多边形有耳[J].美国数学月刊.1975, (82):648-651。(Gary Hosier Meisters.Polygons have ears.Amer.Math. Monthly,82:648-651,1975.)

[15]J.J.摩尔.数学运算讲稿之理论与实践：利文贝格-马奎特测定 法[M].施普林格出版社.1977。(J.J.More'.The Levenberg-Marquardt  algorithm:implementation and theory,pages 105-116.Lecture Notes in  Mathematics 630.SPRINGER,1977.)

[16]爱德华·罗斯滕,汤姆·缀蒙德.高速角点检测的机器学习能力 [C].柏林,海德堡,第9届欧洲会议计算机视觉国际会议论文集.2006, (1):430-443。(Edward Rosten and Tom Drummond.Machine learning for  high-speed corner detection.In Proceedings of the 9th European conference  on Computer Vision-Volume Part I,ECCV'06,pages 430-443,Berlin, Heidelberg,2006.Springer-Verlag.)

[17]爱德华·罗斯滕,里德·波特,汤姆·缀蒙德.一种角点检测的机 器学习方法[J].电气与电子工程师协会.模式分析与机器智能.2010, (32):105-119。(Edward Rosten,Reid Porter,and Tom Drummond.Faster and  better:A machine learning approach to corner detection.IEEE Trans.Pattern  Analysis and Machine Intelligence,32:105-119,2010.)

[18]伊桑·路布里,文森特·拉波德,库尔特·康农里格,盖理·布拉 德斯基.Orb：一种可选择的筛选和浏览算法[C].美国,华盛顿,国际计算 机视觉国际会议论文集.2011,(11):2564-2571。(Ethan Rublee.Vincent  Rabaud,Kurt Konolige,and Gary Bradski.Orb:An efficient alternative to sift  or surf.In Proceedings of the 2011International Conference on Computer  Vision,ICCV'11,pages 2564-2571,Washington,DC,USA,2011.IEEE  Computer Society.)

[19]伊凡.E.萨瑟兰.一种头戴式三维显示器[C].秋季联合计算机 会议12月9-11日论文集.美国,纽约,1968,68(1):757-764。(Ivan E. Sutherland.A head-mounted three dimensional display.In Proceedings of the  December 9-11,1968,fall joint computer conference,part I,AFIPS'68(Fall, part I),pages 757-764,New York,NY,USA,1968.ACM.)

[20]罗杰·Y·蔡,赖默尔·K·伦茨.一种新的完全自主、高效的3D机 器人手眼校准技术[C].第四届机器人研究国际会议论文集.美国,剑桥, 马萨诸塞,1988:287-297。(Roger Y.Tsai and Reimer K.Lenz.A new  technique for fully autonomous and efficient 3d robotics hand-eye calibration. In Proceedings of the 4th international symposium on Robotics Research, pages 287-297,Cambridge,MA,USA,1988.MIT Press.)

[21]J.K.乌尔曼.多目标追踪算法[J].美国科学家.1992, 80(2):128-141。(J.K.Ulhmann.Algorithms for multiple target tracking. American Scientist,80(2):128-141,1992.)