一种多视点视频流的自由视点视频重建方法及系统

技术领域

本发明涉及计算机视觉和图像处理方法及系统，特别是关于一种多视点视频流的自由视点视频重建方法及系统。

背景技术

近年来，随着视频服务的不断升级，人们已经不满足于传统视频所提供的简单视觉信息。面对周围多元化的世界，人们需要从更加全面、更加立体的角度进行观察和分析。于是，多视点视频技术应运而生。相对于传统的单点视频来说，多视点视频可以提供某一事物或场景的不同角度，不同层面的信息，并且可以把这些信息进行合成，生成多角度、全方位的自由或立体视觉。

多视点视频的原始数据一般是由多个摄像机组成的集合采集而成，并且根据摄像机的排列方式不同而生成不同类型的多视点视频数据。由于组成集合的摄像机大都距离固定，拍摄的场景也大致相同，因此多视点视频数据往往表现了同一场景或物体不同角度的信息。作为新型媒体的多视点视频最突出的特征就是视觉信息的多元化和交互性，用户可以有机会以某种方式主动参与到媒体活动中而不是作为被动的消费者存在。多个摄像机同时拍摄同一个场景的不同角度，使得用户可以任意选择其中之一进行观看，或者根据相邻几个摄像机所拍摄的视频序列合成出一个虚拟的中间场景来进行观看，并实现多个视点之间的无缝自由浏览和切换，即所谓的自由视点视频。

现有技术的多视点视频系统大致可分为两类。一类是采用由大量摄像机密集排列所组成的摄像机阵列。在这种情况下不需要做虚拟视合成便可以达到较为平滑的自由视点浏览和切换的效果，然而对摄像机的几何关系要求却相对较高，大量摄像机的使用不仅增加了系统建设的成本，而且对于多视点视频的编码和传输性能也带来了巨大的压力。另一类是采用相对稀疏的摄像机阵列，当用户要求在两个实际视点之间进行切换时，服务器预先在这两个视点之间合成一到多个虚拟图像帧，以实现在这两个视点间切换时视觉上的平滑过渡。一方面，这种方法只能用于两个实际视点之间的切换，而无法使用户较长时间地关注位于它们之间的某个虚拟视点；另一方面，这种方法目前仅适用于预编码好的多视点视频码流，而无法用于实时采集、编码和传输的现场直播型系统；即使对于预编码的多视点视频码流来说，当用户数增加且需求不一致时，会给服务器端的视角生成带来沉重的负担。

发明内容

针对上述问题，本发明的目的是提供一种多视点视频流的自由视点视频重建方法及系统。

为实现上述目的，本发明采取以下技术方案：一种多视点视频流的自由视点视频重建方法，包括以下操作步骤：(1)视频采集/编码器为它所连接的每台摄像机分别生成一个会话描述文件并将其拷贝至流媒体服务器，然后启动视频采集和编码过程并将编码后的视频码流实时向流媒体服务器转发；(2)流媒体服务器将上述生成的所有会话描述文件以Web页面中统一资源定位符URL的形式发布出去，供客户端进行选择和点播；(3)在客户端图形用户界面中设置自由视点导航器和自由视点播放器两个区域，在自由视点导航器中设置若干图像或视频小窗口，在其上方设置一个浮动聚焦框；(4)用户通过移动浮动聚焦框在自由视点导航器区域内进行选择；(5)自由视点导航器计算当前被浮动聚焦框所覆盖或部分覆盖的所有小窗口中被覆盖部分的比例关系；(6)自由视点导航器从位于流媒体服务器上的Web页面获取当前被浮动聚焦框所覆盖或部分覆盖的所有小窗口所对应的各摄像机视点视频流的URL；(7)自由视点导航器将上述步骤(5)中计算出来的比例关系和步骤(6)中获得到的URL地址发送至自由视点播放器；(8)自由视点播放器同时向流媒体服务器发送针对上述各URL的点播请求；(9)流媒体服务器接收到各点播请求后，首先向自由视点播放器发送对应于每一个点播请求的会话描述信息，然后从当前位置开始依次转发对应于该会话描述信息的压缩视频码流；(10)自由视点播放器从接收到的各视点会话描述信息中提取各摄像机的参数信息并缓存；(11)自由视点播放器依次从流媒体服务器接收对应于当前所选择各视点的后续压缩视频码流并解码；(12)当自由视点播放器解码完同一时刻对应于各视点的多个视频帧后，以各视点所对应小窗口被覆盖部分的比例关系以及摄像机参数信息为参数调用虚拟视点合成算法，根据上述多个视频帧合成出一个中间虚拟视频帧并显示，转至步骤(4)。

所述步骤(2)中生成的会话描述文件中除了包含现有视频编码和传输标准中已规定的会话描述信息之外，还新增一条用于描述摄像机参数信息的属性项。

一种多视点视频流的自由视点视频重建方法的系统，其特征在于它包括：前端、接入网络和客户端三个部分组成；所述前端包括摄像机、视频采集/编码器和流媒体服务器，其中摄像机与视频采集/编码器之间通过高速数据线相连，视频采集/编码器与流媒体服务器之间通过局域网相连，一台视频采集/编码器可以同时连接一到多台摄像机；所述接入网络是基于IP协议的局域网或广域网；所述客户端通过接入网络与流媒体服务器相连，其图形用户界面至少包括自由视点导航器和自由视点播放器两个相互独立的区域组成，其特征在于自由视点导航器负责检测和接收来自用户的访问请求并把它提交给自由视点播放器，自由视点播放器负责根据该访问请求从流媒体服务器接收多路视频码流并进行虚拟视点合成和显示。

所述客户端中的自由视点导航器由若干图像或视频小窗口组成，其中每个小窗口对应于前端的一个摄像机视点，同时也对应于流媒体服务器上Web页面中的一个URL地址，小窗口数量与前端实际使用的摄像机数量相同，排列方式与前端实际摄像机阵列的排列方式相一致；在自由视点导航器中存在一个浮动聚焦框，可由人机交互设备操纵在自由视点导航器区域内任意滑动。

所述客户端中的自由视点播放器占据一个尺寸与前端摄像机原始采集视频分辨率相一致的视频窗口，它能够同时与流媒体服务器建立多条网络连接，并通过这些连接同时接收对应于多个摄像机视点的多个视频码流并解码，然后调用虚拟视点合成算法将多个视频码流的解码结果合成为一个中间虚拟视点并显示。

本发明由于采取以上技术方案，其具有以下优点：1、本发明直接利用现有基于单视点的视频编码标准和传输技术，不需要对现有视频编码和传输系统的前端(服务器端)和网络传输部分进行实质性改动，因而可大大节省系统建设的软硬件投资和技术成本，并可应用于直播型的实时编码和传输系统。2、本发明可根据用户当前所关注焦点的不同由相邻的两个到多个摄像机合成出其中任意位置的虚拟摄像机视点来，从而能够达到真正的自由视点无缝漫游和切换。3、当用户关注于某一焦点位置时，客户端仅要求服务器向其传送与该焦点位置相邻的少数几个视点的压缩视频码流，因而可节省网络带宽需求。4、服务器不需要根据不同用户的不同观察位置分别为其合成相应的虚拟视点，因而可降低对服务器处理能力和性能的要求。本发明方法及系统可广泛用于各种基于多视点视频流的应用场合，例如各种体育竞技比赛、博览会和造势会等的视频直播活动。

附图说明

图1是本发明一种多视点视频流的自由视点视频重建系统示意图

图2是本发明的客户端图形用户界面的示例图

图3是本发明一种多视点视频流的自由视点视频重建方法流程图