虚拟现实场景融合及播放方法和虚拟现实设备

技术领域

本发明涉及虚拟现实技术领域，尤其是涉及一种虚拟现实场景融合及播放方法和虚 拟现实设备。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生 成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

相关技术中，对于虚拟现实内容的生产主要来自两方面：一是由计算机制作的三维 虚拟化内容；另一个是通过全景相机等专有设备进行图像视频采集，以形成视频流来播放。

但是，以上两种生产制作虚拟现实内容的方式，都存在着沉浸感不足的问题。其中， 对于计算机制作的虚拟化内容，因受限于三维制作水平，使得虚拟化场景的表现力无法 达到真实影像所能带来的真实感体验。对于全景相机等基于平面采集技术所制作的内容， 其原理等价于通过超大分辨率的二维视频播放，由于没有三维信息，无法实现场景的漫 游，同时也未考虑立体声效应。此外，以上虚拟现实内容均是预先制作，无法实现实时动态的巡游体验，因此用户在立体感、沉浸感上的感受存在很多不足。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在 于提出一种虚拟现实场景融合及播放方法，该方法可以提高用户对虚拟现实场景的真实 感和沉浸感。

本发明的目的之二在于提出一种虚拟现实设备。

本发明的目的之三在于提出一种虚拟现实设备。

为了解决上述问题，本发明第一方面实施例提供的虚拟现实场景融合及播放方法， 包括，获取至少一个实际场景的动态三维网格数据，以及，获取所述至少一个实际场景的立体声场数据；将所述动态三维网格数据和所述立体声场数据融合至用户虚拟空间， 获得虚拟融合场景；获取用户在所述虚拟融合场景中的状态信息；根据所述状态信息获 得所述虚拟融合场景中对应的目标视觉信息和目标声觉信息；播放所述目标视觉信息和 所述目标声觉信息。

根据本发明实施例的虚拟现实场景融合及播放方法，采集实际场景的动态三维网格 数据，可以实现用户的场景漫游，以及，采集立体声场数据可以提升声效效果，以及， 通过将获取的至少一个实际场景的动态三维网格数据和立体声场数据融合至用户虚拟 空间，将场景的三维信息和立体声效进行结合，用户在虚拟融合场景漫游时，根据用户 状态例如位置、朝向来播放目标视觉信息和目标声觉信息，提高用户沉浸虚拟融合场景 的真实感和沉浸感，达到身临其境的感觉。

在一些实施例中，获取至少一个实际场景的动态三维网格数据，包括：连续采集所述实际场景的三维信息和所述实际场景的颜色信息；将所述实际场景的对应时序的三维信息和颜色信息进行配准，以获得三维彩色点云数据；将所述三维彩色点云数据进行三 维重建，获得所述实际场景的动态三维网格数据。

在一些实施例中，将所述动态三维网格数据和所述立体声场数据融合至用户虚拟空 间，获得虚拟融合场景，包括：获取所述用户虚拟空间中对应所述动态三维网格数据的设定位置信息；根据所述设定位置信息将所述动态三维网格数据设置于所述用户虚拟空间，以获得虚拟融合场景中的视觉信息。

在一些实施例中，将所述动态三维网格数据和所述立体声场数据融合至用户虚拟空 间，获得虚拟融合场景，还包括：获取所述虚拟融合场景中所述动态三维网格数据对应的三维模型中心到用户视角中心的距离和分离夹角；根据所述虚拟融合场景中所述动态三维网格数据对应的三维模型中心到用户视角中心的距离和分离夹角以及头相关传输 函数(Head Related Transfer Function，HRTF)获得所述虚拟融合场景中的声觉信息。

在一些实施例中，在将所述动态三维网格数据融合至用户虚拟空间之后，方法还包 括：获得所述用户虚拟空间中场景光源入射至用户视角的折射路径的数量；获取每个折射路径上光线的入射方向和出射方向；根据所述折射路径的数量、所述每个折射路径上 光线的入射方向和出射方向获得所述场景光源在所述用户视角处的光亮度；控制所述场 景光源提供所述光亮度的光线至所述用户视角。

本发明第二方面实施例提供一种虚拟现实设备，包括：视觉采集模块，用于采集实际场景的三维信息和颜色信息；声音采集模块，用于采集实际场景的立体声场数据；定 位模块，用于获取用户在虚拟场景中的状态信息；数据处理模块，用于执行上述实施例 所述的虚拟现实场景融合及播放方法；播放模块，与所述数据处理模块连接，用于播放 虚拟场景的视觉信息和声觉信息。

根据本发明实施例的虚拟现实设备，通过数据处理模块执行上述实施例提供的虚拟 现实场景融合及播放方法，用户在虚拟融合场景漫游时，根据用户状态信息例如位置、朝向，控制播放模块播放虚拟场景的视觉信息和声觉信息，提高用户对虚拟场景的真实 感和沉浸感，达到身临其境的感觉。

在一些实施例中，所述视觉采集模块包括：深度相机，用于采集所述实际场景的三维信息；彩色相机，用于采集所述实际场景的颜色信息。

在一些实施例中，所述视觉采集模块为多个。

在一些实施例中，所述播放模块包括：显示单元，与所述数据处理模块连接，用于显示所述虚拟场景的视觉信息；声音播放单元，与所述数据处理模块连接，用于播放所 述虚拟场景的声觉信息。

本发明第三方面实施例提供一种虚拟现实设备，包括：至少一个处理器；与至少一个处理器通信连接的存储器；所述存储器中存储有可被所述至少一个处理器执行的计算机程序，所述至少一个处理器执行所述计算机程序时实现上述实施例所述的虚拟现实场景融合及播放方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得 明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明 显和容易理解，其中：

图1是根据本发明一个实施例的虚拟现实场景融合及播放方法的流程图；

图2是根据本发明一个实施例对动态三维网格数据融合后的虚拟融合场景的示意图；

图3是根据本发明一个实施例对立体声场数据进行融合的虚拟融合场景的示意图；

图4是根据本发明一个实施例获取场景光源在用户视角处光亮度的示意图；

图5是根据本发明一个实施例的虚拟现实设备的结构框图。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述 本发明的实施例。

为了解决上述问题，本发明第一方面实施例提出一种虚拟现实场景融合及播放方法， 该方法可以提高用户对虚拟现实场景的真实感和沉浸感。

下面结合附图对本发明实施例的虚拟现实场景融合及播放方法进行说明。

如图1所示，本发明实施例提供的虚拟现实场景融合及播放方法至少包括步骤S1-步骤S5。

步骤S1，获取至少一个实际场景的动态三维网格数据，以及，获取至少一个实际场景的立体声场数据。

具体地，通过获取至少一个实际场景的动态三维网格数据，相较于预先制作的虚拟 现实内容，本发明实施例以实时采集的动态实际场景来进行三维重建，实现动态场景的捕捉，从而使得虚拟化场景的表现力可以达到真实影像所带来的真实感，利于实现实时 动态的场景漫游。以及，本发明实施例还考虑虚拟场景的立体声效应，即获取至少一个 实际场景的立体声场数据，以便后续根据需要在虚拟场景中广播，提升虚拟场景的声效 效果，因此，通过将场景的三维信息和立体声效进行结合，利于用户在虚拟场景漫游时， 在视觉上和听觉上同时满足用户的巡游体验，提高用户对虚拟现实场景的真实感和沉浸 感。

步骤S2，将动态三维网格数据和立体声场数据融合至用户虚拟空间，获得虚拟融合 场景。

其中，用户虚拟空间可以理解为在用户漫游虚拟场景时虚拟现实设备所提供的虚拟 空间，例如图2所示，可以将其设想为一个三维立体空间，该三维立体空间中可以存在多个三维虚拟场景。虚拟融合场景可以理解为不同的三维虚拟场景同时融合于用户虚拟空间后所呈现出的场景。

具体地，在用户虚拟空间中可以呈现多个三维虚拟场景，但对于不同的三维虚拟场 景可能为不同的实际场景采集获得的，因此，为获取用户虚拟空间所呈现的整体三维虚拟场景，需根据用户的实际需求将由不同实际场景获得的动态三维网格数据和立体声场数据进行融合，以将由不同实际场景获得的动态三维网格数据和立体声场数据安置于同一虚拟空间中，即获取虚拟融合场景，从而可以提高用户沉浸虚拟融合场景的真实感和 沉浸感，达到身临其境的感觉。

举例说明，如图2所示，用户虚拟空间中包含两个不同的三维虚拟场景，分别为虚拟场景1如兔子、虚拟场景2如球。具体地，通过分别在不同实际场景中动态采集虚拟 场景1和虚拟场景2的动态三维网格数据和立体声场数据，并将虚拟场景1和虚拟场景 2的动态三维网格数据和立体声场数据融合至用户虚拟空间中，从而可以在用户虚拟空 间中呈现由虚拟场景1和虚拟场景2两个不同的三维虚拟场景融合后的虚拟融合场景。

步骤S3，获取用户在虚拟融合场景中的状态信息。

在实施例中，可以理解的是，在不同的状态下如用户头部朝向或用户所处位置等，用户所体验的虚拟融合场景不同，因此，在用户漫游虚拟融合场景时，需实时获取用户 在用户虚拟空间中的状态信息，以便于结合用户的状态信息，为用户呈现所需的虚拟融 合场景。

步骤S4，根据状态信息获得虚拟融合场景中对应的目标视觉信息和目标声觉信息。

其中，目标视觉信息可以理解为用户在当前视角下所看到的虚拟影像。目标声觉信 息可以理解为用户在当前位置处所听到的声音。

具体地，根据用户当前在用户虚拟空间中的状态信息，如用户当前在用户虚拟空间 中的空间位置信息和用户当前的头部朝向信息，为用户呈现当前所需的虚拟融合场景，即获取虚拟融合场景中对应的目标视觉信息和目标声觉信息。

步骤S5，播放目标视觉信息和目标声觉信息。

具体地，基于虚拟融合场景为由获取的至少一个实际场景的动态三维网格数据和立 体声场数据融合得到的，用户在虚拟融合场景漫游时，实时结合用户所处的状态信息，为用户实时播放目标视觉信息和目标声觉信息，从而既可以在视觉上和听觉上同时满足用户的巡游体验，又可以提高用户对虚拟融合场景的真实感和沉浸感，使用户达到身临 其境的感觉。

根据本发明实施例的虚拟现实场景融合及播放方法，采集实际场景的动态三维网格 数据，可以实现用户的场景漫游，以及，采集立体声场数据可以提升声效效果，以及， 通过将获取的至少一个实际场景的动态三维网格数据和立体声场数据融合至用户虚拟 空间，将场景的三维信息和立体声效进行结合，用户在虚拟融合场景漫游时，根据用户 状态信息例如位置、朝向来播放目标视觉信息和目标声觉信息，提高用户沉浸虚拟融合 场景的真实感和沉浸感，达到身临其境的感觉。

在一些实施例中，对于获取至少一个实际场景的动态三维网格数据，可以包括，连续采集实际场景的三维信息和实际场景的颜色信息；将实际场景的对应时序的三维信息和颜色信息进行配准，以获得三维彩色点云数据；将三维彩色点云数据进行三维重建， 获得实际场景的动态三维网格数据。

具体地，可以通过TOF相机采集实际场景时序上连续的三维信息，即获取三维点云数据，以及可以通过RGB相机采集实际场景时序上连续的颜色信息，即获取彩色数据。 进而，将实际场景的对应时序的三维信息和颜色信息进行配准，以获得三维彩色点云数 据，并通过三维重建技术如体素重建算法，将三维彩色点云数据进行三维重建，以获取 实际场景的动态三维网格数据。

在一些实施例中，对于将动态三维网格数据和立体声场数据融合至用户虚拟空间， 获得虚拟融合场景，可以包括，获取用户虚拟空间中对应动态三维网格数据的设定位置 信息；根据设定位置信息将动态三维网格数据设置于用户虚拟空间，以获得虚拟融合场景中的视觉信息。

也就是，对于采集获得的多个动态三维网格数据，可以根据用户实际需要，在用户虚拟空间中为每个动态三维网格数据安置对应的位置，实现多个动态三维网格数据在用户虚拟空间的融合。例如图2所示，其中，虚拟场景1和虚拟场景2分别为对不同实际 场景进行动态三维网格数据采集并通过重建获得的，对于采集重建获得的两个虚拟场景， 在用户虚拟空间中分别设定其坐标，即根据设定位置信息将动态三维网格数据设置于用 户虚拟空间，以获得虚拟融合场景中的视觉信息。进而，根据获得的虚拟融合场景中的 视觉信息，并结合用户的状态信息，可以实现用户在视觉上的动态巡游体验，提高用户 对虚拟现实场景的真实感和沉浸感。

在一些实施例中，对于将动态三维网格数据和立体声场数据融合至用户虚拟空间， 获得虚拟融合场景，还可以包括，获取虚拟融合场景中动态三维网格数据对应的三维模 型中心到用户视角中心的距离和分离夹角；根据虚拟融合场景中动态三维网格数据对应 的三维模型中心到用户视角中心的距离和分离夹角以及头相关传输函数获得虚拟融合场景中的声觉信息。

其中，虚拟融合场景中的声觉信息可以理解为虚拟融合场景所产生的立体声到达用 户双耳的声场信号。虚拟融合场景中动态三维网格数据对应的三维模型中心可以理解为 根据动态三维网格数据重建获得的三维模型的重心。具体地，虚拟融合场景中的声觉信息由虚拟融合场景中动态三维网格数据对应三维模型中心到用户视角中心的距离、虚拟融合场景中动态三维网格数据对应三维模型中心与用户视角中心之间的分离夹角以及 头相关传输函数获得，计算公式具体如下。

其中，S

举例说明，如图3所示，虚拟融合场景中动态三维网格数据对应的三维模型中心包括虚拟场景1中心和虚拟场景2中心。其中，虚拟场景1中心至用户视角中心的距离为 d1，虚拟场景1中心与用户视角中心之间的分离夹角为θ1，即空间衰减函数为

在一些实施例中，在将动态三维网格数据融合至用户虚拟空间之后，方法还包括：获得用户虚拟空间中场景光源入射至用户视角的折射路径的数量；获取每个折射路径上光线的入射方向和出射方向；根据折射路径的数量、每个折射路径上光线的入射方向和 出射方向获得场景光源在用户视角处的光亮度；控制场景光源提供光亮度的光线至用户 视角。

也就是，本发明实施例在对多个动态三维网格数据融合后的基础上，采用光线追踪 技术，计算相邻动态三维网格数据之间的光交互作用，以进一步提高三维渲染的真实感。 例如，如图4所示，虚拟融合场景中包含两个虚拟场景：虚拟场景1、虚拟场景2。对 于场景光源，其出射光经过连续在不同虚拟场景上的折射后，最终入射至用户视角，基 于此，对于用户视角处光亮度的计算公式如下。

其中，L为场景光源在用户视角处的光亮度，L

本发明第二方面实施例提供一种虚拟现实设备，如图5所示，虚拟现实设备10包括视觉采集模块1、声音采集模块2、定位模块3、数据处理模块4以及播放模块5。

其中，视觉采集模块1用于采集实际场景的三维信息和颜色信息；声音采集模块2用于采集实际场景的立体声场数据；定位模块3用于获取用户在虚拟场景中的状态信息，如用户当前的头部朝向信息和空间位置信息；数据处理模块4用于执行上述实施例提供 的虚拟现实场景融合及播放方法；播放模块5与数据处理模块4连接，用于播放虚拟场 景的视觉信息和声觉信息。

在该实施例中，该虚拟现实设备10在呈现虚拟场景时，其内部数据处理模块4的具体实现方式与本发明上述任意实施例的虚拟现实场景融合及播放方法的具体实现方式 类似，具体请参见关于虚拟现实场景融合及播放方法部分的描述，为了减少冗余，此处 不再赘述。

根据本发明实施例的虚拟现实设备10，通过数据处理模块4执行上述实施例提供的 虚拟现实场景融合及播放方法，用户在虚拟融合场景漫游时，根据用户状态信息例如位置、朝向，控制播放模块5播放虚拟场景的视觉信息和声觉信息，提高用户对虚拟场景 的真实感和沉浸感，达到身临其境的感觉。

在一些实施例中，视觉采集模块1包括深度相机和彩色相机。

具体地，深度相机如TOF相机用于采集实际场景的三维信息；彩色相机如RGB相机用于采集实际场景的颜色信息。

在一些实施例中，视觉采集模块1为多个，从而实现对多个不同实际场景的采集，以便于获取多个不同的三维虚拟场景。

在一些实施例中，播放模块5包括显示单元和声音播放单元。

具体地，显示单元与数据处理模块4连接，用于显示虚拟场景的视觉信息；声音播放单元如耳机与数据处理模块4连接，用于播放虚拟场景的声觉信息。

在本发明的另一个实施例中，虚拟现实设备10还可以包括至少一个处理器和与至少一个处理器通信连接的存储器。

在实施例中，存储器中存储有可被至少一个处理器执行的计算机程序，至少一个处 理器执行计算机程序时实现上述实施例提供的虚拟现实场景融合及播放方法。

在该实施例中，该虚拟现实设备10在呈现虚拟场景时，其具体实现方式与本发明上 述任意实施例的虚拟现实场景融合及播放方法的具体实现方式类似，具体请参见关于虚 拟现实场景融合及播放方法部分的描述，为了减少冗余，此处不再赘述。

在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以 被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的 代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于 实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指 令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、 装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、 通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置 或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具 有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取 存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)， 光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是 可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行 光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所 述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的 下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门 电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)， 现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是 可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质 中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是 各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块 如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计 算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述 了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换 和变型。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施 例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描 述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说 明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本 发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的 范围由权利要求及其等同物限定。