用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法

发明背景

1.技术领域

本发明涉及用于在头戴式显示器中改变透明度模式的方法和系 统。

2.现有技术描述

多年来，已经看到视频游戏产业的许多变化。由于计算能力扩大， 视频游戏的开发者同样创建了利用这些计算能力的增加的游戏软件。 为此，视频游戏开发者已经编码并入复杂运算和数学以产生极为逼真 的游戏体验的游戏。

已经以游戏机形式开发和出售许多游戏平台。典型的游戏机被设 计成连接到监视器(通常是电视机)且支持通过手持控制器的用户交 互。设计具有专用处理硬件的游戏机，包括中央处理单元(CPU)、 用于处理密集图形运算的图形合成器、用于执行几何变换的矢量单元 和其它粘合硬件、软件和固件。还设计具有用于容纳通过游戏机本地 游戏用的游戏光盘的光盘托盘的游戏机。还设计游戏机用于在线游 戏，其中用户可以针对或与互联网上的其它用户互动游戏。随着游戏 复杂度持续吸引玩家，游戏和硬件厂商持续创新以支持额外互动和计 算机程序。

计算机游戏产业的增长趋势是开发增加用户与游戏系统之间的 互动的游戏和游戏控制器。游戏控制器包括通过允许游戏系统追踪玩 家的变动，且使用这些移动作为游戏系统上执行的游戏的输入而支持 更丰富互动体验的特征。

在这种内容背景下出现本发明的实施方案。

发明内容

本发明的实施方案提供用于从一个透明模式转变成如本文使用 的另一模式的系统和方法。

一般地说，本发明的各个实施方案公开了用于执行呈现在头戴式 显示器(HMD)的屏幕上的游戏的系统和方法。执行游戏且来自所 述游戏的互动场景显现在头戴式显示器的屏幕上。用户穿戴的HMD 的图像被接收且用来识别HMD相对于被引导朝向用户的捕捉位置的 第一空间定位。用户握持的控制器的图像被接收且用来识别控制器相 对于捕捉位置的第二空间定位。控制器提供输入以至少部分驱动与被 执行游戏的互动。接收识别用户观看呈现在HMD的屏幕上的互动场 景时的注视方向的图像。还接收从HMD的前向方向捕捉的真实世界 图像。屏幕的一部分被转变到透明模式，使得透明模式用真实世界图 像的至少部分更换显现在屏幕的部分中的互动场景。在一个时间段之 后中止透明模式，使得用户可以继续完全沉浸在游戏中且完全体验游 戏。从其中用户完全沉浸在游戏中的非透明模式转变到透明模式支持 用户瞥视真实世界而不中断用户玩游戏。转变还允许用户从高度紧张 游戏逐渐进入真实世界。

在一个实施方案中，公开了一种用于执行呈现在头戴式显示器的 屏幕上的游戏的方法。所述方法包括执行游戏。响应于游戏的执行， 在HMD的屏幕上显现游戏的互动场景。接收由用户穿戴的HMD的 图像。HMD的图像用来识别HMD相对于被引导朝向用户的捕捉位 置的第一空间定位。接收由用户握持的控制器的图像。控制器的图像 用来识别控制器相对于捕捉位置的第二空间定位。控制器提供输入以 至少部分驱动被执行游戏内的互动。接收识别用户观看呈现在HMD 的屏幕上的游戏的互动场景的注视方向的转移的图像。接收与用户的 转移注视方向一致的真实世界图像。从HMD的前向方向捕捉真实世 界图像。响应于检测注视方向的转移，将屏幕的一部分转变成半透明 模式。转变造成所捕捉真实世界图像的至少一部分呈现在显现互动场 景的屏幕的部分中。在一个时间段之后中止半透明模式。

在另一实施方案中，公开了一种用于执行呈现在头戴式显示器 (HMD)的屏幕上的游戏的方法。所述方法包括执行游戏。所述游 戏的执行在所述HMD的所述屏幕上显现所述游戏的互动场景。接收 识别穿戴HMD的用户在观看呈现在HMD的屏幕上的互动场景时的 注视方向的转移的图像。接收从HMD的前向相机捕捉的真实世界图 像。捕捉的真实世界图像与用户的注视方向一致。响应于注视方向的 转移将屏幕的一部分从非透明模式转变到半透明模式，使得捕捉的真 实世界图像的至少部分覆加在显现互动场景的屏幕的部分中。在一个 时间段之后中止半透明模式。

在另一实施方案中，公开了一种用于执行呈现在头戴式显示器的 屏幕上的游戏的方法。所述方法包括执行游戏。在游戏执行时，游戏 的互动场景显现在HMD的屏幕上。在执行游戏期间检测在HMD的 附近内发生的触发事件。触发事件造成屏幕从非透明模式转变成全透 明模式。转变包括调整屏幕的一个或多个光学特性以便将屏幕切换到 全透明模式。全透明模式支持用户通过屏幕观看HMD附近的真实世 界环境。在一个时间段之后中止全透明模式。

将从以下结合附图进行的、通过举例方式说明本发明的实施方案 的原理的详述明白本发明的其它方面。

附图简述

参考结合附图所作的下文描述，可最佳地理解本发明的实施方 案，其中：

图1A-1D说明根据本发明的一些实施方案的不同游戏环境的系 统架构配置。

图2A-2D说明根据本发明的实施方案的与游戏程序交互使用的 头戴式显示器的组件。

图3A-3G在本发明的一些实施方案中说明非透明模式与半透明 或全透明模式之间的转变的实施方式。

图4A-4E在本发明的一些实施方案中说明在头戴式显示器内的 三维空间和不同转变区中的非透明模式与透明模式之间的转变的实 施方式。

图5说明根据本发明的实施方案的用于执行头戴式显示器的屏 幕上呈现的游戏的方法操作。

图6在本发明的一个实施方案中说明游戏模块的整体系统架构。

图7说明根据本发明的实施方案的游戏系统的框图。

具体实施方式

描述了用于在头戴式显示器(HMD)内从非透明模式转变到半 透明或全透明模式的系统和方法。游戏机或游戏云上执行的游戏会造 成要显现在HMD屏幕上的游戏的互动场景。在执行游戏期间，检测 到触发事件的发生。响应于触发事件的检测，HMD的一部分屏幕或 全屏幕从非透明模式转变到半透明或全透明模式。转变允许在HMD 屏幕的部分中显现的互动场景旁边呈现从HMD附近捕捉的真实世界 图像的至少部分，或允许用户通过屏幕观看来自HMD附近的真实世 界图像。

在一些实施方案中，转变到半透明模式包括在前景中显现真实世 界图像时使互动场景淡入到背景中。在一些实施方案中，转变可以递 增进行。在一些实施方案中，递增转变可以取决于游戏强度而为线性 的或非线性的。在一些实施方案中，转变到全透明模式包括用由HMD 的前向相机捕捉的真实世界图像更换在HMD屏幕的部分中显现的互 动场景。在其它实施方案中，通过调整屏幕的光学特性完成从非透明 模式转变为全透明模式以使屏幕全透明。在一些实施方案中，可以在 检测到穿戴HMD的用户的注视方向的改变时触发事件。在一些其它 实施方案中，可在用户的即时真实世界环境中检测到移动，诸如一个 人进入用户正在使用HMD玩游戏的房间，或者在用户的即时真实世 界环境内由HMD检测到声音时，触发事件。在一些实施方案中，触 发事件可以响应于来自用户的语音或运动命令或从控制器或HMD发 出的命令。

应注意，本公开中描述的各个实施方案可以在没有这些特定详情 中的一些或所有的情况下实行。在其它实例中，熟知过程操作未作详 细描述以免使本公开中描述的各个实施方案不必要地变模糊。

在一个实施方案中，系统包括计算机、手持控制器(HHC)和头 戴式显示器(HMD)。在各个实施方案中，计算机可以是通用计算机、 专用计算机、游戏机、移动电话、平板装置或执行显现在HMD的显 示屏幕上的互动程序的一个或多个部分的其它这些装置。互动程序可 以是多个用户游戏的多用户游戏程序或一个用户游戏的单用户游戏 程序。在一些实施方案中，游戏程序的至少一部分正在计算机上执行。 在这些实施方案中，互动程序的任何剩余部分被执行在游戏云系统 中，例如一个或多个虚拟机(VM)上。在一些实施方案中，互动程 序的所有部分被执行在游戏云系统上。

HMD是直接穿戴在用户头部上或作为头盔的部分的显示装置。 HMD在用户的一只眼睛或每只眼睛前面具有小型显示光学器件。在 一些实施方案中，HMD能够接收和显现来自计算机和/或游戏云系统 上执行的程序的视频输出。用户操作手持控制器(HHC)和/或HMD 以生成提供给互动程序的一个或多个输入。在各个实施方案中，HHC 和/或HMD与计算机无线通信，因为这比有线连接提供HHC和/或 HMD的更好的移动自由。HHC可以包括用于提供输入给互动程序的 各个特征中的任一个，诸如按钮、惯性传感器、可追踪LED灯、触 摸屏、具有输入控件的控制杆、方向垫、触发器、触摸垫、触摸屏且 可以具有检测和解译手势、语音输入的电路/逻辑以及其他类型的输 入机构。此外，HHC可以是支持用户通过移动控制器与互动程序交 互且对其提供输入的运动控制器。

与之相似，HMD可以包括支持用户通过移动HMD与互动程序 交互且对其提供输入的用户输入电路。可采用各种技术来检测运动控 制器和/或HMD的定位和移动。例如，HMD的运动控制器和/或用户 输入电路可以包括各个类型的惯性传感器电路，诸如加速计、陀螺仪 和磁强计。在一些实施方案中，运动控制器可以包括全球定位系统 (GPS)、罗盘等等。在一些实施方案中，加速计是6轴低延迟加速 计。在一些实施方案中，运动控制器和/或用户输入电路可以包括一 个或多个固定参考对象(另称为“标记元件”)，例如，发光二极管 (LED)、彩色点、光反射器等等。固定参考对象的图像由系统的一 个或多个数字相机捕捉。在一些实施方案中，数字相机包括视频相机， 其还包括单电荷耦合装置(CCD)、LED指示器和基于硬件的实时数 据压缩和编码设备，使得可以按适当格式(诸如基于内部图像的运动 图像专家组(MPEG)标准格式)传输压缩的视频数据。然后可以通 过分析一个或多个数字相机捕捉的图像确定运动控制器和/或HMD 的定位和移动。

图1A是系统100的示例性配置的实施方案。在一个实施方案中， 系统包括通过互联网110通信的游戏云102、HMD104和HHC106。 在一个实施方案中，HMD104包括与互联网110通信的路由器(未 示出)。在一些实施方案中，游戏云102在本文称为游戏云系统。HMD 104由用户108放置在其头部上，使得显示屏幕在他/她的眼睛前面以 其中用户108将戴上头盔的类似方式对准。HHC106由用户106握持 在他/她的手部中。

在各个实施方案中，代替HHC106，用户108的手部可用来提供 可以由HMD104内的互动程序和/或逻辑解译的姿势，例如手势、手 指姿势等等。在这些实施方案中，用户可以穿戴具有传感器的互动手 套以提供触觉反馈。当由用户穿戴时，互动手套用作HHC，且以互 动姿势/动作的方式提供输入给互动程序和/或HMD。互动手套可以包 括标记元件，诸如LED、光反射器等等，以允许检测各种移动。互 动手套是一种用来提供输入给HMD和/或互动程序的可穿戴装置形 式且还可以接合其它形式的可穿戴衣物/装置。HMD104的数字相机 101捕捉姿势的图像且HMD104内的处理器分析姿势以确定是否影 响HMD104内显示的游戏。在一个实施方案中，相机101是位于面 向前方的HMD104的面板405上的外部数字相机。在一些实施方案 中，一个以上外部数字相机可提供在HMD104的面板上以捕捉真实 世界图像的不同角度。在一些实施方案中，相机可以是立体相机、IR 相机、单镜头相机等等。如本文使用，处理器可以是微处理器、可编 程逻辑装置、专用集成电路或其组合。

系统100包括网络110，其可以是局域网(LAN)、广域网(WAN) 或其组合。网络110的实例包括互联网、内联网或其组合。在一些实 施方案中，网络110使用传输控制协议(TCP)/互联网协议(IP)以 经由网络110在游戏云102与HMD104或HHC106之间传达媒体数 据。实施方案不限于TCP/IP协议，而是还可接合其它形式的通信协 议以经由网络传递媒体数据。在各个实施方案中，网络使用以太网和 TCP/IP协议的组合以经由网络110在游戏云102与HMD104或HHC 106之间传递媒体数据。

游戏云102包括编码器/解码器(编解码器)112和流缓冲器114。 流缓冲器114存储执行游戏程序117之后生成的媒体数据116的流。 媒体数据116包括虚拟环境数据、虚拟游戏对象数据、其组合等等。 虚拟环境数据用来生成游戏的虚拟环境且虚拟游戏对象数据用来生 成一个或多个虚拟游戏对象，例如，虚拟游戏角色、虚拟游戏对象、 虚拟点、虚拟奖品、游戏界面等等。游戏程序117是由游戏云102的 一个或多个服务器执行的互动程序的实例。编解码器112使用压缩器 /解压缩器来使用有损压缩、无损压缩等编码/解码媒体数据。

HMD104用来访问由HMD104的处理器执行的操作系统(OS)。 例如，选择和激活HMD104中的按钮支持HMD104的处理器执行 OS。类似地，HHC106可用来访问由HHC106的处理器执行的OS。 HHC106上的按钮可用来使HHC106的处理器执行OS。

在一些实施方案中，OS允许HMD104直接访问网络110。例如， 用户可以使用网络访问图标、网络访问符号等等在OS顶部上选择由 HMD104的处理器执行的网络访问应用。网络访问应用提供从其中 选择网络来访问网络110的网络清单。根据网络访问协议，访问网络 110可能需要用户认证。在选择和成功的用户认证(如果需要)之后 支持用户访问网络110。HMD104内的内置路由器(未示出)使用网 络110与游戏云交互以交换游戏数据。在这些实施方案中，网络110 与HMD104之间的通信遵循无线通信协议。与之相似，HHC106通 过使用网络访问应用选择网络得以访问网络110且HHC106与网络 之间的通信遵循无线通信协议。

一旦访问网络110，OS允许HMD104以类似于选择网络的方式 访问游戏程序117。例如，当用户108通过游戏访问图标、游戏访问 符号等在OS顶部上选择HMD104的处理器执行的游戏访问应用时， 游戏访问应用经由HMD104的处理器请求访问游戏程序117以显示 给用户108。在获得游戏程序117的访问之后，HMD104的微控制器 在HMD104的显示屏幕上显示游戏。在一些实施方案中，HMD104 的显示屏幕是高性能屏幕以减少HMD104快速移动时的模糊。在一 个实施方案中，显示屏幕是液晶显示(LCD)屏幕。用户108执行一 个或多个头部和/或眼睛运动，例如，头部倾斜、眨眼、注视、转移 注视、凝视等等，并且每个头部或眼睛运动触发用户输入电路生成可 用于玩游戏的输入。在这些实施方案中，游戏程序117在游戏云102 上执行且游戏程序117与HMD104之间的通信是通过内置路由器和 网络110。

在一些实施方案中，游戏访问应用请求用户108访问游戏程序 117的用户认证信息，诸如用户名和/或密码。在从游戏云102接收成 功认证之后，游戏访问应用允许用户108访问游戏程序117。

在各个实施方案中，代替访问游戏应用/程序，用户108请求在 访问网络110之后访问网页且所述网页允许用户108访问游戏程序 117。例如，用户108经由用户输入电路或经由HHC106选择网页浏 览器应用来访问网页。在访问网页之后，用户108玩网页上显示的游 戏或使用其内提供的链路访问游戏。当在游戏云102上执行游戏程序 117时显现游戏。在一些实施方案中，在提供网页访问以玩在游戏云 102上执行游戏程序117时显示的游戏之前可能需要用户认证。以与 用户108经由游戏访问应用访问游戏时所述类似的方式验证用户名 和/或密码。

当访问游戏程序117时，编解码器112编码(例如压缩等等)媒 体数据116的数字数据流用于经由网络110将编码的媒体数据流发送 到HMD104。在一些实施方案中，编码媒体数据的数字数据流是用 于经由网络110发送的分包形式。

HMD104经由网络110从编解码器112接收所选择的游戏程序 的编码媒体数据的数字数据流，且所述数字数据流被处理，例如拆包、 解码等等，并且所处理的流用来在HMD104的显示屏幕上显示游戏。 当游戏数据显示在HMD104的显示屏幕上时。HMD104的外部相机 101响应于HMD处的触发事件的检测捕捉用户108紧邻的真实世界 环境的一个或多个图像。在一些实施方案中，外部相机101是视频相 机。真实世界环境的实例包括用户108访问游戏的房间、用户108位 于的地理区、用户108周围的真实世界对象等等。地理区的实例包括 公园、道路、街道、湖泊、城市、地标等等。真实世界对象的实例包 括公交站、咖啡厅、商店、办公室、车辆、房间、凳子、桌子、椅子、 球等等。在一个实施方案中，包括真实世界环境的一个或多个图像的 真实世界环境数据被处理并本地存储在HMD中且用于后续显现在 HMD的屏幕上。诸如触发事件的用户输入可以被HMD104处理、 分包和编码，并且通过内置路由器和网络110发送到游戏云102中的 编解码器112。在一些实施方案中，除了用户输入之外，真实世界环 境数据还可以可被HMD104分包和编码，并且经由HMD104的内 置路由器、网络110作为编码环境数据流被发送到游戏云102中的编 解码器112。

在接收用户输入和/或真实世界环境数据之后，游戏程序117生 成由游戏云102的一个或多个服务器分包的额外媒体数据以生成额 外媒体数据流。额外媒体数据可以包括游戏修改，包括虚拟游戏对象 修改，例如计算机生成对象等等，用于更新显现在HMD上的虚拟游 戏环境。额外媒体数据流被存储在流缓冲器114中、由编解码器112 编码，并经由网络110作为编码额外媒体数据流发送到HMD104。 HMD104接收编码额外媒体数据流、拆包流，并解码编码额外媒体 数据以提供额外媒体数据给HMD104的微控制器。HMD104的微控 制器基于额外媒体数据改变由游戏程序117执行显现在HMD的屏幕 上的游戏显示。

可通过HMD104和/或HHC106提供用户输入。例如，用户108 可以使用HMD104中提供的输入界面/机构提供输入。或者，用户108 可以使用HHC执行手部运动，例如按压按钮、移动控制杆、手势、 手指姿势、其组合等等，且提供在HHC106处的这种用户输入生成 由HHC106的通信电路转换成输入信号的输入数据用于发送到HMD 104的通信电路。当然，HHC包括手持控制器、控制杆、运动控制器、 衣物的可穿戴物品、可穿戴装置等。源自HHC106和HMD104的输 入信号被HMD104的通信电路从模拟形式转换成数字形式，被HMD 104分包、编码且经由网络110发送到编解码器112。HMD的通信电 路的实例包括收发器、传输/接收电路、网络界面控制器等等。

在一些实施方案中，游戏程序117映射由HMD生成的输入数据 与HHC处生成的输入数据(例如，基于手部运动)以确定是否改变 显示在HMD104上的游戏状态。例如，当经由网络110接收来自HMD 的输入以及HHC106处生成的输入(诸如HHC106上的按钮的按压) 时，游戏程序116确定改变游戏状态。否则，游戏程序117确定不改 变游戏状态。

基于手部运动和/或手持控制器运动生成的输入的输入数据被 HHC106的通信电路(例如收发器、传输/接收电路等)传达到HMD 104的通信电路，例如收发器、传输/接收电路等等。传达到HMD的 输入数据和/或由HMD生成的输入数据被HMD104分包且编码且经 由网络110作为编码的输入数据流发送到编解码器112。例如，可经 由网络110使用内置路由器将输入数据从HMD104直接发送到游戏 云102。在许多实施方案中，用户108执行手部运动且提供来自HMD 的用户输入以改变显现在HMD处的虚拟对象的位置和/或定向。

编解码器112解码(例如解压缩等等)经由网络110从HMD104 接收的编码输入数据流且解码的输入数据被缓冲到流缓冲器114中 用于拆包且发送到游戏程序117。游戏云102的一个或多个服务器拆 包解码的输入数据流且将输入数据发送到游戏程序117。在接收输入 数据之后，游戏程序117生成被游戏云102的一个或多个服务器分包 以生成下个媒体数据流的下个媒体数据。下个媒体数据流被存储在流 缓冲器114中、被编解码器112编码，且经由网络110作为编码的下 个媒体数据流发送到HMD104。HMD104接收编码的下个媒体数据 流、拆包流，并解码编码的下个媒体数据以提供下个媒体数据给HMD 104的微控制器。HMD104的微控制器基于下个媒体数据改变由游戏 程序117执行的游戏显示。例如，微控制器改变重叠在真实世界环境 的一个或多个图像上或简单显现在HMD104的屏幕上的虚拟游戏对 象的外观、定位和/或定向。

应注意，HHC和/或HMD处生成的输入数据会改变游戏状态。 在一些实施方案中，游戏显示在本文称为与游戏程序117相关联的互 动的一部分。

在各个实施方案中，代替将基于手部运动生成的输入数据从 HHC106传达到HMD104，经由网络110将输入数据直接从HHC106 传达到编解码器112。在HHC106处生成的输入数据以与HMD104 的传达类似的方式被HHC106传达。例如，来自HHC106基于手部 运动生成的输入数据被HHC106编码且分包且经由网络110作为编 码的输入数据流发送到编解码器112。

应注意，在图1A所示的实施方案中，HMD和HHC个别地直接 与网络110通信而不经过游戏机或外部路由器。在替代实施方案中， HHC可以与HMD通信以传输在HHC处生成的输入数据，且HMD 可以利用网络110直接传达HHC和/或HMD处的数据。在这些实施 方案中的两者中，媒体数据116、额外媒体数据、下个数据等经由网 络101和内置路由器被游戏云102的编解码器112直接串流到HMD 104的无线访问卡(WAC)。此外，在这些实施方案中，例如输入数 据、真实世界环境数据等的数据经由内置路由器和网络110被HMD 104的WAC直接串流到游戏云102的编解码器112。结合HMD的内 置路由器的WAC能够往返于HMD传输串流媒体数据和输入数据。

图1B是用于经由网络110和路由器152在HMD104或HHC106 与游戏云102之间传送数据的系统150的实施方案的图。除了系统 150在HMD104与网络110之间包括路由器152之外，系统150类 似于系统100(图1A)。路由器152还位于HHC106与网络110之间。 在这个实施方案中，HMD104的WAC将于路由器152介接以与网络 110通信。

HMD104经由无线连接例如蓝牙连接或Wi-Fi连接等耦合到路 由器152。此外，HHC106经由无线连接耦合到路由器152。在一些 实施方案中，路由器152经由有线连接耦合到网络110。

除了编码数据流从HMD104或HHC106发送到路由器152之 外，图1B所示系统150以与系统100(图1A)的方式类似的方式操 作。路由器152路由(例如引导等)编码数据流到网络110中的路径 以促进发送所述流到编解码器112。路由器152使用编解码器112的 IP地址来将编码数据流路由到编解码器112。在一些实施方案中，路 由器152基于网络流量因子例如网络路径的分包流量、网络路径的拥 塞等确定网络110的网络路径。

路由器152经由网络110从游戏云102接收编码数据流且将编码 数据流路由到HMD104。例如，路由器152经由网络110基于HMD 104的IP地址将从游戏云102接收的编码数据流路由到HMD104。 在使用系统100和150的一些实施方案中，游戏执行主要发生在游戏 云102上。在一些实施方案中，游戏的一些部分可以在HMD104上 执行，同时剩余部分可在游戏云102上执行。

图1C是用于使用计算机172来将媒体数据直接或通过路由器 152传达到网络的系统170的实施方案的图。

在一些实施方案中，无线网络清单显现在HMD104的屏幕上供 用户选择。或者，在一些其它实施方案中，无线网络清单呈现在与计 算机172相关联的显示屏幕上。例如，当计算机172是移动电话时， 移动电话包括用于显示无线网络清单的显示屏幕。作为另一实例，当 计算机172耦合到电视显示屏幕时，无线网络清单显示在电视显示屏 幕上。在这些实施方案中，当计算机172的处理器执行存储在计算机 172的存储器装置内的无线访问应用时访问无线网络清单。当用户 108通过执行头部运动和/或手部运动经由HMD104或HHC106生成 输入数据时，处理器176执行无线访问应用。基于头部运动和/或手 部运动生成的输入数据从HMD104或HHC106的通信电路被发送到 计算机172。当计算机172的处理器接收输入数据时，执行无线访问 应用以生成无线网络清单。

计算机172包括网络界面控制器(NIC)174，其从游戏云102 请求游戏程序117的一部分。NIC的实例包括网络界面卡和网络适配 器。游戏程序117的部分被编解码器112编码且经由网络110串流到 计算机172的NIC174。计算机172的处理器176执行游戏程序117 的部分以生成媒体数据，其从计算机172的通信电路178例如收发器、 传输/接收电路、网络界面控制器等被发送到HMD104以显示在HMD 104的显示屏幕上。HMD104的通信电路从计算机172接收媒体数据 且将所述媒体数据发送到HMD104的微控制器以进行处理并且将所 述媒体数据显示在HMD104的显示屏幕上。

此外，计算机172的通信电路178接收来自HMD104的基于头 部运动和/或来自HHC106的基于手部运动所生成的输入数据且将所 述输入数据发送到处理器176。在一个实施方案中，输入数据可以是 从HMD104的通信电路接收的真实世界环境数据。处理器176执行 存储在计算机172内的游戏程序117的部分，以生成从通信电路178 发送到HMD104的通信电路的额外媒体数据。在接收额外媒体数据 之前或之后，HMD104的通信电路经由通信电路178将使用头部运 动和/或手部运动生成为游戏的部分的来自HHD104和/或HHC106 的输入数据发送到处理器176。响应于所述输入数据，处理器176执 行存储在计算机172内的游戏程序117的部分以生成从通信电路178 发送到HMD104的通信电路的下个媒体数据。下个媒体数据被发送 到HMD104的通信电路以改变游戏，包括改变/更新通过执行游戏程 序117显示的虚拟游戏对象和/或虚拟游戏环境。当例如真实世界对 象、虚拟游戏对象等的游戏对象和/或虚拟环境改变时，通过执行游 戏程序117显示的游戏的游戏状态改变。

在一些实施方案中，游戏状态经由路由器152和网络110被计算 机172的NIC174发送到游戏云102以通知游戏云的一个或多个服务 器当前游戏状态。

在各个实施方案中，媒体数据116、额外媒体数据、下个媒体数 据等经由网络110和路由器152首先从编解码器112发送到HMD 104，直到游戏程序117的一部分从游戏云102被下载到计算机172。 例如，首先，用户108使用游戏访问应用访问游戏部分117。当访问 游戏程序117时，媒体数据116、额外媒体数据、下个媒体数据等经 由网络110和路由器152从编解码器112发送到HMD104以显示在 HMD104的显示屏幕上。在来自游戏云102用于显示在HMD104上 的媒体数据的访问时间期间，计算机172的NIC174经由网络110和 路由器152从游戏云102下载游戏程序117的一部分。

在一些实施方案中，当计算机172访问游戏程序117时，例如媒 体数据116、额外媒体数据、下个媒体数据等的媒体数据经由网络110 从编解码器112被直接发送到HMD104以绕过计算机172而显示在 HMD104的显示屏幕上，而计算机访问游戏云上供下载的游戏程序。 所接收的媒体数据显现在HMD104的显示器上。同时，计算机172 的NIC174经由网络110和路由器152从游戏云102下载游戏程序117 的一部分。

在许多实施方案中，基于头部运动和/或手部运动生成的输入数 据的一部分和/或真实世界环境数据的一部分经由路由器152和网络 110被从HMD104发送到游戏云102的编解码器112，同时输入数据 的剩余部分和/或真实世界环境数据的剩余部分从HMD104的通信电 路被发送到计算机172的通信电路178。

在各个实施方案中，基于手部运动生成的输入数据的一部分经由 路由器152和网络110从HHC106的通信电路发送到游戏云102的 编解码器112且输入数据的剩余部分通过HMD或直接从HHC106 的通信电路发送到计算机172的通信电路178。

在各个实施方案中，通过使用从计算机/HMD/HHC接收的用户 输入执行游戏程序117生成的例如媒体数据116、额外媒体数据、下 个媒体数据等的媒体数据经由网络110和路由器152从游戏云102的 编解码器112发送到HMD104以显现在HMD104的显示屏幕上作为 游戏的部分，并且通过由计算机172的处理器176执行游戏程序117 的部分生成的媒体数据从计算机172的通信电路178发送到HMD 104以显示在显示屏幕上。在这些实施方案中，游戏云102和计算机 172具有同步游戏状态。例如，编解码器112经由网络110和路由器 152将通过执行游戏程序117生成的游戏状态发送到计算机172的 NIC174以通知计算机172游戏状态。作为另一实例，计算机172的 NIC174经由路由器152和网络110将通过执行计算机172上的游戏 程序117的部分生成的游戏状态发送到游戏云102的编解码器112， 以通知一个或多个游戏云服务器游戏状态。游戏云102的编解码器 112与计算机的NIC之间的通信周期性进行以保持两侧的游戏状态同 步。

在数个实施方案中，通过执行游戏程序117生成且从游戏云102 的编解码器112发送到HMD104的例如媒体数据116、额外媒体数 据、下个媒体数据等的媒体数据比由计算机172的处理器176生成的 媒体数据具有更高量的图形。明显的是，在一些实施方案中，在媒体 数据经由网络110从游戏云102的编解码器112直接发送到HMD104 时，计算机172被绕过。

图1D说明HMD使用计算机172和路由器152往返于编解码器 112传达输入数据和/或媒体数据的系统配置。系统190的配置类似于 参考图1C所述系统170的配置。系统190包括计算机172，其通过 路由器152和互联网110通信连接到游戏云102且被配置来获得游戏 程序的部分和游戏相关数据。计算机还通信连接到HMD104和HHC 106以获得输入数据。

在一些实施方案中，计算机172的处理器执行存储在计算机172 的存储器装置内的无线访问应用以访问网络110。在一些实施方案中， 响应于经由HMD104或HHC106从用户接收的输入数据而执行无线 访问应用。输入数据可以包括头部运动和/或手部运动。当计算机172 的处理器接收HMD或HHC生成的输入数据时，无线访问应用生成 从其中可选择网络来访问网络110的可用无线网络清单。

计算机172包括网络界面控制器(NIC)174，其从游戏云102 请求游戏程序117的一部分且作为响应，编解码器112编码的游戏程 序117的部分117-b经由网络110被串流到计算机172的NIC174。 在一些实施方案中，游戏云包括从其中检索游戏程序117且将其下载 到计算机172的游戏数据库131。在一些实施方案中，游戏程序117 的一部分117-a从游戏数据库131被下载到游戏服务器102上且游戏 程序117的剩余部分117-b被下载到计算机172。在一些实施方案中， 被下载到计算机172的部分117-b是整个游戏。计算机172的处理器 176执行游戏程序117的部分117-b以生成媒体数据、额外媒体数据 和下个媒体数据(统称为“媒体数据”)，其从计算机172的通信电路 178、网络界面控制器等被发送到HMD104以显示在HMD104的显 示屏幕上。

可响应于从HMD104接收且包括头部运动/其它用户输入、手部 运动等的输入数据提供额外媒体数据和下个媒体数据。在一个实施方 案中，除了头部运动和/或手部运动之外，输入数据还可包括由布置 在HMD104外面的外部相机101捕捉且由HMD104的通信电路传 输的真实世界环境数据。在一些其它实施方案中，由外部相机101捕 捉的真实世界环境数据被本地存储在HMD内且用于显现在HMD屏 幕上。额外媒体数据提供虚拟环境相关数据用于在HMD上显现虚拟 游戏场景且下个媒体数据在游戏期间提供对显示在虚拟游戏场景内 的虚拟游戏对象和/或虚拟环境的改变。HMD104的通信电路从计算 机172接收媒体数据作为媒体流且将所述媒体数据发送到HMD104 的微控制器以进行解译并且显示在HMD104的显示屏幕上。当例如 真实游戏对象、虚拟游戏对象等的游戏对象和/或虚拟环境改变时， 通过执行游戏程序117显示的游戏的游戏状态改变。

如早前所述，在一些实施方案中，游戏状态经由路由器152和网 络110被计算机172的NIC174发送到游戏云102以通知游戏云102 的一个或多个服务器游戏状态以便使所述游戏状态与计算机172上 的游戏状态同步。在这些实施方案中，大多数游戏执行发生在计算机 172上。

在一些实施方案中，游戏程序117的部分117-a在游戏云102上 执行同时游戏程序117正被下载到计算机172上。因此，与游戏云 102上的游戏程序117的部分117-a的执行相关联的媒体数据经由网 络110和路由器152从编解码器112被直接发送HMD104以显现在 HMD上，直到游戏程序117的部分117-b从游戏云102被下载到计 算机172。在一个实施方案中，游戏程序117的部分117-b被下载且 存储在计算机172的本地存储装置113中且由处理器176执行。一旦 部分117-b被下载且计算机172的处理器176开始执行游戏部分 117-b，那么媒体数据将针对游戏程序117的部分117-b从计算机172 被传输到HMD104。在一些实施方案中，游戏程序的所有媒体数据 从计算机172被直接传输到HMD104用于显现。计算机172还可周 期性传输媒体数据到游戏云102以使游戏云102上的游戏程序的游戏 状态与计算机172上的游戏状态同步。

在许多实施方案中，由连接到计算机172的观察相机171捕捉基 于头部运动和/或手部运动的输入数据的一部分。在一些实施方案中， 观察相机171与计算机172之间的连接可以是有线连接。在其它实施 方案中，观察相机171与计算机172之间的连接可以是无线连接。在 一些实施方案中，观察相机171是立体相机、IR相机或单色相机中 的任何一种或组合。在一些实施方案中，观察相机171是视频相机或 静止运动相机中的一个。由观察相机171捕捉的图像可以用来确定 HMD和HHC的位置和运动。例如，可以使用观察相机171的图像 来识别HMD的定位A的坐标(X_a,Y_a,Z_a)和HHC的定位B的坐标 (X_b,Y_b,Z_b)。除了坐标平面的坐标之外，观察相机的图像可用来确 定俯仰、偏转和滚转以生成HMD和HHC的六轴数据。在一些实施 方案中，在HMD和HHC处生成的头部和/或手部运动由观察相机171 捕捉并被传输到HMD104的微控制器作为六轴数据。来自HMD104 和/或HHC106的六轴数据被解译以生成输入数据。被解译的输入数 据从HMD104被传输到计算机172以影响游戏程序的结果。在一些 实施方案中，由观察相机171捕捉的头部和/或手部运动被直接传输 到在其中将所述运动被解译以生成六轴数据的处理器176。观察相机 171观察用户的运动(头部和/或手部)，并且此信息用来提供反馈给 游戏程序以影响游戏状态改变。在本实施方案中，有关游戏程序117 的任何其它输入数据被HMD104传输给处理器且处理器176用六轴 数据解译所述其它输入数据以确定游戏的游戏状态是否需要改变。基 于解译，得以改变游戏的游戏状态。在一些实施方案中，来自HMD 104的输入数据包括由外部相机101捕捉且从HMD104的通信电路 发送到计算机172的通信电路178的真实世界环境数据。真实世界环 境数据可用于影响显现在HMD104的屏幕的某些部分处的虚拟游戏 场景。

在一些实施方案中，HMD104使用有线连接通信连接到计算机 172。在这种实施方案中，HMD被配置来检测有线连接的打断以便暂 停显现在HMD104的屏幕上的虚拟游戏场景。HMD检测通信连接 的打断，相应地生成信号且将所述信号中继到计算机172以造成计算 机172暂停游戏程序的执行且存储游戏会话的游戏状态和游戏场景。 来自HMD的电池的电力可用来在通信连接的打断期间提供用于与计 算机172传达连接状态的电力。游戏程序的执行可在计算机172从 HMD104得到已经重新建立有线连接的信号时尽快恢复。在一些实 施方案中，在恢复HMD与计算机172之间的连接之后，计算机172 可以开始从中断点串流游戏场景。在另一实施方案中，计算机172可 以开始从由连接中断造成的暂停之前的点(例如，暂停之前的数百个 帧)串流游戏场景，使得用户可以得到一些时间来沉浸于游戏中。在 本实施方案中，计算机172可以允许用户重新执行游戏的部分以允许 用户进入游戏。HHC与HMD之间的通信以及HHC与计算机172 之间的通信可以遵循无线通信协议。

在一些实施方案中，HMD104可以包括一个或多个内部相机103 以检测用户的眼睛移动的改变。内部相机103还可用来在提供对游戏 的访问之前识别/认证用户。

虽然提供关于游戏环境的详述，但是预期介接还可在与计算机系 统的互动通信期间发生。计算机系统可以是具有图形用户界面的通用 计算机，其允许用户108在空间上呈现和进行控制图标、键入、选择、 文字和其它命令的手势。

图2A-2D说明头戴式显示器(HMD)104的框图，其描绘用来 往返于游戏云102和/或计算机传达程序相关的媒体数据的各个视图 和方面。HMD104被配置来通过解码HMD处接收的媒体数据而显 示部分或全部执行在计算机172上且/或部分或全部执行在游戏云上 的游戏程序117的计算机生成图像(即，虚拟图像)。HMD还被配置 来在传输到计算机和/或游戏云用于更新执行游戏程序之前编码在 HMD处生成或接收的媒体数据。HMD还被配置来显示从用户角度 捕捉的真实世界环境图像。

图2A说明用于生成输入数据且用于显现游戏场景和真实世界环 境场景的示例性HMD104。如所示，HMD104由用户108穿戴。HMD 104包括帮助视觉追踪HMD的一个或多个标记元件。类似地，HHC 106(未示出)包括类似于HMD上提供的标记元件的一个或多个标 记元件。每个标记元件可以是发光二极管214、红外灯210、颜色、 反射材料、具有经由图像分析容易辨识的特殊特征或特性的对象等。 例如，球形对象212可被添加到HMD以便于追踪。此外，还可以使 用具有LED灯、红外灯或任何其它类型的照明的球形对象212照射。 此外，HMD104还可以包括特殊视觉标记器(未示出)，诸如特定几 何形状的反射区域、具有特定颜色的区域(例如，蓝色矩形等)或标 记(例如，HMD表面上的三条平行线)等。

在一些实施方案中，HMD在HMD的侧面和/或背面(即，HMD 触摸头部背面的部分)上还包括额外标记元件以通过检测各自灯或视 觉标记进一步视觉追踪HMD的位置。

可以使用不同类型的外部相机支持HMD的视觉追踪。在一些实 施方案中，相机是(图1D的)观察相机171。在一个实施方案中， 使用立体相机402追踪HMD，所述立体相机是包括每个透镜具有单 独图像传感器的两个或两个以上透镜的相机。单独图像传感器支持立 体相机捕捉提供深度错觉的对象的三维图像。在一个实施方案中，立 体相机光学器件被设计成设定为光学无限(例如，约9米)以提供立 体图像。使用三角测量分析比较由相机的不同透镜捕捉的HMD的标 记元件的图像来确定HMD在三维空间中的位置(例如，用于计算游 戏场地内的深度)。

在另一实施方案中，红外(IR)相机404可用来分析提供在HMD 上的红外灯210。红外光对人眼不可见，但可容易由红外相机检测。 HMD可以包括红外灯以避免影响HMD的外观。在一些环境中(例 如，弱光或亮光)，追踪红外光可以比追踪其它类型的光更容易，以 检测HMD中的位置、形状和特征。红外(IR)相机提供追踪对象诸 如HMD的增强成像和热成像。IR相机还可用作内部相机以检测用户 的注视方向。

在又一实施方案中，普通相机405(在本文中也称为单色相机， 因为相机仅具有一个透镜)用来追踪HMD中配置用于视觉追踪的灯 或其它标记元件。为了使用普通相机确定HMD的游戏场内的深度， 分析HMD上的特征中的一些的大小。特征越小，所述特征应该越远 离HMD的相机。此外，视觉追踪还可以结合其它类型的追踪，诸如 惯性运动追踪、航位推算、HMD和计算装置之间的超声波通信等。

数字相机402捕捉HMD104的图像。当用户108的头部倾斜或 移动时，标记元件的位置和定位在坐标系统中改变。数字相机捕捉标 记元件的图像且将所述图像发送到计算机172。标记元件的图像是输 入数据的实例。HMD104在三维空间中的定位(X,Y,Z)可以由计算机 172的处理器176基于标记元件在图像中的定位来确定。此外，惯性 运动例如HMD104的偏转、俯仰和滚转等由计算机172的处理器176 基于标记元件的移动来确定。在计算机172不可用的情况中，来自数 字相机的标记元件的图像被发送到HMD104的处理器和HMD的处 理器将使用标记元件的坐标确定HMD的定位。

在一些实施方案中，数字相机402捕捉HHC106的图像。当用 户108的手部倾斜或移动时，标记元件在HHC上的位置和定位在坐 标系统中改变。数字相机捕捉标记元件在HHC上的图像且将所述图 像发送到计算机172或HMD104的处理器。标记元件在HHC上的 图像是输入数据的实例。HHC106在三维空间中的定位(X,Y,Z)可以 由计算机172的处理器176或HMD104的处理器通过分析图像中标 记元件在HHC上的定位来确定。此外，惯性运动例如HMD104的 偏转、俯仰和滚转等由计算机172的处理器176或HMD104的处理 器基于HHC的标记元件的移动来确定。

在一些实施方案中，代替HHC106，用户108的手部可以由数字 相机追踪且所追踪的数据可用来确定手部在三维空间中的定位和手 部的惯性运动。在一些实施方案中，代替HHC106可使用互动手套。 手套可以包括标记元件以追踪和解译用户穿戴手套的手部的不同部 分的运动。

有关用于跟随标记对象的方法的更多信息可参考2011年8月15 日提交且在2012年3月22日公布的美国专利申请公开号 2012-0072119，以及2008年10月27日提交且在2010年4月29日 公布的美国专利申请公开号2010-0105475，此两件公开以引用的方式 并入本文。

如所示，一对或多对立体相机402、一个或多个红外相机404和 /或一种或多个单色相机405或其组合可以用来确定HMD的相对定位 以及通过用户的头部运动和包括用户穿戴用来提供输入数据的可穿 戴物品/装置的手部的控制器提供的HMD的运动。

HMD还可配备安装在内部的一个或多个内部相机以捕捉与用户 相关的图像并且将所述图像馈送到通信模块，以提供用户特定和环境 特定的数据给HMD。(多个)内部相机可用于识别穿戴HMD的用户， 所述HMD可用于获得用户的用户简介。因此，内部相机可以被配置 来采用视网膜扫描技术和/或虹膜扫描技术以描用户的视网膜或虹膜 并且使用来自扫描的数据以生成用户的至少一个生物特征身份。用户 的生物特征身份可以是用户简介的一部分。内部相机还包括注视检测 器算法来检测用户的注视方向并且基于检测调整HMD的屏幕上显现 的图像数据。在一些实施方案中，内部相机是IR相机。注视检测技 术还可以用来认证用户。例如，可要求用户跟随屏幕上显现的对象或 追踪显现在屏幕上的随机生成的字母、对象或图案(例如，圆形、三 角形、矩形等等)。在一些实施方案中，可为用户提供口头或文字命 令以追踪屏幕上的字母、对象或图案，且通过使用注视检测技术认证 用户。用户认证可用来允许访问用户帐号、游戏、游戏的某些部分或 级别等。

图2B说明用户穿戴HMD104，其中内部相机109(图1D的103) 用于检测用户的生物特征身份和用户的眼移动。

内部相机(图2B的109和图1D的103)和外部相机(图1D的 101)联手工作，以确定用户的注视并且使所述注视与用户注视的视 线中的对象有关。HMD的游戏处理模块包括软件，所述软件计算用 户的注视方向并且将其与计算方向的视场内的对象相关。

HMD包括在一只眼睛或每只眼睛前面的一个或一对显示屏幕。 显示屏幕是微型屏幕，仅举几例，其包括阴极射线管(CRT)、液晶 显示器(LCD)、硅上液晶(LCos)或有机发光二极管(OLED)。

图2C说明在本发明的各个实施方案中使用的简化HMD的框图 再现。HMD可以包括一个或多个锚定带401，以允许在HMD固定 地适配在用户的头部和前面板405上。前面板405包括屏幕安置在内 侧上的屏幕部分和安置在其上的一个或多个内部相机单元(109)。除 了内部相机单元(即，内部安装的相机)之外，一个或多个外部相机 单元(即，外部安装的相机)(未示出)还可安置在HMD上以捕捉 如从用户角度看到的真实世界环境。除了观察相机171之外，外部相 机单元用于检测HMD和HHC的运动。HMD的面板包括多个标记元 件，包括一个或多个发光二极管210、一个或多个红外灯214和一个 或多个球形对象212、彩色表面、反射材料、具有经由图像分析容易 辨识的特殊特征或特性的对象等。在游戏期间，HMD上的标记元件 的图像被一个或多个观察相机捕捉且来自捕捉图像的坐标数据用来 确定HMD的位置、移动和定位。观察相机可以直接或通过计算机172 连接到HMD且被配置来与HMD和/或与计算机172交换与捕捉图像 有关的数据。当传输到HMD时，HMD内的处理器处理数据以识别 HMD的六轴数据并且将处理的数据发送到计算机172和/或通过计算 机172(存在时)和路由器、通过路由器和网络发送到游戏云102或 从HMD作为输入数据直接发送到游戏云102。输入数据会影响或影 响游戏程序的游戏状态。

内部相机109检测且追踪用户的眼睛移动和注视。内部相机109 可用来确定用户的注视方向达一个时间段(例如，当用户正在向下直 视达一个时间段时)、检测注视方式达一个时间段(例如，当用户跟 随对象、追踪图案等时)，和/或检测注视方向的改变(例如，眼睛的 往复运动、眼睛的滚转-其可为用户经历头晕的迹象-尤其是在高强度 的游戏等中)。HMD的内部相机与HMD的外部相机和与观测相机通 信以确定用于显现在HMD的屏幕上的适当游戏相关数据。这个通信 将支持用户/环境相关的数据响应于某些触发事件同时或代替游戏相 关数据显现在HMD的屏幕上。

图2D是HMD104的通信架构的框图。HMD104包括一些示例 性模块，诸如视频音频分离器254、视频解码器255、存储器装置256、 WAC258、流缓冲器259、一个或多个扬声器260、电池261、用户 输入电路262、显示屏幕266、微控制器268、音频缓冲器272、观察 数字相机274、外部数字相机275、音频编解码器276、内部数字相 机278、视频缓冲器280、视频音频同步器282、麦克风284、LED285 和IR灯287。LED285和IR灯287表示用于追踪HMD的定位的标 记元件。

在许多实施方案中，扬声器260形成音频电路。在各个实施方案 中，音频编解码器276、音频缓冲器272和/或扬声器260形成音频电 路。在各个实施方案中，微控制器268是用于在显示屏幕上显现图像 的显示电路。显示屏幕266的实例包括LED屏幕、液晶显示(LCD) 屏幕、硅上液晶屏幕、有机LED(OLED)屏幕、等离子体屏幕等等。 外部数字相机的实例包括拳眼相机，诸如SonyComputer Entertainment公司制造的Playstation

微控制器268存储显现程序286和操作系统288。显现程序286 和操作系统288存储在微控制器286的存储器装置中且由微控制器 268的微处理器执行。微控制器268的实例包括低成本微控制器，其 包括例如LCD驱动器的驱动器，所述驱动器生成信号以检测元件(例 如LCD等)，以提供媒体数据用于显示在显示屏幕266上。微控制器 的另一实例包括GPU和存储器装置。

在一些实施方案中，微控制器的存储器装置是不同于快速存储器 或随机存取存储器(RAM)。例如，微控制器的存储器装置是缓冲器。 在各个实施方案中，微控制器的存储器装置是闪存或RAM。用户输 入电路262的实例包括陀螺仪、磁强计和加速计。在一些实施方案中， 用户输入电路262还包括全球定位系统(GPS)、罗盘或任何位置追 踪装置。WAC258的实例包括NIC。在一些实施方案中，WAC258 在本文中称为通信电路。

编码的媒体数据流从网络110或路由器152(图1B-1C)被接收 到流缓冲器259中。应注意，当路由器152耦合到计算机172(图1C) 时，从计算机172接收的数据被存储在HMD250的缓冲器(未示出) 或存储器装置256中，而非存储在流缓冲器259中。

WAC258访问来自流缓冲器259的从计算机或编解码器112接 收的编码媒体数据流且拆包所述流。WAC258还包括解码器以解码 编码的媒体数据。

在计算机172(图1C)经由路由器152(图1C)接收编码媒体 数据流的实施方案中，计算机172的NIC174(图1C)拆包且解码编 码媒体数据流以生成存储在HMD250的缓冲器(未示出)中的解码 数据。

视频音频分离器254从WAC258或从缓冲器(未示出)访问解 码数据。视频音频分离器254在解码数据内将音频数据与视频数据分 离。

视频音频分离器254将音频数据发送到音频缓冲器272且将视频 数据发送到视频缓冲器280。视频解码器255解码例如视频数据且/ 或将视频数据从数字形式改变成模拟形式以生成模拟视频信号。视频 音频同步器282使存储在视频缓冲器280中的视频数据与存储在音频 缓冲器272中的音频数据同步。例如，视频音频同步器282使用视频 数据和音频数据的重播时间同步视频数据与音频数据。

音频编解码器276将同步的音频数据从数字格式转换成模拟格 式，以生成音频信号且由扬声器260重播所述音频信号以生成声音。 微控制器268执行显现程序286以基于由视频解码器255生成的模拟 视频信号在显示屏幕266上显示游戏。在一些实施方案中，显示在显 示屏幕266上的游戏与音频信号的重播同步显示。

此外，用户108(图1A-1C)对着麦克风284讲话，麦克风将声 音信号转换成电信号，例如音频信号。音频编解码器276将音频信号 从模拟格式转换成数字格式，以生成存储在音频缓冲器272中的音频 数据。存储在音频缓冲器272中的音频数据是基于用户108的声音生 成的输入数据的实例。音频数据还可以包括在HMD处生成或由HMD 中的扬声器检测的其它音频信号。音频数据由WAC258从音频缓冲 器272访问以经由网络110(图1A-1C)将其发送到游戏云102(图 1A-1C)的编解码器112(图1A-1C)。例如，WAC258分包和编码从 音频缓冲器272访问的音频数据，以经由网络110将其发送到编解码 器112。

在一些实施方案中，音频数据由WAC258从音频缓冲器272访 问以经由路由器152(图1A-1C)和网络110(图1A-1C)将其发送 到游戏云102的编解码器112(图1A-1C)。例如，WAC258分包和 编码从音频缓冲器272访问的音频数据，以经由路由器152和网络 110将其发送到编解码器112。

内部数字相机278(图1D的103、图2B的109)捕捉用户108 (图1A-1C)的眼睛运动的一个或多个图像，以基于头部和/或眼睛 运动生成为HMD处生成的输入数据的实例的图像数据。类似地，安 装在HMD上的观察数字相机274(图1D的相机171)和/或外部数 字相机275(图1D的相机101)捕捉位于HMD250上和/或用户108 的HHC/手套/手部上的标记、穿戴HMD的用户的头部运动的一个或 多个图像以生成图像数据，其为基于手部/头部运动生成的输入数据 的实例。由数字相机274、275和278捕捉的图像数据被存储在视频 缓冲器280中。

在一些实施方案中，由数字相机274、275和278捕捉的图像数 据被存储在HMD250的缓冲器中且所述缓冲器是视频缓冲器280之 外的缓冲器。在各个实施方案中，由数字相机274、275和278捕捉 的图像数据被视频解码器255解码并且发送到微控制器268以在显示 屏幕266上显示图像。

由数字相机274、275和278捕捉的图像数据由WAC(无线访问 卡)258从视频缓冲器280访问以经由网络110(图1A-1C)将其发 送到游戏云102(图1A-1C，2)的编解码器112(图1A-1C)。例如， WAC258分包和编码从视频缓冲器280访问的图像数据，以经由网 络110将其发送到编解码器112。

在一些实施方案中，视频数据由WAC258从视频缓冲器280访 问以经由路由器152(图1B-1C)和网络110(图1A-1C)将其发送 到游戏云102的编解码器112(图1A-1C)。例如，WAC258分包和 编码从视频缓冲器280访问的视频数据，以经由路由器152和网络 110将其发送到编解码器112。

控制器/控制台通信电路289从计算机172接收媒体数据用于存 储在缓冲器(未示出)中。此外，控制器/控制台通信电路289从HHC 106(图1A-1C)接收输入信号、将输入信号从模拟形式转换成数字 形式以生成输入数据，所述输入数据被WAC258访问经由网络110 (图1A-1C)发送到游戏云102(图1A-1C)的编解码器112(图 1A-1C)。例如，WAC258分包和编码从控制器/控制台通信电路289 访问的输入数据，以经由网络110将其发送到编解码器112。

在一些实施方案中，输入数据由WAC258从控制器/控制台通信 电路289访问以经由路由器152(图1B-1C)和网络110(图1A-1C) 将其发送到游戏云102的编解码器112(图1A-1C)。例如，WAC258 分包和编码从视频缓冲器280访问的视频数据，以经由路由器152和 网络110将其发送到编解码器112。

应注意，代替控制器/控制台通信电路289，可使用两个单独的通 信电路，一个用于例如与计算机172(图1C)传达例如接收、发送 等数据，且另一个用于与HHC106(图1A-1C)传达数据。

在许多实施方案中，解码器位于WAC258外部。在各个实施方 案中，流缓冲器259位于WAC258内。

在一些实施方案中，HMD104不包括观察数字相机274。在数个 实施方案中，HMD104包括任何数量的微控制器、任何数量的缓冲 器和/或任何数量的存储器装置。

在各个实施方案中，HMD104包括一个或多个电池261，其给例 如视频音频分离器254、存储器装置256、无线访问卡258、流缓冲 器259、一个或多个扬声器260、用户输入电路262、显示屏幕266、 微控制器268、音频缓冲器272、外部数字相机274、音频编解码器 276、内部数字相机278、视频缓冲器280、视频音频同步器282和麦 克风284的组件供电。一个或多个电池261被可以被插入到交流电插 座中的充电器(未示出)充电。

在许多实施方案中，输入数据和/或媒体数据在本文称为互动媒 体。

在一些实施方案中，HMD104包括通信电路以经由配对促进本 地用户之间的对等多信道通信。例如，HMD104包括收发器，其调 制从麦克风284接收的声音信号且经由信道将调制信号发送到另一 HMD(未示出)的收发器。其它HMD的收发器解调信号以提供给 其它HMD的扬声器以促进用户之间的通信。

在各个实施方案中，不同信道由HMD104的收发器使用以与不 同的其它HMD通信。例如，调制信号在其上被发送到第一其它HMD 的信号不同于调制信号在其上被发送给第二其它HMD的信道。

在一些实施方案中，WAC258、用户输入电路262、微控制器268 和视频解码器255集成在一个或多个个别电路芯片上。例如，WAC 258、视频解码器255和微控制器268集成在一个电路芯片上且用户 电路262集成在另一电路芯片上。作为另一实例，WAC258、用户输 入电路262、微控制器268和视频解码器255中的每个集成在单独电 路芯片上。

HMD的各个模块用来确定必需执行转变动作且在HMD屏幕处 执行所述转变的触发事件的发生。在一些实施方案中，HMD内的模 块统称为“游戏处理模块”。HMD的游戏处理模块检测触发事件的发 生且允许HMD视野基于触发事件在“非透明”模式、“半透明”模式、 “仿真透明”模式与“全透明”模式之间转变。在一些实施方案中，用户 可配有确定用户希望哪个透明模式转变的选项且根据所选选项执行 所述转变。基于所述转变，用户能够部分或全部地观看真实世界环境 和/或游戏的互动场景。应注意，当来自游戏的互动场景显现在HMD 的屏幕上时，所述屏幕称为“非透明”模式。

在一些实施方案中，基于检测触发事件，游戏处理模块将HMD 屏幕从非透明模式转变为半透明模式。在一些实施方案中，从非透明 模式到半透明模式的转变仅在HMD屏幕的一部分中执行，同时HMD 屏幕的剩余部分继续为非透明模式。或者，整个HMD屏幕从非透明 模式转变成半透明模式。在半透明模式中，真实世界环境中的一些对 象与当前显现在HMD屏幕上的游戏程序的互动场景一起呈现。HMD 屏幕处呈现的真实世界环境由HMD的前向相机从用户紧邻处捕捉。 在一个实施方案中，呈现真实世界环境使得游戏的互动场景显现在背 景中且来自真实世界环境的对象中的一些呈现在前景中。或者，在另 一实施方案中，互动场景显现在前景中，同时来自真实世界环境的对 象中的一些显现在背景中。

在一个实施方案中，响应于触发事件的发生，游戏处理模块将 HMD屏幕从其中仅显现游戏的互动场景的非透明模式转变成其中用 户暴露给来自用户紧邻的真实世界环境的视野的仿真透明模式。在这 个实施方案中，游戏处理模块激活且引导HMD中的前向相机以从穿 戴HMD的用户附近捕捉且传输真实世界环境的与用户注视一致的图 像和/或视频。游戏处理模块接收前向相机传输的图像/视频、处理所 述图像/视频(例如，重定大小、重新调整分辨率等)，并且在HMD 屏幕上显现真实世界环境的处理图像/视频。显现造成用处理的图像/ 视频替换当前被显现的游戏程序的互动场景。在这个实施方案中，仿 真转变出现使游戏处理模块将HMD屏幕转变成“全透明”模式，但是 实际上，通过在HMD屏幕处呈现由前向相机捕捉的真实世界环境的 图像而提供仿真转变。

在另一实施方案中，游戏处理模块响应于检测触发事件通过调整 HMD屏幕的光学设定而完成非透明(即，不透明或暗淡)模式与全 透明(即，清透)模式之间转变。在这个实施方案中，HMD屏幕是 液晶显示(LCD)屏幕。游戏处理模块在暗淡/黑设定(表示非透明 模式)与清透设定(表示全透明模式)之间切换LCD的光学特性。 清透设定支持用户以类似于看穿清透玻璃屏幕的方式从用户邻近周 围环境在真实世界对象处看透HMD的显示屏幕。在不透明/暗淡设定 中，用户无法或是难以看穿显示屏幕。在非透明模式(即，不透明/ 暗淡设定)中，游戏的互动场景显现在HMD的显示屏幕中。用于在 非透明模式与全透明模式之间的转变的光学设定的调整是在LCD屏 幕背后进行。当然，当面向外时，HMD的LCD屏幕的光学器件需颠 倒。

在一个实施方案中，分析触发事件以确定是否确保模式转变且基 于所述确定完成模式转变，包括光学器件的颠倒。例如，分析可以确 定用户的注视转移是否达足够长时间段以确保模式转变且在注视转 移达至少等于预定义阈值时段的时段时完成所述模式转变。因此，游 戏处理模块提供在非透明模式与透明模式之间转变的替代方法以允 许用户取决于触发事件而不时部分或全部地观看真实世界环境，同时 允许用户沉浸在游戏体验触发事件中。透明模式可以是半透明模式、 仿真透明模式和全透明模式中的任何一个或组合。

造成从非透明模式转变成半透明、仿真透明或全透明模式的一些 示例性触发事件可以包括以下项的任一项或组合：穿戴HMD的用户 的注视转移、语音命令、HHC/HMD处检测到的动作(包括按钮按压、 触摸屏互动、姿势、通过一个或多个输入机构/装置的互动等)、用户 邻近中检测到的声音或移动、检测接受电话、文字、ping、消息、电 子邮件、检测用户邻近的其它用户的动作诸如语音等等。

通过操纵显现在屏幕上的物体的这种形式的转变允许用户从完 全沉浸状态切换到部分沉浸或非沉浸状态。从非透明模式转变成半透 明、仿真透明或全透明模式支持用户不时部分或全部地观看真实世界 环境，同时继续沉浸在游戏中。在一些其它实施方案中，从非透明模 式转变成透明模式(半透明、仿真透明或全透明)为用户提供从全沉 浸状态转变成完全非沉浸状态的能力。在一些实施方案中，从非透明 转变成透明模式提供为一个选项且用户可以选择或不选择转变。

转变是通过在执行游戏期间检测事件的发生而获支持。事件的发 生例如可以通过识别且观察穿戴HMD的用户眼睛的注视状况来确 定。注视状况的观察可以包括：检测用户的注视方向达一个时间段以 查看注视是否随时间转移；检测注视方式达一个时间段以确定用户是 否正追踪图案、注视从第一定位切换到第二定位，重复返回到第一定 位；检测注视方向中的改变以确定用户是否正经历头晕等等。注视状 况的观察与由HHC、HMD、游戏云和/或计算机(如果存在)提供的 预定义动作相关，以便确定是否已经执行转变。除了移动动作之外， HHC或HMD提供的动作还可包括给游戏程序的反馈，诸如触觉反 馈、音频反馈等。用户的注视状况可以使用一个或多个内部相机单元 来追踪。

在追踪期间，如果确定用户的注视继续在正显现与HMD、HHC 和/或游戏程序提供的动作直接相关的游戏的互动场景的屏幕上的一 部分/区上，那么屏幕继续以非透明模式为串流自游戏程序的游戏展 现互动场景。图3A说明一个这种实施方案，其中内部相机的追踪检 测用户的注视以离法线呈角‘'定义的线‘a’说明的注视角固定在显现 在屏幕上的互动场景上。响应于此检测，HMD的游戏处理模块将继 续在HMD的屏幕上显现与串流自计算机或游戏云且与注视角度相关 的游戏程序有关的互动场景。然而，如果内部安装相机检测到注视状 况的改变，例如用户的注视转移到屏幕的不同部分，那么内部相机将 检测注视状况的改变，即，注视转移，并且确定注视转移的角度。多 个内部安装相机可用来精确确定注视转移的坐标。

图3B说明由内部相机检测的用户注视状况的改变(即，注视转 移)和转移方向。内部相机可以通过捕捉对应场景的多个图像帧而精 确识别注视转移方向和注视转移级别并且将信息馈送到HMD的游戏 处理模块。在一些实施方案中，内部相机提供的图像还可以包括相机 捕捉的每个帧的时戳以支持游戏处理模块根据时间分析图像帧以确 定用户的注视转移。游戏处理模块通过分析来自捕捉帧的注视点计算 转移角度。例如，如图3A所示，由内部相机检测的用户的第一注视 由线‘a’定义。如早前所定义，游戏处理模块确定离法线(例如，x轴) 呈角度‘’的第一注视。游戏处理模块追踪注视方向的转移且确定由 图3B中的线‘b’且应以离法线呈角度‘λ’表示的第二注视的角度，且所 述注视从向上方向转移成向下方向。因此，用户的注视的总转移角度 为(+λ)。或者，注视转移可以继续为向上方向。在这种情况中，当 角‘λ’大于角‘’时用户注视的总转移角度可以计算为(λ–)，或者当 角‘’大于‘λ’时计算为(-λ)。这个信息由HMD内的游戏处理模块使 用以不仅确定注视转移，还识别在所述角度的视线下的游戏场景和/ 或真实世界环境的对象。转移角度的精确计算可以通过分析来自多个 相机的图像帧使用三角测量技术来进行。

响应于检测用户注视的转移，内部安装相机还可追踪注视方式。 在一些实施方案中，注视方式可以通过用户追踪显现在屏幕上的对象 或字母来建立。在一些实施方案中，注视方式可以是眼睛在屏幕上的 第一定位与第二定位之间的往复移动。注视方式可以通过分析由捕捉 注视转移的图像帧提供的视线信息和时戳信息来确定。在一些实施方 案中，如果用户的眼睛保持从初始角度转移达多于预定义阈值时段 (例如，0.5秒、1秒、2秒、3秒、4秒等)，那么注视转移是明显的。 在一个实施方案中，基于图像和时戳的分析，游戏处理模块可以确定 游戏方式并未识别用户的注视状况的任何明显改变，即注视转移是不 明显的(按时间或按角度)、暂时的(小于预定义阈值时段发生一次) 且用户继续关注屏幕的展现游戏有关活动的部分或区上。在这个实施 方案中，HMD的游戏处理模块将继续维持屏幕的非透明模式且继续 显现串流自游戏程序的游戏的互动场景。

在一些实施方案中，基于注视状况的分析，如果游戏处理模块建 立转移到屏幕的不同部分的用户注视，那么游戏处理模块尝试确定用 户转移的注视的方向是否与游戏的不同区域相关。如果是，那么游戏 处理模块可以将互动场景切换到与用于显现在HMD处的屏幕的新部 分相关的互动场景。

在图3B所示的一个实施方案中，如果注视方式建立用户的注视 正在第一区302与第二区304之间切换，那么游戏处理模块将确定用 户所关注的方向、确定来自真实世界环境的与视线对准的对象，且每 次用户的注视朝向屏幕的对应区或部分时便在屏幕的所述区或部分 中提供所述对象的视觉。例如，用户可以参与赛车游戏。在他正在玩 游戏时，来自与来自HHC和HMD的用户输入相关的赛车游戏的场 景显现在HMD的屏幕上。在游戏期间，用户的注视可以从直视赛车 游戏场景前方转移成向下朝向屏幕底部观看。在这个情况中，游戏处 理模块将识别注视转移、建立注视方式以查看注视转移是否是明显的 (与角度和/或时间有关)，并且使用这个信息来识别与视线对准的真 实世界对象/场景或虚拟世界对象/场景。

在图3B所示的一个实施方案中，可确定转移注视的视线中的对 象可以是用户的手部中正提供输入给HMD的HHC。转移注视的视 线中的对象可以通过使来自内部相机的输入数据与来自安装在HMD 上的观察相机和外部相机的数据相关来确定，以确定所关注的与转移 注视的角度相关的对象。这个信息由游戏处理模块用来引导HMD的 外部相机以捕捉用户手部中的HHC的图像。响应于来自游戏处理模 块的命令，HMD的外部相机捕捉识别的对象的图像并且将相同图像 传输到游戏处理模块，其然后将视觉图像转换成数字数据且转递数字 数据以显现在HMD的屏幕的对应部分处。在一些实施方案中，可以 调整对象的视觉图像以与游戏的互动场景相关。例如，如果视线中的 对象是控制器且游戏是互动赛车游戏，那么控制器的视觉图像(即， 用户的转移视线中的真实世界对象)可被调整以表现为车辆方向盘。

在图3B表示的一个实施方案中，握持在用户的手部中的HHC 的图像(即，视觉或调整视觉)显现在HMD的屏幕的底部(由区304 表示)中，而屏幕的剩余部分(由区302表示)继续显现来自串流自 计算机或游戏云的游戏的互动场景。结果，HMD屏幕的底部被视为 从非透明模式转变成仿真透明模式，而屏幕的剩余部分继续以非透明 模式显现。在一些实施方案中，来自真实世界的显现场景/对象的图 像包括视觉深度以在屏幕上提供3维沉浸效果。

在图3B所示的实施方案中，例如，对象的图像叠加在显现在底 部304的一部分中的场景上，同时允许互动场景在底部的剩余部分中 可见。对象的图像显现在该部分中的前景中。在这个实例中，底部的 仅一部分被视为转变成仿真透明模式，而底部的剩余部分和屏幕的剩 余部分继续显现互动游戏场景。在另一实施方案中，互动游戏场景可 以灰视格式呈现在底部的剩余部分中，建议底部为仿真透明模式。在 又另一实施方案中，整个底部可以转变成仿真透明模式且可以显现所 关注的对象的图像(即，来自以上实例的HHC)以及前向相机捕捉 的周围真实世界对象。或者，对象可以显现在背景中，而互动场景显 现在前景中。

应注意，用户的注视可以在任何方向上转移。结果，HMD的屏 幕的对应部分可以取决于在屏幕的所述部分上显现之物而从非透明 转变成透明模式。

在一个实施方案中，并非所有注视转移将导致从非透明模式转变 成透明模式。例如，用户的注视可以从屏幕的右侧转移到屏幕的左侧。 在这个实施方案中，用户的注视可以响应于基于来自用户通过HMD 或HHC提供的输入、来自另一用户(在多玩家游戏的情况中)的输 入或来自游戏的输入的游戏的改变而转移。在这个实施方案中，屏幕 的左侧可以包括基于游戏改变的互动游戏场景。在一个实施方案中， 当检测到用户的注视转移时，游戏处理模块可以确定用户的注视转移 是否超过预定义阈值限制，诸如例如3秒。当注视转移超过阈值限制 时，游戏处理模块更新HMD的屏幕以显现对应于来自用户的注视方 向的场景的游戏场景，同时继续维持屏幕的非透明模式。

如早前所述，将屏幕的一部分从非透明模式转变成半透明或全透 明模式的触发事件不限于注视转移的检测。在一个实施方案中，转变 事件可以响应于在真实世界中、接近用户或在用户的相机和/或观察 相机的视线中检测的移动而触发。例如，可以在人员进入用户正在参 与执行于计算机上或游戏云上的游戏的房间时触发所述转变。

图3C说明当用户333进入用户108正在玩在线游戏的房间时的 一个这种案例。用户108在游戏期间穿戴的HMD的屏幕正显现来自 游戏程序的游戏的互动场景。当游戏处理模块检测用户333进入房间 时，游戏处理模块将显现在用户的HMD的屏幕上的场景改变为包括 如HMD屏幕的部分340b所示用户333进入房间的图像，同时继续 在340a表示的剩余部分中显现游戏的互动场景。在这个实施方案中， 屏幕340b的改变的部分与用户333进入房间或出现在检测移动的相 机的视线中的方向相关。在一些实施方案中，场景中的改变提供用户 333进入的房间的一部分的三维视野。在这个实施方案中，HMD屏 幕被视为在部分340b继续显现互动场景连同用户333时转变成半透 明模式。

或者，可以在对象进入HMD的外部安装相机或外部相机的视线 中时触发转变。图3D-3F说明一个这种实施方案。在图3D中，用户 的HMD的屏幕显现用户在时间T₀正在玩的游戏的互动场景。在时 间T₀，对象(弹跳球)开始弹跳，但是在与用户的HMD关联的相机 的视野的外面。在这个实例中，对象(即，球)在离表面的高度d₀处。 在时间T₁，球弹跳到高度d₁,且结果，进入与HMD相关联的至少一 个相机(外部相机或观察相机)的视野中。响应于由所述相机中的至 少一个检测到对象，游戏处理模块可以在屏幕的与球位置在屏幕中由 至少一个相机检测的角度/定位(距离d1)相关的部分中显现球的3 维图像。

因此，如图3E所示，在高度d₁下弹跳的球显现在屏幕的部分或 区304a中，而屏幕的剩余部分继续显现游戏有关互动场景。类似地， 在时间T₂，HMD的至少一个相机在球继续其向上上升到距离d₂时检 测不同角度/位置下的球，且游戏处理模块将球的不同角度/位置转译 到屏幕上显现球的图像的对应位置。图3F说明显现球的图像的位置 304b(位置304b可以与高度d₂相关)，而屏幕的剩余部分继续显现 来自游戏的互动场景。当球降落时，球在向下方向的移动被捕捉直到 球落在相机的捕捉范围之外。因此，图3D说明在时间T₀以及时间 T₅显现在HMD的屏幕上的场景，图3E说明在时间T₁(对应于球上 升)以及时间T₄(对应于球下降)球覆盖屏幕的一部分304a的场景， 且图3F说明在时间T₂(对应于球上升)以及时间T₃(对应于球上 升)球覆盖屏幕的一部分304b的场景。在这个实施方案中，HMD屏 幕被视为从非透明模式转变成仿真透明模式。在一些实施方案中，球 的图像可以显现在前景中，而互动场景可以显现在背景中。或者，球 的图像可以显现在背景中，而互动场景可以显现在前景中。在这些实 施方案中，HMD屏幕被视为从非透明模式转变成半透明模式。因此， 游戏处理模块为用户提供完全沉浸在游戏中同时基于触发外部事件 或基于来自用户的输入(诸如注视转移)或用户明示或暗示提供的其 它这种视觉提示而提供从真实世界瞥视场景的方法。

在替代实施方案中，HMD屏幕可以从非透明模式转变成全透明 模式。在这个实施方案中，响应于触发事件，游戏处理模块可以调整 HMD屏幕的光学特性，从暗淡/不透明设定(表示非透明模式)调整 为清透设定(表示全透明模式)。在清透设定中，用户在用户的紧邻 具有周围真实世界环境的全部视野，宛若用户正看穿清透玻璃。图 3G说明这个实施方案的实例，其中用户能够观看真实世界对象，诸 如用户正使用HMD的房间中的灯、桌子、镜子/屏幕。

图4A-4D说明替代实施方案，其中游戏处理模块组合互动游戏 场景与来自真实世界的三维场景以在接收瞥视真实世界时在游戏中 提供三维(3D)沉浸。图4A说明显现在用户108的HMD屏幕上的 游戏的三维游戏空间。游戏空间说明用户A、B和C处于离用户108 和彼此特定距离。图4A所示的HMD屏幕示出为非透明模式。图4B 将游戏空间说明为穿戴HMD的用户108向前走且他向下看。以用户 A、B和C关于用户108且关于彼此的相对定位、角度和位置来反映 用户108在三维游戏空间中的向前移动。此外，响应于用于将其头部 向下移动，游戏空间向下移动以显示额外玩家D以及对用户A、B和 C在游戏空间中的相对位置的更新。用户108的头部的向下移动还导 致用户的HHC在与用户的手部在真实世界的位置有关的3D游戏空 间的对应部分401的再现。图4B所示的HMD屏幕被视为转变为半 透明模式且造成这种转变的触发事件可以是用户的向前移动和注视 的向下转移。

图4C说明用户108继续往前走时显现在屏幕上的视野。互动场 景中的游戏对象(即，用户)已被更新为将对象显现为与用户的移动 相关。在这个实施方案中，HMD屏幕中显现的互动场景示出有关游 戏空间中仅一个用户(例如用户C)与用户108移动的距离相关。此 外，用户的继续向下注视转移达大于预定义阈值时段的时段将造成游 戏处理模块突出由外部相机捕捉的真实世界对象的至少一些部分，诸 如台灯、桌子、游戏机等等。游戏空间中的对象的距离、位置、角度 等以及来自真实世界的对象通过考虑由观察相机和外部相机捕捉的 用户的向前移动和向下注视转移而被显现在HMD的屏幕上。因此， 以使对象表现为更接近用户108的方式显现对象(真实对象和虚拟对 象两者)。在图4C所示的实例中，HMD屏幕被视为从非透明模式转 变成半透明模式。在一些实施方案中，虚拟游戏对象淡出到背景且真 实世界对象变突出(即，前景)。在替代实施方案中，真实世界对象 淡出到背景且虚拟游戏对象变突出(即，前景)。

在一个实施方案中，从非透明模式转变为半透明模式可以在 HMD处开始以为用户提供用于观看显现在HMD的显示屏幕上的内 容(包括来自游戏的游戏场景)/与其互动的安全区。例如，完全沉 浸在视频游戏的游戏中的用户可以在房间中四处移动同时仍融入视 频游戏中。结果，用户可更接近房间中的对象，诸如墙、灯、桌子、 椅子、沙发、床、绳子、宠物、人员等等。为了防止用户碰到对象、 防止纠缠HMD的电线/绳子、防止受伤或防止对对象造成损害，HMD 中的游戏处理模块检测用户对对象的接近。响应于用户的移动和动 作，系统可以例如在用户接近对象时开始将HMD的显示屏幕从非透 明转变为半透明模式。在半透明模式中，游戏处理模块将来自真实世 界的对象与显现在HMD的显示屏上的游戏场景混合或将来自真实世 界的对象引入到显现在HMD的显示屏上的游戏场景中，以指示用户 对象在用户的移动方向上的存在和接近。在一个实例中，显现在显示 屏幕中的对象的大小和接近可以与真实世界对象与用户的相对接近 成比例。在一个实施方案中，真实世界对象可以以由如图4C所示的 虚线表示的轮廓形态显现。轮廓形态可以是灰视形态、折线形态、轮 廓形态、虚影形态、半透明形态或完全可观看呈现。在一个实施方案 中，除了转变之外，游戏处理模块可以在用户移动过于靠近房间中的 对象时发布警告标志给HMD用户。警告标志可以是音频格式、触觉 格式或其任何组合。因此，游戏处理模块可以出于安全目的使用，其 中系统允许用户充实观看体验，同时保护用户以及用户的即时周围环 境中的对象的安全。在一个实施方案中，用来捕捉真实世界对象的相 机可以是深度感测相机、普通RGB相机(在三个不同线上提供三个 基本颜色分量-红色、蓝色、绿色)、或可以识别对象离用户的接近、 深度和距离的超声波传感器，或其任何组合。

图4D说明用户108沉浸在与游戏的游戏空间中的游戏对象的3D 互动体验中时显现在用户108的HMD的屏幕上的游戏空间。在一个 实施方案中，用户使用控制器手套335与游戏对象互动。在一个实施 方案中，控制器手套335被配置来在与游戏对象的游戏互动期间为用 户提供触觉反馈以提供更真实的游戏体验。在一些实施方案中，控制 器手套包括标记元件335-a，诸如LED灯或其它可追踪对象/标记等， 以支持相机(外部和观察)检测互动游戏期间的手指/手部运动。控 制器手套用作HHC，其中其可使用无线通信协议与计算机和HMD 通信。通信还可包括接收提供反馈给手套的指令数据。控制器手套是 可以由用户使用的互动对象的一个实例。可以由用户使用来沉浸在 3D互动体验中的其它互动对象包括衣服、鞋子或其它可穿戴衣物、 可穿戴装置或可握持对象。图4D说明用户108使用控制器手套335 与游戏空间中的用户B互动。游戏处理模块检测控制器手套在游戏 空间内的存在且将HMD屏幕从非透明模式转变为半透明模式，以便 提供用户的手部在控制器手套(真实世界对象)内在与用户B的手 部的位置相关的位置中的图像。屏幕的这种有关部分的转变使得用户 108实际上与3D空间中的用户B互动。

在另一实施方案中，可以响应于在用户108附近或在集成到用户 108的HMD或耦合到所述HMD的麦克风附近检测的声音触发转变。 此外，可以通过明确源自用户、源自所述用户附近的其它用户、源自 所述用户附近的其它对象、源自HMD上执行的应用(诸如ping、文 字、电子邮件、电话、消息等)的命令诸如语音或其它音频命令触发 转变。响应于触发事件，HMD的游戏处理模块确定从其中使用音频 感测技术发生触发事件的方向、识别与该视线对准的对象或场景并且 在HMD的屏幕的对应部分中提供对象或场景的视觉。屏幕通过显现 对象与互动游戏场景而从非透明模式转变成半透明，或通过用来自用 户附近的真实世界环境的图像更换互动游戏场景而转变成仿真透明 模式。触发事件提供真实世界境况的瞥视，同时允许用户继续沉浸在 游戏中。触发转变的事件的方向可以使用三角测量技术使用音频感测 技术来精确确定且使用来自音频感测技术的信息来使用外部相机和 观察相机识别对象。观察相机可以能够使用安装在HMD的外表面上 的诸如LED的标记元件以关于触发诸如人员进入房间、在用户/HMD 的麦克风附近检测到声音等而确定用户的相对定位和方向。与触发的 位置/方向相关的HMD的屏幕的任何部分或区，诸如图4E中由 TR1-TR9表示的区，可从非透明模式转变成半透明模式。

在一些实施方案中，从非透明模式转变成透明模式(即，半透明、 仿真透明或全透明模式)可以递增以线性方式或非线性方式进行。屏 幕的一部分从非透明模式转变成半透明模式可以使用任何形式的淡 化来执行，且当转变发生时，音频、触觉或其它形式的反馈可以提供 给用户。可以取决于HMD显现的场景、取决于用户握持的对象、取 决于用户的注视方向、取决于所检测的音频/运动信号或取决于用户 正在使用HMD的环境来动态地设定从非透明转变成半透明的区域或 区。HMD中的屏幕的某些部分的转变支持用户在真实世界与虚拟世 界之间建立连接。因此，当真实世界中存在涉及真实世界实体对象且 与发生在虚拟世界中与虚拟对象的动作有关的动作时，系统通过允许 用户从虚拟世界内看到真实世界的透明版本而提供一起尝试真实世 界中的动作和虚拟世界中的动作的方法。此外，系统可以提供显现真 实世界中涉及实体对象且可能与虚拟世界并无关联的动作的方法以 为用户提供真实世界意识。

在一个实施方案中，从非透明模式转变成半透明模式可以响应于 互动游戏的游戏中的用户互动。例如，第一用户可以融入与第二玩家 的多玩家游戏。在这个实施方案中，当第一玩家指向对象或区时，游 戏处理模块能够检测第一用户指向的方向，确定指向方向中的对象或 场景，且以半透明模式提供适当对象或场景视野给第二玩家。在这个 实施方案中，对象或场景可以是真实世界对象/场景中的对象/场景。 在这个实施方案中，游戏处理模块从安装在第一玩家和第二玩家的 HMD上的外部相机以及一个或多个观察相机接收输入以在指向方向 中追踪多个空间点，以便能够确定两个玩家对对象的视野之间的角 度，且然后使用三角测量技术捕捉用于显现在第二玩家的HMD处的 适当3D图像。在一个实施方案中，呈现给第二玩家的对象或场景的 视野与第二玩家的定位以及如第二玩家看到/观看的真实世界中的对 象/场景的视野相关。

在一些实施方案中，系统可以检测用户融入屏幕的特定部分且融 入在其中当前正显现游戏发生的动作的屏幕的主要部分并不多。屏幕 中用户关注的部分在此时可能并未发生任何明显的游戏动作。在这些 实施方案中，系统可确定用户的兴趣和关注已从游戏转移且可以暂停 视频游戏在HMD屏幕上的再现。此外，系统可以发送暂停信号给游 戏云以暂停游戏程序的执行。在这个实施方案中，游戏处理模块可以 通过将屏幕的光学特性调整为清透设定而将整个屏幕从非透明模式 转变成全透明模式，以允许用户观看玩家环境附近内的真实世界对 象。在替代实施方案中，游戏处理模块可以通过捕捉真实世界的图像 且用捕捉的真实世界图像更换游戏的互动场景而将整个屏幕从非透 明模式转变成仿真透明模式。可以取决于显现在用户的HMD的屏幕 上的游戏强度逐渐进行从非透明模式转变到全透明或仿真透明模式 以允许用户从虚拟环境转变到真实世界环境。

在一个实施方案中，系统可以检测用户兴趣/关注的转移且提供 暂停游戏的选项给用户。可以按钮激活、语音命令、眼睛信号、音频 命令等的形式提供暂停游戏的选项。除了提供暂停选项之外，还可以 为用户提供恢复选项以支持用户访问当用户选择暂停选项时用户从 其中离开的游戏且沉浸在其中。可以类似于暂停选项或与其有所不同 的形式提供恢复选项。

在一些实施方案中，在从非透明模式转变成透明模式(例如，半 透明、全透明或仿真透明模式)之后，游戏处理模块可以在预设时间 段到期之后将屏幕的部分返回到非透明模式。在一些实施方案中，从 非透明转变到透明且往回转变到非透明模式可以响应于用户动作而 进行。例如，当用户在主游戏区域与屏幕的具体部分之间往复注视(诸 如按钮、左、右、上等)时，游戏处理模块检测用户注视的这个往复 移动以建立注视方式。基于注视方式，游戏处理模块与建立的用户的 注视方式一致在非透明模式与半透明模式(其中真实世界场景和互动 场景一起呈现)或仿真透明模式(其中来自真实世界场景的对象的至 少部分更换互动场景的至少一部分)之间切换屏幕的适当部分。因此， 当用户的注视朝向下时，屏幕的底部可以显现用户的手部中的HHC， 且当用户的注视转向上时，显现来自游戏程序的互动游戏场景，从而 提供更逼真的转变效果给用户。在一个实施方案中，屏幕的某些部分 从非透明切换到半透明或仿真透明模式可以在检测的用户的注视转 移超过预定义阈值(即，用户的注视转移达至少3秒或5秒)之后执 行。

或者，从半透明转变到非透明模式可以发生在触发转变的事件返 回到常规或稳定状态时，不再可用或在一个时间段期满之后时。例如， 在由于人员步入房间发生转变的情况中，转变回非透明模式可以发生 在人员离开房间或留在场景上达预定义阈值中定义的至少预设时间 段时。

在一个实施方案中，从非透明模式转变为全透明模式可以在完全 沉浸在高强度游戏中的用户希望在选择退出游戏时得到稳定状态时 发生。在这个情况中，从非透明模式转变为全透明模式可以以线性递 增进行以使用户适应强度的改变。在转变期间，游戏处理模块可以调 整HMD屏幕的光学特性以逐渐从不透明/暗淡设定移向清透设定。或 者，游戏处理模块可以通过接收且显现用户即时环境的真实世界场景 而执行从非透明模式到仿真透明模式的转变。在这个实施方案中，游 戏处理模块可以用捕捉的真实世界场景的图像执行互动场景的逐步 更换，以使得HMD的屏幕完全转成透明。真实世界场景可以响应于 通过用户动作提供的选择退出触发事件而由相机捕捉。

当用户完全沉浸在高强度游戏且注视转移促使从高强度场景转 变到低强度场景或真实世界的静态场景时，在从非透明模式转变到半 透明、仿真透明或全透明模式期间显现在光学屏幕上的图像中的逐渐 改变尤其有用。

图5说明在本发明的一个实施方案中的用于执行头戴式显示器 的屏幕上呈现的游戏的方法操作。方法开始于操作510，其中执行游 戏。游戏可以执行在计算机上或可以执行在游戏云上。在游戏执行时， 游戏的互动场景显现在HMD的屏幕上。互动场景包括游戏进行时的 虚拟对象、虚拟环境和虚拟对象/环境的改变。互动场景的媒体数据 串流自计算机或游戏云。

随着游戏的进行，如操作520所示，检测到穿戴HMD的用户的 注视方向的转移。HMD内可用的一个或多个内部相机可用来在游戏 期间监视用户的注视方向，且提供用户的注视方向的图像给HMD的 游戏处理模块。游戏处理模块从内部相机接收图像且检测用户的注视 方向的转移。游戏处理模块还可以分析注视方向中的转移以确定转移 是否达至少预定义阈值时段。当确定注视转移达至少预定义阈值时段 时，游戏处理模块将引导HMD的前向相机捕捉在注视方向线中的真 实世界图像。

如操作530中所示，游戏处理模块从HMD的前向相机接收捕捉 的真实世界图像。响应于触发事件(诸如注视转移)捕捉真实世界图 像。注视转移是造成在穿戴HMD的用户附近中捕捉真实世界环境的 图像的一种类型的触发事件，且其它触发事件还可造成捕捉来自穿戴 HMD的用户紧邻的真实世界环境图像。在一些实施方案中，代替捕 捉用户附近中的真实世界环境的图像，游戏处理模块可以识别在用户 的注视转移的方向中的游戏场景且可以在HMD的屏幕处提供相同场 景。

如操作540所示，HMD的屏幕的一部分被转变到半透明模式， 使得所述转变造成真实世界对象的至少部分的图像呈现在具有游戏 的互动场景的屏幕的一部分中。转变可以递增进行。在一些实施方案 中，来自真实世界环境的对象的图像显现在HMD屏幕的部分中，使 得真实世界环境对象显现在前景中且互动场景显现在背景中。在其它 实施方案中，来自真实世界环境的对象的图像显现在HMD屏幕的部 分中，使得真实世界环境对象显现在背景中且互动场景显现在前景 中。如操作550所示，可以在一个时间段后中止透明模式。中止透明 模式造成HMD屏幕切换到非透明模式，其中游戏的互动场景显现在 HMD屏幕中。切换到非透明模式允许用户完全沉浸在游戏中，同时 转变到透明模式提供在用户继续沉浸在游戏中时瞥视真实世界。

图6说明可以用来实施本发明的一些实施方案的硬件和用户接 口。图6示意性说明PlayStation娱乐装置的整体系统架构。 PlayStation的其它版本可以包括更多或更少特征。系统单元1300具 备可连接到提供系统单元1300的各种外围装置。系统单元1300包括： 单元处理器1302；动态随机存取存储器(XDRAM)单元 1304；具有专用视频随机存取存储器(VRAM)单元1308的真实合 成器图形单元1306；和I/O桥1310。系统单元1300还包括用于从磁 盘1312a读取和从通过I/O桥1310访问的可移动插入式硬盘驱动器 (HDD)1314读取的光盘光盘阅读器1312。任 选地，系统单元1300还包括用于读取紧凑式快速存储卡、Memory 存储卡等且可相似地通过I/O桥1310访问的存储卡阅读器 1301。

I/O桥1310还连接到六个通用串行总线(USB)2.0端口1316； 千兆以太网端口1318；IEEE802.11b/g无线网络(Wi-Fi)端口1320； 和能够支持多达七个蓝牙连接的无线链路端口1322。

在操作中，I/O桥1310处置所有无线、USB和以太网数据，包 括来自一个或多个游戏控制器110和1324的数据。例如，在用户玩 游戏时，I/O桥1310经由蓝牙链路从游戏控制器110和1324接收数 据并将数据引导到单元处理器1302，以因此更新游戏的当前状态。

除游戏控制器110和1324外，无线、USB和以太网端口还对其 它外围装置提供连接，诸如：远程控制器1326；键盘1328；鼠标1330； 便携式娱乐装置1332，诸如Sony娱乐装置；视频相机，诸如 眼睛相机1334；形状对象1336；和麦克风1338。因此， 在原理上，这些外围装置可无线连接到系统单元1300；例如便携式 娱乐装置1332可以经由Wi-Fi特设连接进行通信，而形状对象1336 可以经由蓝牙链路进行通信。

这些接口的提供意指PlayStation3装置还可能与其它外围装置兼 容，诸如数字视频录像机(DVR)、机顶盒、数字相机、便携式媒体 播放器、网络语音(IP)电话、手机、打印机和扫描仪。此外，旧存 储卡阅读器1340可以经由USB端口1316连接到系统单元，从而使 得能够读取由或PlayStation装置使用的种类的存储 卡。

游戏控制器110和1324可操作以经由蓝牙链路与系统单元1300 进行无线通信，或连接到USB端口，从而还提供功率以借此对游戏 控制器110和1324的电池充电。游戏控制器110和1324还可包括存 储器、处理器、存储卡阅读器、永久存储器(诸如快闪存储器)、发 光体(诸如照射的球形区段、发光二极管(LED)或红外灯)、用于 超声波通信的麦克风和扬声器、隔音箱、数字相机、内部时钟、面向 游戏机的可辨识形状和使用诸如WiFi^TM的协议的无线通 信等。可辨识形状可呈以下形状，实质上是球体、立方体、平行四边 形、长方体、锥、棱锥、英式足球、美式足球或橄榄球、不完美球、 球体的区段、截棱锥、截锥、棒球棒、截头立方体、多面体、星体等、 或这些形状中的两个或两个以上的组合。

游戏控制器1324是被设计来用两只手使用的控制器，且游戏控 制器110是具有球形接头的单手控制器。除一个或多个模拟控制杆和 常规控制按钮外，游戏控制器可易于三维位置确定。因此，除常规按 钮或控制杆命令外或替代其的是，游戏控制器的用户的姿势和移动还 可以被转译成游戏输入。任选地，其它支持无线的外围装置(Sony 便携式装置)可以用作控制器。在Sony便携式装置的情 况下，可以在装置屏幕上提供额外游戏或控制信息(例如，控制指令 或生物数量)。还可以使用其它替代或补充控制装置，诸如跳舞毯(未 示出)、光枪(未示出)、转向盘和踏板(未示出)或定制控制器，诸 如用于快速反应答问游戏的单个或若干大按钮(也未示出)。

远程控制器1326还可操作以经由蓝牙链路与系统单元1300进行 无线通信。远程控制器1326包括适于BluRay^TM光盘BD-ROM阅读 器1312的操作和光盘内容导航的控件。

除常规预录和可录CD和所谓超音频CD外，BluRay^TM光盘 BD-ROM阅读器1312还可操作以读取与PlayStation和PlayStation2 装置兼容的CD-ROM。除常规预录和可录DVD外，阅读器1312还 可操作以读取与PlayStation2和PlayStation3装置兼容的DVD-ROM。 阅读器1312还可操作以读取与PlayStation3装置兼容的BD-ROM以 及常规预录和可录蓝光光盘。

系统单元1300可操作以经由真实合成器图形单元(RSX)1306 以通过音频连接器和视频连接器将由PlayStation3装置生成或解码的 视频和音频供应给显示器和声音输出装置1342，诸如具有显示器 1346和一个或多个扩音器1348的监控器或电视机，或独立扬声器 1350。在一个实施方案中，语音和注视输入用来根据用户的POG朝 向特定音频扬声器播放声音。音频连接器1358可以包括常规模拟和 数字输出，而视频连接器1360可以不同地包括分量视频、超级视频、 复合视频和一个或多个高分辨率多媒体接口(HDMI)输出。因此， 视频输出可以呈诸如PAL或NTSC的格式或具720p、1080i或1080p 高分辨率。

由单元处理器1302执行音频处理(生成、解码等)。PlayStation3 装置的操作系统支持5.1环绕声、剧场环绕声(DTS) 和来自光盘的7.1环绕声的解码。

在本发明实施方案中，视频相机1334包括单电荷耦合装置 (CCD)、LED指示器和基于硬件的实时数据压缩和编码设备，使得 可以按适当格式(诸如基于内部图像的MPEG(运动图像专家组)标 准)传输压缩的视频数据以供系统单元1300解码。相机LED指示器 被排列来响应于来自系统单元1300的适当控制数据而进行照射，例 如以表示相反照明条件。视频相机1334的实施方案可以经由USB、 蓝牙或Wi-Fi通信端口不同地连接到系统单元1300。视频相机的实施 方案可以包括一个或多个相关联麦克风且还能够传输音频数据。在视 频相机的实施方案中，CCD可以具有适于高分辨率视频捕捉的分辨 率。在使用中，由视频相机捕捉的图像可以例如并入游戏中或被解释 为游戏控制输入。在另一实施方案中，相机是适于检测红外光的红外 相机。

大体来说，为了经由系统单元1300的通信端口中的一个与外围 装置(诸如视频相机或远程控制器)进行成功数据通信，应提供适当 软件零件，诸如装置驱动器。装置驱动器技术是熟知的且在此不再赘 述，除非所属领域的熟练技术人员将意识到，在本发明所述的实施方 案中可能需要装置驱动器或相似软件接口。

图7是根据本发明的各种实施方案的游戏系统1100的框图。游 戏系统1100被配置经由网络1115将视频流提供给一个或多个客户端 1110。游戏系统1100通常包括视频服务器系统1120和任选游戏服务 器1125。视频服务器系统1120被配置来以最小服务品质将视频流提 供给一个或多个客户端1110。例如，视频服务器系统1120可以接收 改变视频游戏的状态或视频游戏内的视野点的游戏命令，且以最小滞 后时间对客户端1110提供反映这个状态变化的更新的视频流。视频 服务器系统1120可以被配置来以各种替代视频格式提供视频流，包 括尚待定义的格式。此外，视频流可以包括被配置来以各种帧速率向 用户呈现的视频帧。典型帧速率是每秒30帧、每秒60帧和每秒1120 帧。但在本发明的替代实施方案中包括更高或更低帧速率。

客户端1110(在本文中分别称为1110A、1110B等)可以包括头 戴式显示器、终端机、个人计算机、游戏机、平板计算机、电话、机 顶盒、资讯站、无线装置、数字垫、独立装置、手持玩游戏装置等。 通常，客户端1110被配置来接收编码的视频流，解码视频流且向用 户(例如，游戏玩家)呈现所得视频。接收编码的视频流和/或解码 视频流的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。 可以在客户端1110内部的显示器上或在单独装置(诸如监控或电视 机)上向用户呈现视频流。任选地，客户端1110被配置来支持一个 以上游戏玩家。例如，游戏机可以被配置来同时支持两个、三个、四 个或更多个玩家。这些玩家中的每个可以接收单独视频流，或单个视 频流可以包括具体针对每个玩家生成(例如，基于每个玩家的视野点 生成)的帧的区。任选地，客户端1110是地理上分散的。游戏系统 1100中包括的客户端的数量可能变化很大，从一个或两个到几千个、 几万个或更多。如本文中所使用，术语“游戏玩家”用来指代玩游戏的 人员且术语“玩游戏装置”用来指代用于玩游戏的装置。在一些实施方 案中，玩游戏装置可以指代进行协作以向用户传递游戏体验的多个计 算装置。例如，游戏机和HMD可以与视频服务器系统1120协作以 传递通过HMD观看的游戏。在一个实施方案中，游戏机从视频服务 器系统1120接收视频流，且游戏机将视频流或视频流更新转递到 HMD以便显现。

客户端1110被配置来经由网络1115接收视频流。网络1115可 以是任何类型的通信网络，包括电话网络、互联网、无线网络、电力 线网络、局域网、广域网、私人网络等。在典型实施方案中，经由标 准协议(诸如TCP/IP或UDP/IP)传达视频流。或者，经由专属标准 传达视频流。

客户端1110的典型实例是个人计算机，包括处理器、非易失性 存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可 以包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码 (和编码)视频流的系统在所属技术领域中是熟知的且取决于使用的 特定编码方案而变化。

客户端1110可以但无需进一步包括被配置来修改接收的视频的 系统。例如，客户端可以被配置来执行另一显现，以使一个视频图像 覆加在另一视频图像上，以修剪视频图像等。例如，客户端1110可 以被配置来接收各种类型的视频帧(诸如I帧、P帧和B帧)，且将 这些帧处理成图像以向用户显示。在一些实施方案中，客户端1110 的成员被配置来对视频流执行另一显现、着色、3-D转换或相似操作。 任选地，客户端1110的成员被配置来接收一个以上音频或视频流。 客户端1110的输入装置可以包括例如单手游戏控制器、双手游戏控 制器、姿势辨识系统、注视辨识系统、语音辨识系统、键盘、控制杆、 指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触屏、神 经接口、相机、尚待开发的输入装置等。

由视频服务器系统1120生成和提供由客户端1110接收的视频流 (和任选音频流)。如本文中别处进一步所述，这个视频流包括视频 帧(且音频流包括音频帧)。视频帧被配置来(例如，其包括呈适当 数据结构的像素信息)有意义地促成向用户显示的图像。如本文中所 使用，术语“视频帧”用来指代主要包括被配置来促成(例如实现)向 用户显示的图像的信息的帧。本文中关于“视频帧”的多数教学内容也 可适用于“音频帧”。

客户端1110通常被配置来从用户接收输入。这些输入可以包括 被配置来改变视频游戏的状态或以其它方式影响玩游戏的游戏命令。 游戏命令可使用输入装置接收和/或可通过在客户端1110上执行的计 算指令自动生成。接收的游戏命令经由网络1115从客户端1110传达 到视频服务器系统1120和/或游戏服务器1125。例如，在一些实施方 案中，游戏命令经由视频服务器系统1120传达到游戏服务器1125。 在一些实施方案中，游戏命令的单独复本从客户端1110传达到游戏 服务器1125和视频服务器系统1120。任选地，游戏命令的传达取决 于命令的身份。任选地，游戏命令通过用来将音频或视频流提供给客 户端1110A的不同路由或通信信道从客户端1110A传达。

任选地，由不同于视频服务器系统1120的实体操作游戏服务器 1125。例如，可以由多玩家游戏的发布者操作游戏服务器1125。在 这个实例中，视频服务器系统1120任选被游戏服务器1125视为客户 端且任选被配置来从游戏服务器1125的观点来看是执行现有技术游 戏引擎的现有技术客户端。视频服务器系统1120与游戏服务器1125 之间的通信任选经由网络1115发生。因而，游戏服务器1125可是将 游戏状态信息发送到多个客户端(其中一个是视频服务器系统1120) 的现有技术多玩家游戏服务器。视频服务器系统1120可以被配置来 同时与游戏服务器1125的多个实例进行通信。例如，视频服务器系 统1120可被配置来将多个不同视频游戏提供给不同用户。这些不同 视频游戏中的每个可以受不同游戏服务器1125支持和/或由不同实体 发布。在一些实施方案中，视频服务器系统1120的若干地理上分布 的实例被配置来将游戏视频提供给多个不同用户。视频服务器系统 1120的这些实例中的每个可以与游戏服务器1125的相同实例进行通 信。视频服务器系统1120与一个或多个游戏服务器1125之间的通信 任选经由专用通信信道发生。例如，视频服务器系统1120可以经由 高带宽信道连接到游戏服务器1125，所述高带宽信道专用于这两个 系统之间的通信。

视频服务器系统1120至少包括视频源1130、I/O装置1145、处 理器1150和非暂时性存储装置1155。视频服务器系统1120可以包括 一个计算装置或分布在多个计算装置当中。这些计算装置任选经由通 信系统(诸如局域网)连接。

视频源1130被配置来提供视频流，例如，串流视频或形成移动 图片的一系列视频帧。在一些实施方案中，视频源1130包括视频游 戏引擎和显现逻辑。视频游戏引擎被配置来从玩家接收游戏命令且基 于接收的命令维持视频游戏状态的复本。这个游戏状态包括游戏环境 中的对象的位置以及(通常)视野点。游戏状态还可以包括对象的性 质、图像、颜色和/或纹理。通常基于游戏规则以及游戏命令(诸如 移动、转身、攻击、聚焦、交互、使用等)维持游戏状态。游戏引擎 的部分任选安置在游戏服务器1125内。游戏服务器1125可以基于从 使用地理上分散的客户端的多个玩家接收的游戏命令，维持游戏状态 复本。在这些情况下，游戏状态由游戏服务器1125提供给视频源 1130，其中存储游戏状态复本且执行显现。游戏服务器1125可以经 由网络1115直接从客户端1110接收游戏命令，和/或经由视频服务器 系统1120接收游戏命令。

视频源1130通常包括显现逻辑，例如硬件、固件和/或存储在计 算机可读介质(诸如存储装置1155)上的软件。这个显现逻辑被配 置来基于游戏状态创建视频流的视频帧。显现逻辑的所有或部分任选 安置在图形处理单元(GPU)内。显现逻辑通常包括被配置来基于游 戏状态和视野点确定对象之间的三维空间关系和/或应用适当纹理等 的处理阶段。显现逻辑产生接着通常在传达到客户端1110之前被编 码的原始视频。例如，可以根据Adobe标准、.wav、H.264、 H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、 MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3等对原始视频 进行编码。编码过程产生任选被封装来传递到远程装置上的解码器的 视频流。视频流的特征在于帧大小和帧速率。典型帧大小包括800x 600、1280x720(例如，720p)、1024x768，但可以使用任何其它帧 大小。帧速率是每秒的视频帧数量。视频流可以包括不同类型的视频 帧。例如，H.264标准包括“P”帧和“I”帧。I-帧包括用来刷新显示装置 上的所有宏块/像素的信息，而P-帧包括用来刷新其子集的信息。P- 帧的数据大小通常小于I-帧。如本文中所使用，术语“帧大小”意指帧 内的像素数量。术语“帧数据大小”用来指代存储帧所需的字节数量。

在替代实施方案中，视频源1130包括视频记录装置，诸如相机。 这个相机可以用来生成可包括在计算机游戏的视频流中的延迟或实 时的视频。所得视频流任选包括显现的图像和使用静物或视频相机记 录的图像。视频源1130还可以包括被配置来存储将包括在视频流中 的先前记录视频的存储装置。视频源1130还可以包括被配置来检测 对象(例如，人员)的运动或位置的运动或定位感测装置和被配置来 基于检测的运动和/或位置确定游戏状态或产生视频的逻辑。

视频源1130任选被配置来提供被配置来放置在其他视频上的覆 加。例如，这些覆加可以包括命令界面、指令日志、发给游戏玩家的 消息、其它游戏玩家的图像、其它游戏玩家的视频反馈(例如，网络 摄像头视频)。在包括触屏界面或注视检测界面的客户端1110A的实 施方案中，覆加可以包括虚拟键盘、控制杆、触垫等。在覆加的一个 实例中，玩家的语音覆加在音频流上。视频源1130任选还包括一个 或多个视频源。

在视频服务器系统1120被配置来基于来自一个以上玩家的输入 维持游戏状态的实施方案中，每个玩家可以具有不同视野点，包括位 置和视野方向。视频源1130任选被配置来基于其视野点对每个玩家 提供单独视频流。此外，视频源1130可以被配置来将不同帧大小、 帧数据大小和/或编码提供给客户端1110中的每个。视频源1130任 选被配置来提供3-D视频。

I/O装置1145被配置用于视频服务器系统1120以发送和/或接收 信息，诸如视频、命令、信息请求、游戏状态、注视信息、装置运动、 装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、 音频等。I/O装置1145通常包括通信硬件，诸如网卡或调制解调器。 I/O装置1145被配置来与游戏服务器1125、网络1115和/或客户端 1110进行通信。

处理器1150被配置来执行逻辑，例如软件，包括在本文中所论 述的视频服务器系统1120的各种组件内。例如，可以使用软件指令 对处理器1150进行编程以便执行视频源1130、游戏服务器1125和/ 或客户端限定器1160的功能。视频服务器系统1120任选包括处理器 1150的一个以上实例。还可以使用软件指令对处理器1150进行编程 以便执行由视频服务器系统1120接收的命令，或协调本文中所论述 的游戏系统1100的各种元件的操作。处理器1150可以包括一个或多 个硬件装置。处理器1150是电子处理器。

存储装置1155包括非暂时性模拟和/或数字存储装置。例如，存 储装置1155可以包括被配置来存储视频帧的模拟存储装置。存储装 置1155可以包括计算机可读数字存储装置，例如硬盘驱动器、光学 驱动器或固态存储装置。存储装置1115被配置来(例如通过适当数 据结构或文件系统)存储视频帧、人工帧、视频流(包括视频帧和人 工帧两者)、音频帧、音频流等。存储装置1155任选分布在多个装置 当中。在一些实施方案中，存储装置1155被配置来存储本文中别处 所论述的视频源1130的软件组件。这些组件可以存储成准备好在被 需要时提供的格式。

视频服务器系统1120任选还包括客户端限定器1160。客户端限 定器1160被配置来远程地确定客户端(诸如客户端1110A或1110B) 的能力。这些能力可包括客户端1110A自身的能力以及客户端1110A 与视频服务器系统1120之间的一个或多个通信信道的能力两者。例 如，客户端限定器1160可以被配置来通过网络1115测试通信信道。

客户端限定器1160可手动地或自动地确定(例如，发现)客户 端1110A的能力。手动确定包括与客户端1110A的用户进行通信和 请求用户提供能力。例如，在一些实施方案中，客户端限定器1160 被配置来在客户端1110A的浏览器内显示图像、文字等。在一个实施 方案中，客户端1110A是包括浏览器的HMD。在另一实施方案中， 客户端1110A是具有可以显示在HMD上的浏览器的游戏机。显示的 对象请求用户键入信息，诸如客户端1110A的操作系统、处理器、视 频解码器类型、网络连接类型、显示分辨率等。由用户键入的信息传 达回到客户端限定器1160。

自动确定可以例如通过对客户端1110A执行代理和/或通过将测 试视频发送到客户端1110A而发生。代理可以包括计算指令，诸如 java脚本，嵌入网页中或安装为附加条码。任选地，由客户端限定器 1160提供代理。在各种实施方案中，代理可发现客户端1110A的处 理功率、客户端1110A的解码和显示能力、客户端1110A与视频服 务器系统1120之间的通信信道的滞后时间可靠度和带宽、客户端 1110A的显示类型、客户端1110A上存在的防火墙、客户端1110A 的硬件、客户端1110A上执行的软件、客户端1110A内的注册表项 等。

客户端限定器1160包括硬件、固件和/或存储在计算机可读介质 上的软件。客户端限定器1160任选安置在与视频服务器系统1120的 一个或多个其它元件分离的计算装置上。例如，在一些实施方案中， 客户端限定器1160被配置来确定客户端1110与视频服务器系统1120 的一个以上实例之间的通信信道的特性。在这些实施方案中，由客户 端限定器发现的信息可用来确定视频服务器系统1120的哪些实例最 适于将串流视频传递到客户端1110中的一个。

可以使用各种计算机系统配置实行本发明的实施方案，包括手持 装置、微处理器系统、基于微处理器或可编程的消费类电子装置、小 型计算机、大型计算机等。还可在分布式计算环境中实行本发明的数 个实施方案，其中由通过基于有线或无线网络链接的远程处理装置执 行任务。

基于上述实施方案，应了解，本发明的数个实施方案可采用涉及 存储在计算机系统中的数据的各种计算机实施操作。这些操作是需要 物理量的物理操控的操作。形成本命发明的各个实施方案的部分的本 文中所述操作中的任何一个是有用机器操作。本发明的数个实施方案 还涉及用于执行这些操作的装置或设备。设备可以是特别构造用于所 需目的，或所述设备可是通用计算机装置，所述通用计算机装置由存 储在计算机中的计算机程序选择性地激活或配置。特定而言，各个通 用机器可以搭配根据本文教导编写的计算机程序使用，或可更便利构 造更专用的设备以执行所需操作。

本发明的各个实施方案还可体现为计算机可读介质上的计算机 可读代码。计算机可读介质是可存储随后可供计算机系统读取的数据 的任何数据存储装置。计算机可读介质的实例包括硬盘驱动器、网络 附接存储装置(NAS)、只读存储器(ROM)、随机存取存储器、紧 凑型光盘ROM(CD-ROM)、可再录CD(CD-R)、可再写CD(RW)、 磁带以及其它光学和非光学数据存储装置。计算机可读介质可包括分 布在网络耦接计算机系统上的计算机可读有形介质使得以分布方式 存储和执行计算机可读代码。

尽管按特定顺序描述方法操作，但应了解，其它内务处理操作可 以在操作之间执行，或可以调整操作使得其在略不同时间发生，或可 以分布在允许以与处理相关联的各种间隔发生处理操作的系统中，只 要以所要方式执行覆加操作的处理。

尽管已出于清晰理解的目的详细描述前述发明，但将明白，可在 所附权利要求书的范围内实行某些变化和修改。因此，本发明实施方 案被视为说明性且非限制性，且本发明的各个实施方案不限于本文中 所给出的详情，但可以在所附权利要求书的范围和等效物内进行修 改。