在虚拟宇宙中呈现真实世界对象与交互的方法和系统

具体实施方式

以下是在附图中描绘的公开内容的实施例的详细描述。实施例是如此详细以清楚地传递公开的内容。然而，提供的细节量的目的并不是限制实施例的预期的变型；相反，目的在于涵盖所有的由所附的权利要求定义的本公开内容的精神和范围之内的变换、等同物以及替换。

这里公开了这样的系统、布局、方法以及介质，其中，可以获得代表对象和/或交互、或其任意组合的图像数据，并且可以将其转换为可在VU中使用的数据。在一些实施例中，这些项目、与项目的交互以及参与者的行为可以由多触摸交互系统识别，并且，这些项目和交互可被分类为有关可利用数据的位置的类别。

可以将所获取的数据转换为虚拟宇宙引擎兼容的格式，使得真实世界对象和/或交互可以由VU服务提供方和VU客户端呈现。此处定义的呈现可为从可识别对象或行为的数据(可能是元数据)产生图形模型的处理。图形模型可以是可存储在数据结构中的对象或行为的描述。数据结构可以包含几何、视点、纹理光以及阴影信息。图像可以被视作数字图像或者光栅图形图像。

呈现也可以包括从视频文件数据计算效果以产生视频输出的处理。元数据可以包括可被用以识别、描述并定位资源的数据，如可被用以产生图形模型的数据。例如，主网关(subiect gateway)提供关于各个网站的信息，典型地，包括作者、标题、URL(网址)以及简介。库目录包含关于库中的书以及其它资源的元数据。随后，参与者可以在VU中浏览、并且与重建或者仿真的项目和行为交互。多触摸交互系统可以同时识别大量移动或者交互(如触摸、姿态)，并且可以获取对象的数字图像。

参考图1，公开了带有数据转换的真实世界数据获取系统100。系统100可以包括带有传送器和接收器的交互表面116、对象-交互获取模块112、标识模块102、关联模块108、定位/放置模块110、图形用户界面/用户界面模块108、以及数据转换模块114。交互表面116可以获取包括画面类型数据和视频数据的图像数据。图像数据可以代表单个画面或者帧，或者，图像数据可以包括可以被连续组合以产生视频的一系列帧。因此，此处使用的图像数据指画面和视频两者。这种数据可以是能够在VU中呈现的像素数据。

多触摸交互系统116可以从对象和/或人类的交互获取图像数据，并且，可以将这些图像数据转换为坐标数据、或者具有VU服务器106可用来在VU中呈现对象和/或交互的格式的数据。交互表面116可以经由网络103传送转换后的数据给VU服务器106，并且VU服务器106可以将所获取的数据并入VU或VU输入流(feed)。VU坐标数据可被发送给VU客户端104以显示给VU用户。VU客户端104可以驻留于个人计算机中，并且，VU客户端104可处理并且显示VU给用户。VU客户端104以及VU服务器106可以位于多触摸交互系统116的远端。

适合于与VU客户端104和VU服务器106一起使用的公知的计算系统、环境和/或配置的例子可以包括但不限于个人计算机、服务器计算机、瘦客户端(thin client)、厚客户端(thick client)、手持或者膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子设备、网络PC、微计算机、主机计算机、包括任何上述系统或者设备的分布式计算环境，等等。

示例性的计算机可以在计算机可执行指令的一般上下文中描述，如由计算机执行的程序模块。通常，程序模块包括例程、程序、对象、组件、逻辑、数据结构等等，其执行特定的任务，或者实现特定的抽象数据类型。示例性的计算机可以在分布式计算环境中实施，其中，任务由通过通信网络链接的远程处理设备执行。在分布式计算环境中，程序模块可以位于包括存储器存储装置的本地和远程计算机存储介质两者中。

在一个实施例中，多触摸交互系统116可以检测具有区别或可识别的轮廓、或可识别的属性的诸如放置在表面116上的设备的对象，并且，可以以数据所属的对象的类来标记该数据。这个检测处理可以对像素数据使用数字信号处理，并执行边缘检测和其它识别方法。这种检测处理也可以包括：拦截从接近该表面的无线传输，并且识别该设备，或者基于传输而分类该设备。在一些实施例中，对象可以具有无线相机(wireless camera)技术、射频识别(RFID)技术、或者蓝牙技术，其中，对象-交互模块112具有收发器，用来帮助从这种无线设备获取对象图像数据。在一些实施例中，表面116可以使用无线电波或者光来获得对象的三维扫描，在一些情况下，这可以提供更精确的识别。

对象-交互获取模块112也可以识别人类的行为，如波、拇指上举信号或者“我们是第一”的手势信号。此外，随着参与者把她的脸放到交互表面116上并向其中观看，对象/行为识别模块112可以识别皱眉、笑脸或者哈欠。在识别对象和/或与对象的交互之后，数据转换模块114可以将代表真实世界项目和行为的数据变换为驻留在VU服务器106上的VU应用可以使用的数据。由此，可以在VU中以某种形式重建在真实世界中监视的项目和行为。

在一些实施例中，VU服务器108将传送几何或者坐标数据给VU客户端104。换句话说，VU服务器108可以将可以被转换并且被作为几何体和纹理呈现的数据发送给VU客户端104。这区别于流像素数据或者视频数据。因此，像素数据或图像数据可以在其被发送给VU服务器106之前，被数据转换模块115转换为坐标数据。

系统100可以允许多用户同时进入对象和/或行为。例如，对象可以是饮料，并且行为可以是喝饮料，或者，对象可以是移动电话，并且行为可以是通过移动电话应答和讲话。此外，在从饮料罐喝下饮料之后，诸如打嗝或者微笑的姿态可以与对象结合。

识别模块可以将参与者与对象、行为和/或姿态相关联。在一些实施例中，被分配标识符的对象和/或交互、以及该标识符可以与数据一起被传送给VU服务器106，使得VU服务器知道在那里放置对象和/或交互。在虚拟世界中“重建”真实世界对象的能力可以允许VU的用户使他们交互的VU个性化。

在VU中的这种新的对象也可以允许使在VU中的化身之间的交互个性化。可以预期，对象或行为的确切的复制是不必要的，这是因为，可以提供相似的对象、行为或者姿态的仿真。例如，对象可以是杯子，并且可以由系统分类为饮料容器。在一些实施例中，系统可以寻找并且检索被标记为饮料容器的图像数据，并且，可以使用来自库的数据，以在用户期望的VU中提供该对象。

参考图2，带有坐在多触摸交互系统200的交互表面周围的参与者210的交互表面系统200的顶视图。系统200可以包括很多属性获取模块，如投影仪202、相机、像素产生器、或者图像获取模块204、红外传感器204、麦克风205、读卡器206、收发器207以及超声/X射线模块208，以命名一些(此处被称为对象/行为获取模块(202-208))。对象/行为获取模块202-208可以连接到表面计算模块225、以及真实世界到虚拟世界数据翻译模块224。参与者210可以提供对象和/或行为，并且，系统200可以捕获代表这些对象和/或行为的数据。

在一些实施例中，交互表面200并不需要知道参与者210的细节，并且，可以只关心对象、实体或者与参与者210相关联的事物，例如，膝上型电脑212、对象213、个人数字助理214、移动电话216、相机217或者此处被称为对象(212-217)的任意对象。在参与者位置与对象/行为之间的接近度可以用来将对象和/或行为链接到参与者210。可以通过扫描对象的轮廓、并且比较所获取的轮廓与轮廓库，而识别该对象。在其它的实施例中，可通过读取项目上的条形码来识别对象。

因此，属性获取模块202-208可以在一些模式中监听传输，或者甚至查询对象212-217，并且，可以经由画面、视频、音频、电子传输等来获取来自或有关对象的数据，并且，可以使用这样的数据来确定对象是什么。多触摸交互系统200可以采用一种可以从微软公司获得的产品“Surface Table(表面表)”的形式。该表具有显示图形图像并且在多个参与者210、以及多个参与者设备之间交换信息的能力。“Surface Table”是微软公司的商标。可以预期，多触摸交互系统不需要是水平台面(horizontal table top)的形式。在这里描述的原理也可适于包括并且应用于多显示表面、或者在除了水平朝向的朝向上具有不同的安装的形状和曲率的显示表面。

在一些实施例中，画面可以放置在表面上，或者，参与者210可以在表面上绘图，并且，随后，参与者210可以经由GUI在该表上指示如何在VU中利用在这样的过程中获取的数据。在另一个例子中，可以由参与者提供手、臂、或面部姿态的特定序列或者唯一序列。在该实施例中，对象-交互模块可以检测参与者的该移动。对象-交互模块可以是例如触摸传感器、移动传感器、超声传感器、X射线传感器、磁共振成像传感器、声音传感器、热或者红外传感器、视频设备以及生物传感器的一个或者组合。

可以处理传感器数据，以确定参与者已经提供、并且获取了什么对象或者行为。这种处理可以包括边缘检测、形状检测或者其它已知的识别技术。对于诸如移动电话的活动对象，数字传输的结构可被用于识别对象，并且，在其它实施例中，可以从对象读取例如条形码的光标识。在另一些实施例中，可以由多触摸交互系统读取项目的形状和例如条形码的识别标签。

在一些实施例中，可以由多触摸交互系统识别接近多触摸的参与者。多触摸交互系统也可以确定标识符参与者的相对位置。基于这个相对位置，多触摸交互系统可以确定参与者的行为，或者可以将对象与参与者相关联。该姿态可以包括：参与者在上述的表面表上以手指绘画或者勾画。

数据进入处理可以是在由多触摸交互系统提供的图形用户界面上的菜单驱动。例如，参与者可以请求真实世界到虚拟世界转换，并且，响应于表面表，可以获取参与者在该表中的相对位置。然后，GUI可以以例如对象输入、姿态输入、行为输入或者对象-行为类型输入的形式提示用户。在其它的例子中，可以设置多触摸交互系统，以接受参与者提供的草图。GUI可以设置系统，以扫描照片，或者扫描三维空间中的对象。在另一配置中，GUI可被用于识别接近于表面的诸如面部表情、臂、手指或者手的移动的姿态，使得该表面可以获得交互/姿态的数字解释。行为可以包括挥手、敲击、竖起拇指符号、以及OK手势信号等。面部表情可以包括笑、皱眉、惊讶、恐惧等。

在一些实施例中，参与者可以通过GUI设置多触摸交互系统，以扫描或者识别项目。表面可以将该项目与参与者相关联，并且，可以将该项目与参与者的化身相关联。因此，如果可应用的话，则多触摸交互系统检测的行为和对象可以与所识别的参与者和参与者的化身相关联。在一些实施例中，表面可以与接近表面的相机(可能是无线相机)通信，并且，参与者可以选择已经从相机下载的照片，并且参与者可以选择出现在该照片中的对象。可以通过在表面上显示图片、然后允许用户在照片中的对象上放置她或者他的手指以选择画面中的对象，而完成该选择。对象识别模块可以使用边缘检测和颜色检测以及其它数字处理技术，而识别项目/对象，或者，至少作出该对象可被关联的项目类型的确定。

可以由RW-VW翻译模块224将表面所获取的数据翻译为与VU服务器输入格式兼容的数据格式。这种格式可包括坐标类型数据。然后，VU服务器可以在由VU客户端在个人计算机上显示给用户的VU中仿真或者合并所获取的行为和/或对象。换句话说，可以在VU中复制所选择的对象、参与者与对象的交互、以及参与者作出的活动或姿态。可以基于参与者可配置的设置，将所获取的对象/活动与VU中的特定虚拟地区或者化身相关联。

表面表可以在任何给定时刻接受很多输入，并且，由此，可以将所获取的对象或行为与参与者关联，并且，在一些实施例中，可以确定哪些对象或者身体部分处于参与者的控制之下。在一个实施例中，放置在表面的接近已被分配给参与者的位置的对象可以被视为“处于参与者的控制之下”。然后，可以在与参与者的化身相关联的虚拟环境中尽可能接近地“复制”这个对象。如果该对象是通常由人携带的对象，则系统可以假设参与者希望由该化身承载她的化身。

在一些实施例中，可以在表面上将VU显示给参与者。表面也可以具有允许用户选择对象、操纵对象并且放置对象到期望位置上的GUI的子窗口。例如，参与者可以选择和/或可以被提供有餐馆设置VU。通过GUI，参与者可以在表上创建虚拟角色/化身，或者通过注入(injecting)对象和/或交互到虚拟宇宙中，而加载他们自己的现有角色。

在一些实施例中，GUI可以提供对象或者对象分类的菜单，并且，参与者可以选择对象，并且指向在VU中的位置，并且对象可以被放置在VU中。参与者也可以指示所增加的对象是否作为化身的持有物随着化身而移动、或者被放置在虚拟宇宙内的墙或者桌子上。

在其它实施例中，参与者可以通过GUI选择对象类型，然后在表面上放置照片或者实际项目，其中，表面可以获取代表对象的数字图像，并且基于该输入，该系统可以将代表该对象的数字图像分为某类别。知道了对象落入什么类别可以由该系统用于在VU中放置该对象。该系统也可以执行额外的图像处理，以使得新的对象看起来好像“属于”VU。图像处理的一个形式可以将该对象缩放为VU的适合大小。在一个实施例中，用户可以选择对象的大小，以被插入VU。可以在对象被插入VU之后提供这个特征，并且，用户可以查看对象是否是期望的大小。

由此，用户可以在多触摸交互系统上放置对象，并且由在多触摸交互系统上显示的GUI提示该用户该对象是什么。基于对象和对象类型的扫描，系统可以自动确定在VU中的何处放置对象，并且，可以在VU中仿真对象。在其它实施例中，由识别模块完成识别该项目是什么。

在一个实施例中，公开的布置可以被用以监视发生在房间中的活动。此外，所述活动可以以VU格式被记录，以便在以后查看。例如，用户可以在坐在作为餐桌而加倍的多触摸交互系统处的同时定购饮料。当服务员在表面上放下饮料时，多触摸交互系统可以记录饮料的放置、处理饮料的图像数据、并且将该数据转换为VU兼容的数据，使得可以在VU中仿真饮料及其放置。在该数据中包含的可以是分配给参与者的化身的唯一通用标识符。在一些实施例中，参与者可以指示她的化身可以持有所定购的饮料、并在化身的手中递交，或者可在桌子上放置该饮料。

在另一个例子中，用户可以在真实生活中，在多触摸交互系统上放置移动电话，并且，电话可以被放置在VU中的参与者的手上。因此，参与者的化身可以自动被配备有电话的“迷你版本”。按照真实世界到虚拟世界的转换，可以在VU中反映/仿真在参与者和电话之间的交互。例如，当电话位于桌子上，并且接收到呼入时，参与者可以接电话，对应的数据可被发送给VU服务器，并且，在VU中，在参与者起身离开桌子接电话的同时，化身可以显示为可能在接电话的忙或者不活动。可以预期，可以在虚拟环境中仿真许多接近于多触摸交互系统的交互，并且，可以由参与者控制这些交互如何发生(在VU中发生什么以及如何发生)。

在另一个例子中，参与者可以在他们的数字音频播放器上播放歌曲，并且，当用户希望播放歌曲给坐在桌子旁的他们的朋友时，用户可以在多触摸交互系统上放置他们的数字音频播放器并且播放歌曲。响应于播放歌曲，在VU中，化身可以收集并监听在真实世界中正在播放或曾播放的同一歌曲。可以基于用户可选择的设置而执行化身的这种集会(meeting)。在该例子中，其它用户可选择的设置/偏好可以包括：当听到音乐时，根据歌曲的速度和节拍，来调用化身去跳舞。

在另一个实施例中，参与者可以通过显示在多触摸交互系统的GUI来配置表面，使得它接受并且存储参与者在多触摸交互系统上所“绘出”的内容。通过与在表面上显示的GUI的交互，参与者可以配置多触摸交互系统，以接受参与者用她的食指绘制的对象的表现(rendition)。在一个例子中，用户可能希望在VU中放置某物。通过GUI，用户可以在表面上绘制花，并且，可以在她希望放置花的位置的表面上敲击她的手指。

在不存在关于正在画什么并且应在何处放置其而与该系统通信的参与者的情况下，当用户画他们喜爱的花的表现时，表面及虚拟宇宙不能、并且不需要知道对象是什么、以及在哪儿放置该对象。当获取了关于“未识别/不可读取”的对象的像素数据时，该系统可以采用许多不同的方法。

在一些实施例中，未识别/不可读取的对象可以被适当地调整大小，并且，呈现为VU中的参与者的化身的持有物。在其它的实施例中，参与者可以通过多触摸交互系统输入有关如何处理/对待未识别/不可读取的对象的命令。例如，参与者或者该系统可以拟定(frame)该花，并且可以在墙上放置该艺术品，以展示其给其它化身。可以预期，公开的该布置允许参与者将定制的项目、对象和/或交互输入到VU中，使得可根据参与者的期望而定制VU、以及与VU的交互。

在一些实施例中，可以转换数据，使得其与基于网络的游戏兼容。例如，人物可以是“Mii”人物，如用在任天堂公司制作的视频游戏产品“Wii”中的人物。Mii通常是由任天堂为Wii、Mii频道创造的化身。在用户创造了Mii之后，Mii可被用作在特定的面向Mii的游戏(如Wii sports和Wii play)中的参与人物。Mii是可被定制的，并且允许用户捕捉相似点或者漫画，或者捕捉他们自己的以及其他人的个性。

公开的布置通过创建把真实世界对象的代表放置在VU中的方式，可以许多方式来增强用户与VU之间的交互。允许用户在VU中定制化身和对象使得参与者能够创建唯一的角色，并且允许用户通过这种被定制和仿真的角色来设计(tailor)角色扮演。公开的布置还允许自动创建角色，并且将其保存在VU中。公开的实施例提供了自动且不费力的可以与化身相关联的资产(例如，金钱、艺术品等)的创建，并且，化身可采用唯一且更类似于人类的个性。可以预期，给予人类他们的唯一存在的真实生活对象现在可以移动到VU，并且，可以利用这些对象来在VU中指示其它行为。

参考图3，图解了用于将真实世界对象/事件转换为虚拟宇宙对象/事件的流程图300。如框302所示，可以配置多触摸交互系统，以接收输入。如框304所示，多触摸交互系统可通过监视对象或者参与者的交互，来接收诸如对象的位移、手或者臂的姿态和/或与姿态的目的相关联的行为或活动，并且，可以创建、定位和/或检索代表该对象和/或交互的数据。该获取可以是多个参与者正在同时提供这种对象和/或交互的自动处理。该系统可以获取数据，使得可以在VU中以一定形式重建每个对象和/或交互。例如，获取的数据可以被用来定位和检索被提供给VU服务的数据。如判定框306所示，该系统可以自动确定它是否识别出对象和/或交互。如果系统不能识别出对象和/或交互，则可以询问参与者该对象和/或行为是什么。

如判定框310所示，该系统可以自动地确定是否可以识别对象和/或交互，使得该系统可以通过自动放置系统，在VU中的合适位置来放置对象。如果不能确定自动放置，则如框312所示，可以询问参与者应当在VU的何处放置对象和/或交互。当确定对象或行为、以及放置时，如框314所示，可以自动将图像数据转换为VU服务提供方可用的数据。这种数据转换可以是从像素数据到坐标数据的转换。如框316所示，转换后的数据可以自动被传送给VU服务器。此后，该处理可以结束。可以预期，可视的事物可以被自动放置在虚拟世界中，而没有使用者的参与或者显著的延迟。由此，可以捕获可视的事物，并且在VU中“实时”(不用忍受处理和通信延迟)地仿真或重建该可视事物。

上述处理的实现可以是经计算机可读介质传递和存储的。计算机可读介质可以是任何可以由计算机访问的介质。通过示例而非限定的方法，计算机可读介质可以包括“计算机存储介质”以及“通信介质”。“计算机存储介质”包括易失性的和非易失性的、以任何方法或技术为信息存储如计算机指令、数据结构。程序模块或其它数据而实现的可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或者其它存储技术、CD-ROM、数字多用盘(DVD)或者其它光存储装置、盒式磁带、磁带、磁盘存储或者其它磁存储设备，或者任何其它可以用于存储期望的信息并且可以由计算机访问的介质。“通信介质”典型具体体现为计算机可读指令、数据结构、程序模块或者其它调制的数据信号中的数据。例如载波或者其它传输机制。通信介质也可以包括任何信息投递介质。

术语“调制的数据信号”表示具有一个或者它自己的特性设置或者在信号编码信息中以这样的方式改变的信号。通过示例而非限定，通信介质可以包括：有线介质，例如有线网络或者直接连接；以及无线介质，例如声音、RF、红外以及其它无线介质。上述的任何结合也包括在计算机可读介质的范围内。

参考硬件和/或软件的特定配置，本领域的技术人员将认识到，实施例可以以其它的等同的硬件和/或软件系统更具优势地实施。此处描述的公开内容的方面可以在计算机可读介质上存储或者分发，包括磁和光可读的和可移除的计算机磁盘、以及电子的分布在网络上或者包括无线网络的其它网络。特定于本公开的方面的数据的数据结构和传输(包括无线传输)也包括在本公开的范围之内。

此处公开的每个处理可以以软件程序实现。此处描述的软件程序可以在任何类型的计算机上操作，例如个人计算机、服务器等等。任何程序可以包含在各种信号承载介质上。示例性的而非限定性的信号承载介质包括：(i)在不可写存储介质上永久存储的信息(例如，在计算机之内的只读存储器设备，如可以由CD-ROM驱动器读取的CD-ROM磁盘)；(ii)存储在可写存储介质上的可变信息(例如，在软盘驱动器之内的软盘、或者硬盘驱动器)；以及(iii)由通信介质传输给计算机的信息，例如，通过计算机或者电话网络，包括无线通信。后面的实施例具体的表现包括从因特网、局域网或者其它网络上下载信息。当承载指代本公开的布置的功能的计算机可读指令时，这种信号承载介质呈现本公开的实施例。

公开的实施例可以采用完全的硬件实施例、完全的软件实施例或者包含软件盒硬件的实施例的形式。在一些实施例中，本发明在软件中实现，其包括但不限于固件、驻留软件、微码等等。此外，本发明可以采用从由或者结合计算机或者任何指令执行系统提供的程序代码以使用的计算机可用的或者计算机可读的介质而访问的计算机程序产品的形式。为了该描述的目的，可用的计算机或者计算机可读介质可以是任何通过或者结合指令执行系统、装置或设备而可以包含、存储、通信、传播或者传输程序以使用的装置。

所述介质可以是电子的、磁的、光的、电磁的、红外的或者半导体系统(或者设备或装置)或者传播介质。计算机可读介质的实例包括半导体或者固态存储器、磁带、可拆卸计算机盘、随机存取存储器(RAM)、只读存储器(ROM)、固体盘和光盘。光盘的现有实例包括致密盘-只读存储器(ROM)、致密盘-读/写(CD-R/W)以及DVD。适合于存储和/或执行程序代码的数据处理系统将包括至少一个直接或者间接的通过系统总线耦接到存储器元件处理器。存储器元件可以包括在程序代码实际执行期间使用的本地存储器、大容量(bulk)存储器、以及为了减少在执行期间必须从构造存储器获取代码的次数而提供的至少一些程序代码的临时存储的高速缓存存储器。

输入/输出或I/O设备(包括但不限于键盘、显示器、定点装置等等)可以完全直接的或者通过介于其间的I/O控制器耦接到系统。网络适配器可以耦接到系统，使得数据处理系统能够通过介于其间的私有或者公共网络耦接到其它数据处理系统或者远端打印机或存储装置。调制解调器、电缆调制解调器、以及以太网卡正是一些当前可用的网络适配器的类型。

应当理解，详细的展示和描述的本发明的形式和附图仅仅是为了作为示例。所期望的是，所附的权利要求应当被解释为包括公开的示例性的实施例的各种变型。