用于内容编创的系统和方法

相关申请的交叉引用

本申请要求于2014年1月16日提交的发明名称为“用户生成内容编创”的临时申请No.61/928,357的优先权，通过引用将其全部内容并入本文。

背景技术

触控设备变得越来越流行。例如，手机和其它设备可配置有触敏显示器，这样用户可通过触摸该触敏显示器的部分来提供输入。作为另一示例，与显示器分离的触控表面可用于输入，例如触控板、鼠标或其它设备。逐渐地发展到视频可能被显示在这些触控设备上。此外，这些设备具有视频创建和编辑的处理能力。很多设备进一步配置有触觉能力。因此，存在对用于用户生成的内容编创(authoring)的系统和方法的需求。

发明内容

本发明的实施例包括以视频显示能力和确定触觉信号并输出触觉效果的能力为特征的设备。在一些实施例中，这些触觉效果可包括在触摸区域中模拟一个或多个特征的基于表面的触觉效果。所述特征可包括但不限于纹理的改变和/或边界、障碍或可通过使用与该表面接触的物体来感知其它触摸表面的中断的模拟。在一些实施例中，触觉效果可包括表面变形、振动、和其它本领域已知的触觉效果。在一些实施例中，这些触觉效果可用于模拟或增强视频内的特征，例如动作效果或与声音和/或视频中发生的动作关联的效果。

在一个实施例中，用于内容编创的方法包括：接收视频信号；显示与触觉编创相关联的用户界面；检测与触觉效果相关联的姿势；部分地基于该姿势确定触觉效果；将触觉效果与视频信号中的位置相关联；并存储该视频信号和相关联的触觉效果。

在另一示例性的实施例中，用于内容编创的系统包括：显示器，其被配置为接收视频信号并输出与该视频信号相关联的用户界面；传感器，其被配置为检测姿势并发送与该姿势相关联的传感器信号；与该传感器和该显示器通信的处理器，该处理器被配置为：接收该传感器信号并部分地基于该姿势确定触觉效果；将触觉效果与视频信号中的位置相关联；并存储该视频信号和相关联的触觉效果。

另一示例性的实施例包括非瞬态的计算机可读介质，其包括程序代码，当由处理器执行时该程序代码被配置为使得该处理器：接收视频信号；将和与触觉编创相关联的用户界面相关联的显示信号发送至显示器；检测与触觉效果相关联的姿势；基于该姿势确定触觉效果；将该触觉效果与视频信号中的位置相关联；并存储该视频信号和关联的触觉效果。

提到的这些示例性的实施例并非用于限制或限定本主题的保护范围，而是提供示例以辅助其理解。示例性实施例在详细描述中进行论述，那里还提供了更进一步地描述。多个实施例提供的优点可通过检查本说明书和/或通过实践要求的主题的一个或多个实施例来进一步理解。

附图说明

在说明书的剩余部分中将更具体地完整并可实现地公开了本发明。该说明书涉及下述附图。

图1A图示了用于用户生成的内容编创的示例性系统。

图1B图示了图1A所示系统的一个实施例的外视图。

图1C图示了图1A所示系统的另一实施例的外视图。

图2A图示了用于用户生成的内容编创的示例性实施例。

图2B图示了用于用户生成的内容编创的另一示例性实施例。

图3A图示了用于用户生成的内容编创的再一示例性实施例。

图3B图示了用于用户生成的内容编创的再一示例性实施例。

图4A图示了用于用户生成的内容编创的再一示例性实施例。

图4B图示了用于用户生成的内容编创的再一示例性实施例。

图5A图示了用于用户生成的内容编创的再一示例性实施例。

图5B图示了用于用户生成的内容编创的再一示例性实施例。

图6是用于用户生成的内容编创的一个示例性实施例的方法步骤的流程图。

具体实施方式

现在将详细参考多种并且可选择的示例性实施例以及附图。每个实例均通过解释但并不作为限定的方式进行提供。对于本领域技术人员显而易见的修改和变化可以被作出。例如，对一个实施例的一部分进行说明或描述的特征可用于另一实施例以获得更进一步地实施例。因此，想要达到的是本公开包括在随附的权利要求和它们等同物的范围内的修改和变化。

用于用户生成的内容编创的设备的示例性示例

本公开的一个示例性实施例包括电子设备，例如平板电脑、电子阅读器、移动电话、或者诸如膝上型电脑或桌面计算机的计算机或可佩戴设备。该电子设备包括显示器(例如触摸屏显示器)、存储器、以及与这些元件的每一个都进行通信的处理器。

该示例性设备包括配置为存储一个或多个已录制视频的存储器。这些视频可包括通过数据连接从诸如互联网上的数据库的远程数据源下载的视频。可替选地，这些视频可包括由该示例性设备的用户捕获的视频。例如，该示例性设备可包括数字相机(例如，安装在移动设备的前面或背面的相机)，用户使用该相机可捕获数字图像和视频。该示例性设备包括检测用户姿势并基于该用户姿势应用内容至这些视频的传感器。在一些实施例中，该内容可包括用户生成的内容。在一些实施例中，该内容可包括触觉效果、图形、声音或其它类型的内容。

在示例性实施例中，该移动设备可包括用于根据本文公开的实施例进行内容编创的程序代码。在示例性实施例中，该程序代码可包括用于显示用户界面以进行内容编创的程序代码。根据该示例性实施例，用户可通过使用在内容编创用户界面中可用的相机界面来捕获视频。例如，在一个实施例中，用户可使用与该设备关联的相机捕获猫的视频。可替选地，用户可选择在计算设备的数据存储上可用的或通过网络连接可用的已经存在的视频。例如，用户可选择预先载入的视频，例如滑雪者的视频。

在示例性实施例中，一旦用户选择了某视频，该用户就可通过内容编创界面将触觉内容应用于该视频。在示例性实施例中，该用户可通过首先选择该视频中的位置来应用触觉内容。例如，在示例性实施例中，显示的一部分可包括来自该视频的一系列帧，用户可与其进行交互以选择与该帧关联的视频中的位置。在示例性实施例中，一旦用户选择了视频中的位置，然后用户可为那个位置分配触觉效果。在一些实施例中，用户可使用姿势来分配该触觉效果，这将在下文进行进一步详述。

在示例性实施例中，用户可选择一个或多个预先定义的触觉效果。这些效果可包括触觉效果、配置为模拟情绪的效果、配置为模拟动作的效果或者其它类型的效果。在一些实施例中，预先定义的触觉效果可包括多维触觉效果。例如，在一些实施例中，该触觉效果可包括一个或多个振动、基于表面的效果、表面变形或本领域公知的其它触觉效果。进一步地，用户可修改这些效果的特征。例如，用户可分配持续时间、强度、频率或任何其它特征至该触觉效果。在上文描述的实施例中，用户可分配触觉效果至猫的视频。该触觉效果可包括配置为模拟猫发出的咕噜声的振动。

在一些实施例中，用户可创建触觉效果。例如，用户可通过与该设备交互(例如，摇晃该设备或按压该设备上的位置)创建触觉效果。这些姿势可被移动设备上的一个或多个传感器所捕获并转换为触觉效果。在一些实施例中，该设备上的触觉输出设备可配置为在与该设备相关的X、Y或Z平面中输出力。在一些实施例中，这些效果可配置为模拟感觉物体在显示器上移动。例如，在一个实施例中，多维触觉效果可配置为模拟物体(例如在应用于下文描述中的张贴物)在X平面(左或右)、Y平面(上或下)、Z平面(进入或离开显示器)中移动，或者这些平面每一个中的向量。这些触觉效果可通过将在下文进一步详述的一个或多个不同类型的触觉输出设备输出。

在一些实施例中，用户可创建多方向或多维触觉效果。如上文所述，该设备可包括配置为检测移动设备的移动的一个或多个传感器(例如加速度计、陀螺仪、相机、GPS或其它传感器)和配置为检测表面交互的传感器。用户可在该设备的表面上作出姿势(例如，触摸、轻敲或滑动)，用户还可使用该设备作出姿势(例如，在空间内移动、倾斜、转动、摇动或旋转该设备等)。这些姿势可被传感器捕获。随后，该传感器可将与姿势关联的信号发送至处理器。该处理器可确定一个或多个被配置为模拟该姿势的触觉效果。例如，该处理器可确定在Z平面上输出力的触觉效果来模拟将设备向下移动的姿势。此外，该处理器还可确定在X或Y平面中进行输出的触觉效果(例如，触摸屏的表面上的基于表面的效果)以模拟在触摸屏的表面上的姿势。

进一步地，在示例性实施例中，该设备可部分地基于从相机接收的数据确定触觉效果(例如，移动设备上的向前或向后的相机)。例如，在示例性实施例中，该用户可在相机的可视范围内作出姿势。相机可捕获此姿势并将与该姿势关联的信号发送至处理器。处理器可确定与该姿势关联的触觉效果。例如，处理器可确定被配置为模拟该姿势的触觉效果。在一些实施例中，该姿势可包括多维姿势。在一个这种实施例中，相机可捕获用户玩诸如网球的游戏的视频。处理器可确定与游戏关联的各种姿势(例如，诸如正手或反手的手的移动和诸如步伐的脚的姿势)。处理器可确定与这些姿势关联的触觉效果。这些触觉效果可与用户的视频相关联。可替选地，这些触觉效果可与触觉库关联并随后被选择用在其它应用或视频中。

在一些实施例中，相机可捕获姿势，确定与这些姿势关联的触觉效果，然后将该触觉效果与不同的视频关联。例如，该相机可捕获用户执行诸如拍手的姿势。处理器可确定与此姿势关联的触觉效果。此新的触觉效果可存储在可用触觉效果的触觉库中。此外，此新的触觉效果可与视频关联，例如速降滑雪者的视频。例如，在该实施例中，触觉效果可放置在其中发生事件的视频中的位置处，例如，当滑雪者超过其它滑雪者、撞击物体、转弯等时。

在示例性实施例中，在用户分配触觉效果后，用户界面可显示示出了分配该效果所在的视频中的位置的指示符。例如，用户从中选择位置应用该触觉效果的一系列帧可包括位于该触觉效果位置的覆盖物。此外，通过与视频的长度相比较该覆盖物可被缩放以显示该触觉效果的持续时间。

在示例性实施例中，用户可进一步将张贴物或者标签应用于在该视频中的位置。该张贴物可包括通过内容编创界面已经创建的并且对于用户可用的动画或图形。可替选地，该张贴物可包括用户创建的图形、动画和/或音频效果。在示例性实施例中，通过执行与那些用户执行以应用触觉效果至该视频的动作相似的动作，用户可应用该张贴物至视频中的位置。例如，在上文论述的实施例中，用户可创建包括具有拼写为“咕噜声”的白色字体的红色标签的张贴物。然后用户可分配此张贴物以与在模拟咕噜声的触觉效果同时显示。

在一些实施例中，该编创界面可进一步包括编创音频效果的功能，例如，用户可选择已有的音频效果或使用界面以创建新的音频效果，例如，使用麦克风或使用与该设备关联的音频应用。在示例性实施例中，通过执行与那些用户执行的应用至该视频的触觉效果相似的动作，用户可应用该音频效果至该视频中的位置。

在示例性实施例中，用户可应用多种内容，例如多个触觉效果、音频效果以及张贴物至贯穿该视频的多个位置。一旦该用户已经完成了应用内容，则该编创应用将存储该视频、触觉效果、音频效果以及张贴物。在示例性实施例中，此数据可一起存储在单个媒体文件中，例如MP4媒体文件。可替选地，每个部分都可分别存储在一个文件中。例如，视频文件可以其原始格式存储，音频文件可以其原始格式存储，并且包括触觉数据的触觉踪迹可单独存储。

在示例性实施例中，用户然后可播放该视频文件并感受分配的触觉效果并查看分配的张贴物。例如，在上文论述的实施例中，用户可播放猫的视频并当该视频到达分配触觉效果的位置时该设备可输出该触觉效果。进一步地，该设备可输出该张贴物，例如，在上文论述的实施例中，具有文字“咕噜声”的张贴物，和/或它的相关音频效果。进一步地，在示例性实施例中，用户可发送该视频至能够观看该视频并感受分配的触觉效果并查看该张贴物的其它用户。

用于用户生成的内容编创的示例性系统

图1A示出了用于用户生成的内容编创的示例性系统100。具体地，在该示例中，系统100包括计算设备101，它具有通过总线106与其它硬件对接的处理器102。可包括任何合适的有形(并且非瞬态的)计算机可读介质例如RAM、ROM、EEPROM等的存储器104实施计算设备的配置操作的程序组件。在该示例中，计算设备101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口组件112以及其它存储器114。

网络设备110可表示便于网络连接的一个或多个任何组件。示例包括但不限于有线接口诸如以太网、USB、IEEE 1394和/或无线接口诸如IEEE802.11、蓝牙或用于访问蜂窝电话网的无线电接口(例如，访问CDMA、GSM、UMTS或其它移动通信网络的收发器/天线)。

I/O组件112可用于便利对设备的连接，诸如一个或多个显示器、键盘、鼠标、扬声器、麦克风、相机(例如，移动设备上的向前和/或向后相机)和/或用于输入数据或输出数据的其它硬件。存储器114表示永久性存储器诸如磁、光、或包括在设备101中的其它存储介质。

音频/视频输出设备115包括配置为从处理器102接收信号并将音频或视频输出提供至用户的一个或多个设备。例如，在一些实施例中，音频/视频输出设备115可包括显示器，诸如触屏显示器、LCD显示器、等离子显示器、CRT显示器、投影显示器或本领域公知的某些其它显示器。进一步地，音频/视频输出设备可包括配置为输出音频至用户的一个或多个扬声器。

系统100进一步包括触摸表面116，在此示例中，被集成在设备101中。触摸表面116表示配置为感测用户触摸输入的任何表面。一个或多个传感器108可配置为当物体接触触摸表面时检测触摸区域中的触摸并通过处理器102提供用于使用的合适的数据。可使用任何适当数量、类型或排列的传感器。例如，电阻和/或电容式传感器可嵌入触摸表面116中并用于确定触摸的位置和其它信息，例如压力。作为另一示例，具有触摸表面视图的光传感器可用于确定触摸位置。在一些实施例中，传感器108和触摸表面116可包括触摸屏或触摸板。例如，在一些实施例中，触摸表面116和传感器108可包括安装在显示器之上的触摸屏，该显示器被配置为接收显示信号并输出图像至用户。在其它实施例中，传感器108可包括LED检测器。例如，在一个实施例中，触摸表面116可包括安装在显示器侧面的LED手指检测器。在一些实施例中，处理器与单个传感器108通信，在其它实施例中，处理器与多个传感器108通信，例如，第一触摸屏和第二触摸屏。在一些实施例中，一个或多个传感器108进一步包括配置为检测移动设备移动的一个或多个传感器(例如，加速度计、陀螺仪、相机、GPS或其它传感器)。这些传感器可配置为检测设备在X、Y或Z面中移动的用户交互。传感器108被配置为检测用户交互，并且基于用户交互，发送信号至处理器102。在一些实施例中，传感器108可配置为检测用户交互的多个方面。例如，传感器108可检测用户交互的速度和压力，并将此信息并入界面信号中，进一步地，在一些实施例中，用户交互包括设备外的多维用户交互。例如，在一些实施例中，与该设备关联的相机可配置为检测用户移动，例如，手、手指、身体、头、眼睛或脚部动作或与其它人或物体的交互。

在一些实施例中，输入可包括姿势(gesture)。姿势是传达含义或用户意图的身体的任何移动。应当认识到，简单的姿势可组合以形成更复杂的姿势。例如，将手指与触敏面接触可称作“放上手指”姿势，而将于指从触敏面移开可称作单独的“拿开手指”姿势。如果“放上手指”和“拿开于指”姿势之间的时间相对短，则组合的姿势可称作“轻敲”；如果“放上手指”和“拿开手指”姿势之间的时间相对长，则组合的姿势可称作“长轻敲”；如果“放上手指”和“拿开手指”姿势的二维(x，y)位置之间的距离相对大，则组合的姿势可称作“滑动”；如果“放上手指”和“拿开手指”姿势的二维(x，y)位置之间的距离相对小，则组合的姿势可称作“拖尾”、“模糊”或“闪烁”。任何数量的二维或三维简单或复杂姿势都可以任何方式组合以形成任何数量的其它姿势，包括但不限于，多个手指接触、手掌或第一接触，或接近该设备。姿势还可为由具有加速度计、陀螺仪或其它运动传感器的设备识别并转换为电子信号的手移动的任何形式。这种电子信号可激活动态效果，例如摇动虚拟筛子，其中传感器捕获生成动态效果的用户意图。

在此示例中，与处理器102通信的触觉输出设备118耦合至触摸表面116。在一些实施例中，触觉输出设备118被配置为响应于触觉信号输出模拟触摸表面上的纹理的触觉效果。另外或可替选地，触觉输出设备118可提供以受控方式移动触摸表面的振动触觉效果。一些触觉效果可利用耦合至该设备外壳的致动器，并且一些触觉效果可依次和/或同时使用多个致动器。例如，在一些实施例中，表面纹理可通过以不同频率振动该表面进行模拟。在该实施例中，触觉输出设备118可包括一个或多个，例如压电致动器、电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转聚合电机(ERM)或者线性谐振致动器(LRA)。在一些实施例中，触觉输出设备118可包括多个致动器，例如ERM和LRA。

在一些实施例中，一个或多个触觉输出设备可配置为在与该设备相关的X、Y或Z面中输出力。在一些实施例中，这些效果可配置为模拟物体在显示器中移动的感觉。例如，在一个实施例中，多维触觉效果可配置为模拟物体(例如如上文论述的应用的张贴物)在X面(左或右)、Y面(上或下)、Z面(进入或离开显示器)中的移动，或者这些面中的向量。这些多维触觉效果可模拟特征。

虽然这里示出了单个触觉输出设备118，但实施例可使用相同或不同类型的多个触觉输出设备以输出触觉效果，例如，在触摸表面上模拟表面纹理。例如，在一个实施例中，压电致动器能够用于以超声频率垂直和/或水平地移动触摸表面116的一部分或全部，例如在一些实施例中通过使用以高于20-25kHz的频率移动的致动器。在一些实例中，诸如偏心旋转聚合电机和线性谐振致动器的多个致动器可单独或同时使用以提供不同的纹理和其它触觉效果。

还在其它实施例中，触觉输出设备118可以使用静电引力，例如通过使用静电表面致动器，以在触摸表面116的表面上模拟纹理。相似地，在其它实施例中，触觉输出设备118可使用静电引力以改变用户在触摸表面116的表面上感觉到的摩擦力。例如，在一个实施例中，触觉输出设备118可包括静电显示器或应用电压和电流代替机械运动以产生触觉效果的任何其它显示器。在该实施例中，静电致动器可包括导电层和绝缘层。在该实施例中，导电层可为任何半导体或其它导电材料，例如，铜、铝、金或银。并且绝缘层可为玻璃、塑料、聚合物、或任何其它绝缘材料。

处理器102可通过应用电信号至导电层来操作静电致动器。电信号可为AC信号，在一些实施例中，导电层与接近或接触触摸表面116的物体电容耦合。在一些实施例中，AC信号可通过高压放大器生成。在其它实施例中，电容耦合可模拟触摸表面116的表面上的摩擦系数或纹理。例如，在一个实施例中，触摸表面116的表面可为光滑的，但是电容耦合可在触摸表面116表面附近的物体之间产生引力。在一些实施例中，改变该物体和导电层之间的引力等级可改变物体移动跨过触摸表面116的表面上的模拟的纹理或改变当该物体移动跨过触摸表面116的表面时感受到的摩擦系数。此外，在一些实施例中，静电致动器可以与传统的致动器结合使用以改变触摸表面116的表面上的模拟纹理。例如，致动器可振动以模拟触摸表面116表面的纹理的改变，并且同时，静电致动器可在触摸表面116的表面上或计算设备101的其它部分上模拟不同的纹理或其它效果(例如，它的外壳或其它输入设备)。

本领域技术人员将认识到多种技术可用于输出触觉效果，诸如改变摩擦系数或模拟表面上的纹理。例如，在一些实施例中，可使用配置为基于来自表面可重配置的触觉衬底(包括但并不限于，例如，纤维、纳米管、电活性聚合物、压电元件、形状记忆合金)或磁流变液的接触改变其纹理的柔性表面层模拟或输出纹理。在另一实施例中，表面纹理可通过提升或降低一个或多个表面特征进行改变，例如，使用变形机制、空气或流体容器、局部变形材料、共振机械元件、压电材料、微机电系统(MEMS)元件、热流体容器、MEMS泵、可变孔隙膜、或者层流调制。

在一些实施例中，通过模拟接近或接触触摸表面116的身体部分，静电致动器可用于生成触觉效果。例如，在一些实施例中，静电致动器可模拟用户手指皮肤内的神经末梢或可以响应于静电致动器的触控笔中的组件。皮肤中的神经末梢，例如，可被模拟并将静电致动器(例如电容耦合)感测为振动或一些更特定的感觉。例如，在一个实施例中，静电致动器的导电层可接收与用户手指的导电部分耦合的AC电压信号。当用户触摸触摸表面116并在触摸表面上移动他或她的手指时，用户可感受到刺痛、颗粒、不平、粗糙、粘性的纹理或一些其它纹理。

转到存储器104，示例性的程序组件124、126和128被描述为示出在一些实施例中设备如何可被配置为提供用户生成的内容编创。在该示例中，检测模块124通过传感器108配置处理器102监视触摸表面116以确定触摸的位置。例如，模块124可采样传感器108以便追踪触摸的存在或不存在并且如果存在触摸则追踪随时间的触摸的位置、路径、速率、加速度、压力、和/或其它特性中的一个或多个。

触觉效果确定模块126表示分析与触摸特性相关的数据以选择要生成的触觉效果的程序组件。例如在一个实施例中，模块126包括基于触摸的位置确定要生成的触觉效果的代码。例如，触觉效果确定模块126可包括一个或多个预先载入的触觉效果，它们可由用户选择。这些触觉效果可包括触觉输出设备118能够产生的任何类型的触觉效果。此外在一些实施例中，模块126可包括配置为操纵触觉效果的特性的程序代码，例如效果的强度、频率、持续时间、占空比、或与触觉效果相关的任何其它特性。在一些实施例中，模块126可包括允许用户例如通过图形用户界面操纵这些特性的程序代码。

此外，在一些实施例中，模块126可包括被配置为基于用户交互确定触觉效果的程序代码。例如，模块126可配置为监视触摸表面116或配置为检测移动设备运动的例如惯性传感器的其它传感器上的用户输入。模块126可检测该输入并基于该输入产生触觉效果。例如，在一些实施例中，模块126可被配置为确定配置为模拟用户交互的触觉效果。

触觉效果生成模块128表示使得处理器102产生并发送触觉信号至触觉输出设备118的程序，它导致触觉输出设备118产生选择的触觉效果。例如，生成模块128可访问存储的波形或命令以发送至触觉输出设备118。作为另一示例，触觉效果生成模块128可接收期望类型的纹理并利用信号处理算法生成适当的信号以发送至触觉输出设备118。作为另一示例，随着触觉效果的目标坐标，期望的纹理可被指示，并且适当的波形被发送至一个或多个致动器以生成该表面(和/或其它设备组件)的适当移动，以提供触觉效果。一些实施例可以同时利用多重触觉输出设备输出触觉效果。例如，纹理的改变可用于模拟跨过某界面上按钮之间的边界，而振动触觉效果模拟该按钮被按压。

取决于计算系统的特定配置，触摸表面可覆盖或可不覆盖(或另外对应于)显示器。在图1B中，示出了计算系统100B的外部视图。计算设备101包括将触摸表面和设备的显示器组合的触控显示器116。触摸表面可对应于显示器外部或实际显示组件上方的一个或多个材料层。

图1C图示了触控的计算系统100C的另一示例，其中触摸表面不覆盖显示器。在该示例中，计算设备101的特征在于触摸表面116可映射至在包含于连接至设备101的计算系统120中的显示器122中提供的图形用户界面。例如，计算设备101可包括鼠标，触控板，或其它设备，而计算系统120可包括桌面或膝上型电脑，机顶盒(例如，DVD播放器、DVR、有线电视盒)或其它计算系统。作为另一示例，触摸表面116和显示器122可置于同一设备中，例如膝上型电脑特征显示器122中触控的触控板。无论是否与显示器集成，这里的示例中的平面触摸表面的描述并不意味着限制。其它实施例包括被进一步配置为提供基于表面的触觉效果的弯曲的或不规则的触控的表面。

图2A-2B图示了用于用户生成的内容编创的设备的示例性实施例。图2A图示了包括计算设备201的系统200的外部视图，该计算设备201的特征在于触控的显示器202。图2B示出了设备201的截面图。设备201可配置为相似于图1A的设备101，虽然为了清晰起见在此视图中没有示出例如处理器、存储器、传感器等组件。

正如在图2B中可以看到的，设备201的特征在于多个触觉输出设备218和额外的触觉输出设备222。触觉输出设备218-1可包括配置为给予显示器202垂直力的致动器，而218-2可横向移动显示器202。在本示例中，触觉输出设备218、222与显示器直接耦合，但应当理解，触觉输出设备218、222可与其它触摸表面耦合，例如位于显示器202上部的材料层。此外，应当理解，一个或多个触觉输出设备218或222可包括如上文所讨论的静电致动器。进一步地，触觉输出设备222可耦合至包含设备201的组件的外壳。在图2A-2B的示例中，显示器202的区域对应于触摸区域，虽然原则可应用于完全与显示器分离的触摸表面。

在一个实施例中，每个触觉输出设备218都包括压电致动器，而额外的触觉输出设备222包括偏心旋转质量电机、线性谐振致动器或其它压电致动器。触觉输出设备222可配置为提供响应于来自处理器的触觉信号的振动触觉效果。振动触觉效果可与基于表面的触觉效果一起利用和/或用于其它目的。例如，每个致动器可一起使用以在显示器202的表面上模拟纹理。

在一些实施例中，触觉输出设备218-1和218-2的每个或两者可包括不同于压电致动器的致动器。任何致动器可包括例如压电致动器、电磁致动器、电活性聚合物、形状记忆合金、柔性的复合压电致动器(例如，包括柔性材料的致动器)、静电和/或磁致伸缩致动器。此外，示出了触觉输出设备222，虽然多种其它触觉输出设备可耦合至设备201的外壳和/或触觉输出设备222可另外耦合。同样地，设备201的特征在于在不同位置耦合至触摸表面的多个触觉输出设备218-1/218-2。

现在转到图3A，图3A包括根据本公开的一个实施例的用于用户生成的内容编创的实施例。图3A中示出的实施例包括计算设备300。如图3A所示，计算设备300包括触屏显示器302。此外如图300所示，多个视频304可供用户选择。视频304可包括任何数量的可用视频，例如本地存储的视频，存储在远程数据库(例如，互联网可访问数据库)上的视频，私人数据库，使用计算设备300上的可用相机捕获的视频，或者一些其它类型的视频。

在图3A所示的实施例中，用户通过姿势可选择视频304中的一个或多个以与该视频进行交互。例如，在图3A示出的实施例中，用户可通过在触摸屏302上作出姿势来与视频304交互。在其它实施例中，用户可通过使用计算机鼠标、触摸板或其它用户接口设备选择该视频以与其交互。一旦用户选择了一个视频，用户可使用本文描述的系统和方法将用户生成的内容应用至该视频。

图3B包括根据本公开的一个实施例的用于用户生成的内容编创的实施例。图3B中示出的实施例包括计算设备350。如图3B所示，计算设备350包括触屏显示器302。如图3B所示，用户已经选择了一个可用视频并正在应用用户生成的内容。

如图3B所示，移动设备350包括示出了视频位置352的时间轴的用户界面。在一些实施例中，视频位置352包括所选视频内的微型帧。位于触摸屏302右侧的视频位置352A可包括位于视频开头的位置。位于触摸屏左侧的视频位置352B可包括朝向视频结尾的位置。用户可作出姿势以选择视频位置352以便放置触觉效果。当用户选择视频位置时显示区域354可示出视频内该位置的放大图像。一旦用户选择了位置，用户可使用本文描述的系统和方法应用例如触觉效果的用户生成的内容至视频中的该位置。如图3B所示，在一些实施例中，视频位置352的该时间轴可在显示区域354中覆盖该视频。

图4A包括根据本公开的一个实施例的用户生成的内容编创的实施例。图4A中示出的实施例包括计算设备400。如图4A所示，计算设备400包括触屏显示器402。如图4A所示，用户可作出姿势以选择该视频内的位置并正在应用触觉效果。如图4所示，用户可选择一个示例的触觉效果404。例如，用户可作出姿势以在与触觉效果404关联的位置处与触摸屏402进行交互以选择该触觉效果。一旦用户分配了该触觉效果，该效果将与该视频内所选择的位置关联。

如图4A所示，用户可选择多个不同类型的可用触觉效果404中的一个。例如，如图4A所示，用户可从种类繁多的触觉效果中作出选择，诸如触觉效果、基于情绪的效果、或者基于动作的效果。此外，这些效果可包括，例如，上升、下降、隆起、强烈撞击、双击、纹理、摩擦、心跳、闪烁、惊讶、哇哦、天使、欢呼、嗖、弹出、嘭、砰、撞碎、震击、或可通过使用振动生成的一些其它类型的触觉效果、基于表面的效果、表面变形、或本领域公知的其它类型的触觉效果。

在其它实施例中，用户可创建触觉效果。例如，用户可通过与该设备进行姿势交互(例如，摇动该设备或按压该设备上的位置)创建触觉效果。此姿势可通过移动设备上的一个或多个传感器(例如，心率传感器、加速度计或配置为检测运动的传感器)捕获并转换成触觉效果。此外，在一些实施例中，用户可应用多个触觉效果至该视频中的单个位置或多个位置。

此外，在一些实施例中，移动设备400可包括程序代码以显示配置为允许用户操纵触觉效果的特性的用户界面，例如，效果的强度、频率、持续时间、占空比或与触觉效果关联的任何其它特性。这可允许用户采用预先存在的触觉效果并为特定视频个性化该效果，例如用户意欲与其它用户分享的视频。

图4B包括根据本公开的一个实施例的用于用户生成的内容编创的一个实施例。图4B中示出的实施例包括计算设备450。如图4B所示，计算设备450包括触屏显示器402。如图4B所示，用户已经选择了视频中的位置并作出了姿势以将触觉效果置于该视频内。在图4B示出的实施例中，用户可精细调整视频中触觉效果的位置。例如，如图4所示，用户可作出姿势以向前推动触觉效果(例如，将效果前移很小的量，例如0.2秒)或向后推动触觉效果(例如，将效果后移很小的量，例如0.2秒)。用户还可从视频中删除该效果。

此外，如图4B所示，通过与视频的长度相比，特征454示出了触觉效果的持续时间。在图4B示出的实施例中，特征454包括具有与整个视频长度相比的触觉效果持续时间匹配的长度的覆盖物。因此，例如在图4B示出的实施例中，视频可包括多倍于由特征454表示的效果的持续时间的持续时间。在一些实施例中，用户可增加或减少触觉效果的持续时间并且特征454的可比较的长度可具有相应的改变。

图5A包括根据本公开一个的实施例的用户生成的内容编创的一个实施例。图5A中示出的实施例包括计算设备500。如图5A所示，计算设备500包括触屏显示器502。在图5A示出的实施例中，用户正在应用张贴物或标签至该视频中的位置。该张贴物可包括已经创建并且通过内容编创界面可由用户使用的动画或图形。在图5A中这些张贴物显示为张贴物504。在一些实施例中，该张贴物可包括由用户创建的图形或动画，或者可选的音频效果。例如，用户可输入单独的图画模式，其中用户可画出新的张贴物，例如使用画图应用的插件，或例如通过添加文字或动画至张贴物修改已有的张贴物。

在图5示出的实施例中，用户通过执行与应用触觉效果至该视频时用户执行的动作相似的动作可应用该张贴物至视频中的位置。例如，在图5示出的实施例中，用户可应用心形张贴物至视频内的位置。在一些实施例中，此位置可与关联的触觉效果的位置相同。例如，用户可在该视频中应用心形张贴物以及也应用配置为在同一位置处模拟跳动心脏的触觉效果。在其它实施例中，用户可应用该张贴物至并不与触觉效果关联的位置处。此外，在一些实施例中，用户可在可以或不可以与相应触觉效果关联的位置处应用多个张贴物。

图5B包括根据本公开的一个实施例的用户生成内容编创的实施例。图5B中示出的实施例包括计算设备550。如图5B所示，计算设备550包括触屏显示器502。在图5B示出的实施例中，用户已经选择并分配了一个或多个触觉效果以及一个或多个张贴物。在图5B示出的实施例中，随后用户可观看该视频。在视频内已分配的位置处，计算设备550将输出触觉效果并显示该张贴物。另外，在一些实施例中，用户可分享视频以及关联的触觉数据。例如，在一个实施例中，用户可分享包括嵌入的触觉数据的视频文件。在另一实施例中，用户可分享视频文件，并也分享包括该触觉数据的触觉轨道。

用于用户生成的内容编创的示例性方法

图6是根据一个实施例执行用于用户生成的内容编创的方法的步骤的流程图。在一些实施例中，图6中的步骤可以由处理器执行的程序代码实现，例如通用计算机、移动设备或服务器中的处理器。在一些实施例中，这些步骤可由一组处理器执行。在一些实施例中，图6中示出的一个或多个步骤可省略或以不同的次序执行。相似地，在一些实施例中，图6中未示出的额外步骤也可执行。下文的步骤将参考上文关于图1所示的计算设备100描述的组件进行描述。

当计算设备100接收视频信号时，在步骤602处方法600开始。该视频信号可包括从远程数据库接收的视频信号(例如，互联网可访问的数据库)、本地存储的视频信号，例如诸如存储器104或存储装置114的数据存储器、或者使用计算设备101上的相机捕获的视频。

然后，处理器102显示用户界面604。在一些实施例中，处理器可在显示器上显示用户界面，例如计算设备101的触屏显示器。该用户界面可包括上文关于图3A-5B描述的类型的触控的用户界面。该用户界面包括触控的功能以允许根据本文描述的实施例的用户生成的内容编创。例如，用户界面包括用于视频选择、触觉效果选择、触觉效果调整、触觉效果放置、触觉效果创建、张贴物选择、张贴物放置、张贴物修改、视频存储和播放视频的界面。在一些实施例中，用户可通过作出姿势，例如与用户界面关联的姿势选择视频。

然后处理器102检测与触觉效果606关联的姿势。在一些实施例中，姿势可包括使用触摸表面116的用户输入。在一个实施例中，此姿势可选择预先存在的触觉效果，例如触屏显示器的表面上的姿势。在一些实施例中，此姿势可包括由一个或多个传感器108检测并由处理器102转换为触觉效果的姿势。如上文所论述的，该设备可包括配置为检测移动设备的移动的一个或多个传感器以及配置为检测表面交互的传感器。用户可在该设备的表面上作出姿势(例如触摸、轻敲或滑动)该用户还可使用该设备作出姿势(例如，移动设备通过空间、倾斜、转动、摇动或旋转该设备等)。这些姿势可由传感器捕获。该传感器然后可发送与该姿势关联的信号至处理器。此外，在一些实施例中，该姿势可包括由该设备的相机捕获的姿势(例如，移动设备的向前或向后相机或远程相机)。该相机可捕获此姿势并发送与该姿势相关的信号至处理器102。如进一步参考步骤608所论述的，该处理器可确定配置为模拟该姿势的一个或多个触觉效果。

然后该处理器确定触觉效果608。在一些实施例中，该处理器102可基于用户选择确定触觉效果。例如，如关于图4A所论述的，用户可选择可用的触觉效果。例如，计算设备101的数据存储可包括与用户可选择的多个触觉效果关联的数据。此外，用户可调整与该触觉效果关联的特性。例如，用户可修改持续时间、频率、强度或与该触觉效果关联的一些其它特性。在一些实施例中，处理器102可自动选择触觉效果。例如，在一些实施例中，处理器102可选择与视频内发生的事件关联的触觉效果。这些事件可包括视觉事件或音频事件。例如，处理器102可将触觉效果和发生的动作事件相关联，例如在速降滑雪者的视频中处理器10可确定与每次滑雪者的碰撞关联的触觉效果。可替选地，处理器可检测与该视频关联的尖锐的声音，例如滑雪视频中发令枪的开火，并将触觉效果与此声音关联。

在一些实施例中，处理器102可基于视频信号中的图像确定触觉效果，而不考虑视频信号中的音频。在其它实施例中，处理器102可使用该信号中的音频以确定该触觉效果，而不使用该视频信号的图像组件。在一些实施例中，处理器102可使用视频信号的视频和音频部分两者。此外，在一些实施例中，处理器102可接收单独的音频和视频流并一起使用或分开使用两者以确定该触觉效果。

在一些实施例中，处理器102可基于该姿势创建新的触觉。例如，用户可通过与该设备交互创建触觉效果(例如摇动该设备或按压该设备上的位置)。此交互可由该移动设备上的一个或多个传感器108捕获并转换为触觉效果。例如，在一个实施例中用户可通过剧烈摇动该设备创建新的触觉效果。此摇动可由惯性传感器检测。该处理器102可使用来自惯性传感器的信号确定被配置为模拟该设备被剧烈摇晃的触觉效果。在一些实施例中，处理器102基于与用户交互关联的特性确定触觉效果。例如，处理器102可基于用户交互的类型、位置、持续时间或其它特性确定触觉效果。此外，处理器102可确定多维触觉效果。例如，处理器102可确定在Z面中输出力的触觉效果以模拟将设备向下移动的姿势。此外，处理器还可确定在X或Y面(例如，触摸屏表面上的基于表面的效果)中输出的触觉效果以模拟触摸屏的表面上的姿势。在一些实施例中，这些触觉效果可模拟该视频中的物体(例如，由用户添加的张贴物或该视频中已有的物体)移动的感觉。例如，该触觉效果可模拟物体从左向右、从上到下、从前至后的移动、运动时的倾斜或移入或移出显示器。在一些实施例中，这些触觉效果可对应于显示器上的视觉效果，例如与视频中张贴物关联的动画。

例如，在一个实施例中，通过轻敲触摸屏左侧上的物体然后将该物体向触摸屏的右侧移动，用户可创建配置为模拟该物体从左向右移动的感觉的触觉效果。处理器可确定配置为模拟“大量”物体从显示器左侧移动至显示器右侧的触觉。

在一些实施例中，计算设备101可存储关联的“触觉简档”，其中用户可确定其想要可用的触觉效果的“简档”并存储在存储器104中。例如，在一个实施例中，用户可从选项列表中选择用户想要插入视频中的触觉效果。

在一些实施例中，处理器102可部分地基于计算设备101上可用的触觉输出设备118确定触觉效果。在一些实施例中，处理器102可基于与计算设备101关联的带宽限制确定触觉效果。例如，在一些实施例中，计算设备101可仅包括一个触觉输出设备118。在该实施例中，处理器102可确定一次要输出的一个触觉效果。在其它实施例中，计算设备101可包括多个触觉输出设备118。在该实施例中，处理器102可确定要输出的多个重叠的触觉效果。此外，在该实施例中，处理器102可确定复合的触觉效果，该触觉效果通过由触觉输出设备118同时输出的两个或更多个触觉效果的组合生成的调和函数输出。

然后，处理器102将触觉效果与视频信号610关联。正如上文关于图3B和4B所论述的，用户可选择视频内的位置以放置该触觉效果。此位置可与视频中的事件关联。例如，用户可选择触觉效果以发生在视频中的特定时刻。例如，在上文论述的实施例中，其中该视频包括速降滑雪者的视频，该用户可将触觉效果与其中滑雪者撞击其它物体的位置关联。这些触觉效果可提升观看视频的体验。此外，在一些实施例中，处理器102可配置为自动选择视频内的位置以放置触觉效果。例如，处理器可配置为检测诸如动作、过渡、移动或与视频关联的其它特性的特征并将触觉效果放置在与那些特征关联的位置处。

然后，处理器102将张贴物与视频信号612进行关联。如上文关于图5A所论述的，用户可选择张贴物并也选择其中该张贴物出现在视频中的位置。如上文所论述的，用户可选择预先存在的张贴物。可替选地，用户可创建新的张贴物。例如，处理器可显示创建新的张贴物的界面。此界面可包括用于绘制和修改该张贴物的特征。此外，在一些实施例中，用户可通过应用文字、动画或其它特征至该张贴物修改存在的张贴物。

然后，处理器102存储该视频信号、触觉效果和张贴物614。在一些实施例中，处理器可将这些组件的每一个存储在单个文件中，例如，MP4文件。在其它实施例中，可使用任何已知的视频文件格式，例如MP2传输流、HD直播流、一个或多个类型的MPEG或本领域公知的其它视频格式。在一些实施例中，处理器可存储该视频信号、触觉效果和张贴物在分离的文件中。例如，该处理器可创建与视频文件同步的触觉轨道。

然后，处理器102输出视频、张贴物以及触觉效果。视频和张贴物可使用显示器输出。在一些实施例中，张贴物可包括回放期间在视频内移动的动画张贴物。在其它实施例中，张贴物可包括不移动的固定张贴物，例如，张贴物可包括文本框。

为了输出触觉效果，处理器102可发送与触觉效果关联的触觉信号至输出触觉效果的触觉输出设备118。该触觉效果可包括纹理(例如，沙粒、不平或平滑)、振动、感知的摩擦系数的改变、温度的改变、抚摸的感觉、电触觉效果、或变形(即，与计算设备101关联的表面的变形)。

另外或可替选地，在一些实施例中，计算设备101可在显示器上输出声音和/或信息。该声音和/或信息可与该物体和/或功能的特性关联。

用户生成的内容编创的优点

用户生成的内容编创具有大量优点。例如，对视频的触觉增强可为创造性的内容创建开拓途径。动画张贴物或仅为触觉的和增强的动画张贴物的组合可为用户在视频创建中的表达进一步提供额外的出路。此外，将触觉增强用作添加至动画覆盖概念(例如电影内的动画张贴物)的额外的特征可进一步提升用户体验。

本公开的一些实施例可作为第三方应用的组件或设备上应用的组件被实现。在一些实施例中，本文公开的系统和方法还与多种设备兼容，例如，视频或触觉轨道可为独立平台并因此一旦创建后能够在任何设备上播放。

通用考虑

上文论述的方法、系统和设备是列举的示例。多种配置可被适当地省略、代替或添加多种步骤或组件。例如，在可替选的配置中，该方法可以不同于描述的顺序执行，和/或多个阶段可被添加、省略、和/或组合。同时，关于某些配置描述的特征可组合在多种其它配置中。配置的不同方面和要素可以相似的方式进行组合。而且技术在发展，因此很多要素是示例性的并不限制本公开或权利要求的范围。

特定细节在说明书中被给出以提供对示例配置(包括实施方式)的彻底理解。然而，配置可不使用这些特定细节进行实践。例如，公知的电路、工艺、算法、结构和技术已经示出并且没有给出不必要的细节以避免使该配置模糊。此说明书仅提供了示例性的配置，并不限制权利要求的范围、应用或配置。相反，该配置的在前说明将提供给本领域技术人员用于实现描述的技术的可用说明。在要素的功能和安排中作出多种改变并不脱离本公开的精神或范围。

同时，配置可描述为过程，该过程被描述为流程图或框图。虽然上述均可能将操作描述为顺序的过程，但是很多操作可并行或同时执行。此外，操作的顺序可被重新安排。过程可具有并不包含在附图中的额外步骤。此外，方法的示例可通过硬件、软件、固件、中间件、微代码、硬件描述语言、或它们的组合实现。当通过软件、固件、中间件或微代码实现时，执行必要任务的程序代码或代码片段可存储在非瞬态计算机可读介质中，诸如存储介质。处理器可执行所述任务。

已经描述的多种示例性配置，多种修改，可选择的建设以及等同物可以使用且并不脱离本公开的精神。例如，上述要素可为大型系统的组件，其中其它规则可在本发明的应用中占首要地位或者修改本发明的应用。而且，可在上文所考虑的要素之前、之中或之后经历多个步骤。相应地，上述说明并不限制本权利要求的范围。

本文使用的“适于”或“配置为”是指开放和包容的语言，它并不排除适于或配置为执行额外任务或步骤的设备。此外，使用的“基于”同样是开放和包容的，这样“基于”一个或多个列举的条件或数值的过程、步骤、计算或其它动作实际上可基于除了那些列举的条件外的额外条件或数值。本文包括的标题、列表和编号目的仅在于易于解释并不意味着限制。

根据本主题多个方面的实施例可在数字电子电路、计算机硬件、固件、软件或它们的组合中实现。在一个实施例中，计算机可包括一个或多个处理器。处理器包括或可访问计算机可读介质，例如耦合至处理器的随机访问存储器(RAM)。该处理器执行存储在存储器中的计算机可执行的程序指令，例如执行包括传感器采样例程、选择例程、以及其它例程的一个或多个计算机程序以执行上文所述的方法。

这种处理器可包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及状态机。这种处理器可进一步包括可编程电子设备诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)或其它相似的设备。

这种处理器可包括，或可与诸如有形计算机可读介质的介质通信，该介质可存储指令，当指令由处理器执行时可导致处理器执行本文所述的步骤，正如由处理器执行或辅助的那样。计算机可读介质的实施例可包括但并不限于处理器能够提供的所有的电子、光、磁或其它存储设备，诸如网络服务器中的处理器提供的计算机可读指令。介质的其它示例包括但并不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有的光学介质、所有的磁带或其它磁介质、或从计算机处理器可读取的任何其它媒介。而且，各种其它设备可包括计算机可读介质，诸如路由器、私人或公众网络、或其它传输设备。描述的该处理器以及处理可是一种或多种结构，并且可分散至一种或多种结构。该处理器可包括执行本文所述的一个或多个方法(或方法的一部分)的代码。

虽然本主题已经关于其特定实施例进行了详细描述，应当理解本领域技术人员基于对上述内容的理解可容易地对这些实施例作出选择、改变和等同物。相应地，应当理解本公开已经为了示例而非限制的日的进行了呈现，并不排除包括本主题的这些对本领域技术人员来说显而易见的修改、改变和/或添加。