具有活动元素的两手指触摸触发选择和变换的手持式设备

本申请是2011年11月21日进入PCT国家阶段并且国家申请号为201080022119.9的专利申请的分案申请。

优先权利益要求

本申请要求2009年5月21日提交的美国临时专利申请号61/180,400的优先权权益，其全部内容通过引用结合到本文中。

本申请要求2009年10月07日提交的美国专利申请号12/574,860的优先权权益，其全部内容通过引用结合到本文中。

相关申请的交叉引用

本申请涉及2009年 10月07日提交、题为“CONTINUOUS AND DYNAMIC SCENE DECOMPOSITION FOR USER INTERFACE”的授予Charles Nicholson和Gary M. Zalewski的共同转让共同待决申请号12/574,828（代理人档案号SCEA09022US00），其全部内容通过引用结合到本文中。

本申请涉及2009年 10月07日提交、题为“HAND-HELD DEVICE WITH ANCILLARY TOUCH ACTIVATED ZOOM” 的授予Charles Nicholson和Gary M. Zalewski的共同转让共同待决申请号12/574,838（代理人档案号SCEA09022US00），其全部内容通过引用结合到本文中。

本申请涉及2009年 10月07日提交、题为“HAND-HELD DEVICE WITH ANCILLARY TOUCH ACTIVATED TRANSFORMATION OF ACTIVE ELEMENT”的授予Charles Nicholson和Gary M. Zalewski的共同转让共同待决申请号12/574,846（代理人档案号SCEA09021US00），其全部内容通过引用结合到本文中。

本申请涉及2009年 10月07日提交、题为“ TOUCH SCREEN DISAMBIGUATION BASED ON PRIOR ANCILLARY TOUCH INPUT”的授予Charles Nicholson和Gary M. Zalewski的共同转让共同待决申请号12/574，851（代理人档案号SCEA09022US00），其全部内容通过引用结合到本文中。

本申请涉及2009年10月07日提交、题为“TOUCH CONTROL WITH TWO-FINGER TOUCH TRIGGERED SELECTIONDYNAMICALLY DETERMINED BUFFER REGION AND TRANSFORMATION OF ACTIVE ELEMENTS” filedPERIMETER”的授予Charles Nicholson和Gary M. Zalewski的共同转让共同待决申请号12/574,857（代理人档案号SCEA09023US00），其全部内容通过引用结合到本文中。

本申请涉及2009年10月07日提交、题为“DYNAMIC RECONFIGURATION OF GUI DISPLAY DECOMPOSITION BASED ON PREDICTIVE MODEL”的授予Charles Nicholson和Gary M. Zalewski的共同转让共同待决申请号12/574,869（代理人档案号SCEA09043US00），其全部内容通过引用结合到本文中。

本申请涉及2009年10月07日提交、题为“CUSTOMIZATION OF GUI LAYOUT BASED ON HISTORY OF USE”的授予Charles Nicholson和Gary M. Zalewski的共同转让共同待决申请号12/574,887（代理人档案号SCEA09044US00），其全部内容通过引用结合到本文中。

技术领域

本发明的实施例涉及手持式设备，并且更特别地涉及利用视觉显示器和触摸接口的手持式设备。

背景技术

诸如蜂窝式电话、便携式因特网设备、便携式音乐播放器以及手持式游戏设备的手持式消费者电子设备常常包括某种形式的视觉显示器，诸如平面屏幕视频显示器或触摸屏显示器。触摸屏是还具有检测显示区域内的触摸位置的能力的显示器。这允许显示器被用作输入设备，去除作为主输入设备以便与显示器的内容相交互的键盘和/或鼠标。此类显示器可以被附着于计算机或作为终端附着于网络。触摸屏还帮助个人数字助理（PDA）、卫星导航和移动电话设备的设计方面的最新变化，使得这些设备更加可用。

自从由Samuel C. Hurst博士发明电子触摸接口以来，触摸屏已经变得普遍。其在零售环境中、销售点系统上、自动出纳机（ATM）上和其中有时使用触摸笔来操纵图形用户接口（GUI）并输入数据的PDA上已变得常见。智能电话、PDA、便携式游戏控制器和许多类型的信息设备的流行驱动了对触摸屏的需求和接受。

在手持式设备中使用的视觉显示器与计算机屏幕或电视屏幕相比是相对小的。这常常使得难以看到在屏幕上显示的信息。某些手持式设备允许显示器在较大图像的所选部分上放大，使得可以将所选部分放大并更详细地观看。为了实现此类变焦特征，通常要求手持式设备实现选择要放大的部分的某种方式。现有技术解决方案包括使用作为视觉显示器的触摸屏和允许用户用来用其手指或触摸笔来选择要放大的显示部分的软件。遗憾的是，由于屏幕是小的，所以用户的手指常常使要选择的部分混淆，使选择变得困难。

本发明的实施例在这种上下文下出现。

附图说明

通过考虑结合附图的以下详细说明，能够容易地理解本发明的讲授内容，在附图中：

图1A是举例说明手持式设备的视觉显示器上的包含活动元素的内容的一部分的示意图。

图1B是举例说明依照本发明的实施例的在图1A中的设备上显示的那部分内容到对应于活动元素的敏感区域的分解的示意图。

图1C～1I是可以结合本发明的实施例使用的可能手持式设备的示意图。

图2A是根据本发明的实施例的手持式设备的侧视图。

图2B是根据本发明的实施例的手持式设备的方框图。

图3A是举例说明根据本发明的实施例的手持式设备的操作的流程图。

图3B是举例说明根据本发明的实施例的所选显示活动元素的放大的手持式设备的三维示意图。

图4A是举例说明根据本发明的实施例的手持式设备的操作的流程图。

图4B是举例说明根据本发明的实施例的手持式设备上的用触摸板选择活动元素的三维示意图。

图4C是举例说明响应于触摸板的相应区域的激活放大活动元素的平面示意图。

图4D是举例说明根据本发明的实施例的使用触摸板选择性放大在手持式设备的显示器上呈现的内容的一部分的三维示意图。

图5是举例说明依照本发明的实施例的在视觉显示器上呈现的活动元素的变换的示例的手持式设备的平面示意图。

图6A～6E是根据本发明的实施例的不同操作阶段处的手持式设备的平面示意图。

图7A～7E是根据本发明的实施例的不同操作阶段处的手持式设备的平面示意图。

图8A～8C是根据本发明的实施例的不同操作阶段处的具有触摸屏的手持式设备的平面示意图。

图9A是举例说明根据本发明的实施例的手持式设备的操作的流程图。

图9B是举例说明显示内容的分解如何可以随着后续动作概率的改变而变的示例的平面示意图。

图10A是举例说明根据本发明的实施例的手持式设备的操作的流程图。

图10B～10C是根据本发明的实施例的不同操作阶段处的手持式设备的平面示意图。

具体实施方式

虽然以下详细说明出于例示的目的包含许多特定细节，但本领域的普通技术人员应认识到对以下细节的许多变化和更改在本发明的范围内。因此，在没有对主张要求的发明的一般性的任何损失且不对其施加限制的情况下阐述下述本发明的示例性实施例。

用于用户接口的连续和动态场景分解

根据本发明的某些实施例，可以将要在手持式设备上呈现的内容分解成填充显示屏的面积的许多区域。可以使每个区域与在屏幕上显示的内容的不同活动元素相关联。可以将这些区域映射到设备上的用户接口的相应触摸敏感区域。每个触摸敏感区域对应于不同的活动元素。在某些实施例中，用户接口可以是与显示屏分离的触摸板。在其它实施例中，显示屏可以是触摸屏且用户接口因此可以是显示屏的一部分。根据触摸屏的类型，用户可以用用户手指的触摸或通过用触摸笔触摸屏幕来与触摸屏相交互。

举例来说且不是以限制的方式，将在手持式设备上呈现的诸如网页的内容分解成许多区域。可以使每个区域与所显示的不同活动元素相关联。可以将设备背面上的触摸板的整个面积划分成触摸敏感区域。每个触摸敏感区域可以对应于不同的活动元素。可以通过在浏览器呈现的html画布上执行Voronoi分解来将显示的网页拆分成用于背面触摸的活动区域。用户然后可以通过触摸背面触摸上的相应区域来“选择”在正面屏幕上显示的活动元素中的一个。由于背面触摸上的每个区域比所显示的活动元素大得多，所以使用背面触摸比使用正面触摸屏更容易选择活动元素。

通过更详细的示例，可以通过在浏览器呈现的html画布上执行通常称为棋盘格布置（tessellation）的数学分解来将诸如网页的html文档形式的内容分解成用于背面触摸的活动区域。html画布确定如何在屏幕上显示html文档。棋盘格布置将要显示的那部分文档划分成分割屏幕面积的有限数目的区域。每个区域对应于要在屏幕上显示的那部分文档中的活动元素。根据一个实施例，可以将这些区域映射到触摸板的相应触摸敏感区域。用户然后可以通过触摸触摸板上的相应触摸敏感区域来“选择”在正面屏幕上显示的活动元素。作为棋盘格布置的结果，每个触摸敏感区域可以明显大于在屏幕上显示的相应活动元素。因此，在屏幕是触摸屏的情况下，使用触摸板可以比触摸屏更容易选择活动元素。

存在可以用来执行棋盘格布置的许多不同方式。通常，优选的是棋盘格布置将文档的显示部分划分成凸起区域。举例来说且不以限制的方式，可以将显示部分到凸起区域的棋盘格布置实现为Voronoi分解，有时也称为Voronoi棋盘格布置、Voronoi图或Dirichlet棋盘格布置。Voronoi分解是由到空间中的对象的指定离散集的距离、例如由离散点集确定的度量空间的一种分解。在最简单的情况下，平面包含称为Voronoi地点（site）的一组点S。每个Voronoi地点s具有Voronoi单元，也称为Dirichlet单元V(s)，其由比到任何其它地点更接近的s的所有点组成。Voronoi图的各段（即，Voronoi单元的边缘）是到两个地点等距离的平面中的所有点。Voronoi节点（即，两个边缘相遇处的单元拐角）是到三个（或更多）地点等距离的点。

活动元素的变换可以是上下文敏感的。例如，简单地将按钮放大以使得更容易使用触摸屏可能有意义。然而，将滚动条变换成更方便用户在触摸屏上操纵的形式可能更加方便。

作为示例，网页可能正常地在如图1A中描绘的设备屏幕上出现。在本示例中，在设备102的视觉显示器上显示了网页101的一部分。网页101包括活动元素。正如本文所使用的，活动元素指的是用户可以通过适当的用户接口与之相交互的显示网页的一部分。活动元素的非限制性示例包括单选按钮104、文本输入框106、链接108（例如，html链接或网页链接）或滚动条110。网页还可以包括不活动内容，诸如正常文本112或图像。

如图1B中描绘的，可以将显示的网页101的面积分解成对应于单选按钮104的单选按钮区域114、对应于文本输入框106的文本输入框区域106、对应于链接108的链接区域118、以及对应于滚动条110的滚动条区域120。应注意的是不存在对应于文本112的区域，因为在本示例中文本不是活动元素。根据本发明的某些实施例，可以将单选按钮区域114、文本输入框区域116和链接区域118映射到触摸敏感接口上的相应区域。

在某些实施例中，触摸敏感接口可以是作为视觉显示器的一部分的触摸屏。可替换地，触摸敏感接口可以是与视觉显示器分离并远离视觉显示器的触摸板。存在用于视觉显示器和触摸板的许多可能配置。此类配置的可能示例包括其中视觉显示器V和触摸板T在外壳C的同一侧（如图1C所示）、在外壳C的相邻侧（如图1D所示）和在外壳C的相对侧（如图1E所示）的一个。其它示例包括其中视觉显示器V和触摸板T分别位于单独外壳部分C₁和C₂上的配置。举例来说且不以限制的方式，在如图1F所示的滑动配置中、如例如图1G、图1H或图1I所示的铰链配置中，可以将外壳部分C₁、C₂相互连接。在图1F中，当外壳部分C₁和C₂处于闭合位置时，视觉显示器V和触摸板T面朝内。替换地，如图1G所示，当外壳部分C₁和C₂处于闭合位置时，视觉显示器V可以面朝外且触摸板T可以面朝内（或相反）。此外，如图1H所示，当外壳部分C₁和C₂处于闭合位置时，视觉显示器V和触摸板T面朝外。

根据图2A所示的本发明的实施例，手持式电子设备200可以包括具有位于外壳201的主表面225A（在本文中称为前表面）上的视觉显示器202的外壳201。触摸板204可以位于外壳201的另一主表面225B（在本文中称为背表面）上，其与前表面相对。外壳可以具有能够被握在用户手中的足够小的尺寸。

如在图2B中看到的，该设备可以包括控制器203，其组件可以位于外壳201内。控制器203包含被可操作地耦合到视觉显示器202和触摸板204的处理器207。在某些实施例中，如果要实现并行处理，设备200可以包括多个处理器207。可以将设备200配置为供用作游戏设备、电话、便携式媒体播放器、电子邮件设备、网页浏览器设备等。

手持式设备200还可以包括众所周知的支持功能，诸如输入/输出（I/O）元件211、电源（P/S）213、时钟（CLK）215和高速缓存器217。设备200可以可选地包括诸如磁盘驱动器、CD-ROM驱动器、闪速驱动器等的大容量存储设备219以存储程序和/或数据。如图2B所示，设备200的触摸屏202、触摸板204、处理器207、存储器208及其它组件可以经由系统总线220相互交换信号（例如，代码指令和数据）。在某些实施例中，设备200可以包括被配置为允许设备通过网络与其它设备交换信号的网络接口216。此外，手持式设备200可以包括一个或多个传感器218。此类传感器可以包括例如诸如加速度计或倾斜传感器的惯性传感器、光学传感器、诸如麦克风或麦克风阵列的声传感器。传感器可以生成到程序指令210的输入，其反映手持式设备在其中进行操作的环境。

视觉显示器202可以是能够呈现可见符号和/或图形图像的任何适当形式的显示器。举例来说，视觉显示器202可以包括平板显示器，诸如液晶显示器（LCD）或发光二极管（LED）显示器。在某些实施例中，前表面上的视觉显示器202还可以结合触摸板以提供用于接收用户命令的接口。在某些实施例中，触摸板204可以可选地包括视觉显示器。背表面上的触摸板204可以基于任何适当的触摸屏技术，诸如电阻性、表面声波（SAW）电容性、红外线、应变仪、光学成像、分散信号技术、声脉冲识别、受抑全内反射或图形输入板，其基于对用户手指的接近进行响应的磁致收缩技术。如果期望，还可以将这些相同技术中的任何结合到前表面上的视觉显示器202中。在优选实施例中，视觉显示器202包括被耦合到控制器203的电阻性触摸屏且触摸板204包括电容性触摸屏。

举例来说，电阻性触摸屏面板可以由被薄空间分离的包括两个薄金属导电和电阻层的多个层组成。当某个对象触摸这种触摸面板时，该层在某个点处相连。面板然后在电气上与具有相连输出端的两个分压器类似地电子地行动。这引起电流的变化，其被登记为可以发送到处理器207以进行处理的触摸事件。

表面声波技术使用通过触摸屏面板的超声波。当面板被触摸时，波的一部分被吸收。此超声波变化登记触摸事件的位置并将此信息发送到控制器以进行处理。

可以向电容性触摸屏面板涂敷材料，例如跨越传感器传导连续电流的氧化铟锡。因此传感器显示出水平和垂直轴两者中的储存电子的精确受控场。当电容性触摸屏的‘正常’电容场（其基准状态）被例如来自用户手指的外部施加电场改变时，位于面板的每个拐角处的电子电路测量基准场的特性的结果得到的‘失真’并将关于该事件的信息发送到处理器207以进行数学处理。

红外触摸屏面板可以采用两种不同技术中的一个。一个方法使用表面阻力的热致变化。另一方法是垂直的和水平IR传感器阵列，其检测屏幕表面附近的调制光束的中断。

在应变仪配置中，将屏幕弹簧安装在四个拐角上并在屏幕被触摸时使用应变仪来确定偏转。此技术还可以测量屏幕202沿着Z轴的移动。

在基于光学成像的触摸屏技术中，可以在屏幕的边缘（主要是拐角）周围放置两个或更多图像传感器。可以将红外背光放置于在屏幕的其它侧的照相机视场中。触摸作为阴影显示且然后可以对每对照相机作三角测量以对触摸进行定位。

分散信号技术可以使用传感器来检测由于触摸而发生的玻璃中的机械能。复杂的算法然后解释此信息并提供触摸的实际位置。

基于声脉冲识别的触摸屏可以使用位于屏幕的某些位置处的不止两个压电换能器来将触摸的机械能（振动）转化成电子信号。然后可以将此信号转换成音频文件，并且然后与用于屏幕上的每个位置的预先存在的音频分布（audio profile）相比较。

基于受抑全内反射的触摸屏使用全内反射的原理来用光填充折射介质。当手指或其它软对象压紧表面时，内部反射光程中断，使得光在介质外面反射并因此对于介质后面的照相机而言是可见的。

在某些实施例中，设备200可以包括被耦合到控制器203的一个或多个可选按钮以提供附加的输入源。存在用于可选按钮206的许多不同的可能位置。举例来说，并且不失一般性地，可以在前表面225A上、背表面225B上、沿着设备200的侧边缘222或在斜边缘224上定位一个或多个可选按钮206。

手持式设备200还可以包括存储器208（例如RAM、DRAM、ROM等）。诸如存储器208的计算机可读介质可以存储程序指令210以便在处理器207上执行。可以将程序指令210配置为对来自设备上的一个或多个输入源（例如，视觉显示器202、触摸板204或按钮206）或来自被耦合到设备的远程输入源的输入进行响应。程序指令210可以包括被配置为生成在视觉显示器202上显示的图像的显示驱动器指令212。程序210可以包括对从触摸板204接收到的输入进行响应的触摸板驱动器指令213。应注意的是在某些实施例中，可以将视觉显示器202和触摸板204的功能组合成可以充当输入和输出设备两者的单个触摸屏接口。

具有活动元素的辅助触摸激活变换的手持式设备

举例来说且不以限制的方式，在本实施例的一个型式中，手持式电子设备可以具有带有一个或多个主表面的外壳。可以在主表面中的至少一个上设置视觉显示器。可以在主表面中的至少一个上设置触摸接口。可以将处理器可操作地耦合到显示器和触摸接口。可以在显示器上呈现包含内容的图像。可以将内容划分成许多区域。可以使每个区域与所显示的诸如链接或复选框的不同活动元素相关联。可以将触摸接口的整个面积划分成触摸敏感区域。每个触摸敏感区域可以对应于在显示器上显示的不同活动元素。用户可以通过触摸所述触摸接口上的相应区域来选择活动元素。当选择了活动元素时，可以变换其外观和/或操作，使得用触摸接口更容易操作元素。可以将该变换制成动画，使得用户能够容易地看到正在变换哪个活动元素。在用户与变换的活动元素相交互之后，元素可以用反向动画恢复至其原始形式。

存在可以用来触发变换元素的反向（reversion）的许多不同方式。举例来说且不以限制的方式，如果由用户在对应于活动元素的触摸接口204的区域上的触摸来触发该变换，则可以用触摸的去除来触发该反向。

举例来说且不以限制的方式，程序210还可以包括变换指令214，可以例如通过适当的软件编程将其配置为根据一般地在图3A中举例说明的方法来操作设备200。如图3A中的302处所指示的，如上文所讨论的，可以例如用Voronoi分解来将要在显示器202上显示的内容的一部分分解。如在304处所指示的，可以使显示部分内的活动元素与触摸接口的相应部分相关。触摸接口可以是触摸板204或视觉显示器202，如果其包括触摸屏的话。随着用户操纵触摸接口，如在306处所指示的，程序210可以确定用户是否已选择对应于活动元素的触摸接口的任何部分。如果用户选择了这些活动部分中的一个，则然后可以如在308处所指示的在视觉显示器202上呈现相应活动元素的变换视图。

存在可以用来变换活动元素的许多方式。例如，如图3B所示，可以简单地以放大形式314来呈现表示活动元素的图标312。如果视觉显示器202是触摸屏，这允许由用户来更容易地操纵放大形式314。可以将所选活动元素的变换制成动画，使得用户能够容易地看到正在变换哪个活动元素。在用户与变换的活动元素相交互之后，元素可以用反向动画恢复至其原始形式。还可以将重新变换制成动画。在本发明的实施例的范围内存在活动元素变换上的许多变化。下面讨论许多这些内容。

具有辅助触摸激活变焦的手持式设备

在本实施例中，手持式电子设备可以具有带有一个或多个主表面的外壳。可以在至少一个主表面上设置视觉显示器。可以在主表面中的至少一个上设置触摸板。可以将处理器可操作地耦合到视觉显示器和触摸屏。可以将可由处理器执行的指令配置为：a）在视觉显示器上呈现图像；b）响应于与触摸板的用户交互来识别触摸板的活动部分；c）使触摸板的活动部分与显示器的相应区域相关；以及d）在视觉显示器上呈现相应区域的放大视图。作为示例，用户可以在设备背面上的触摸板上滑动其手指。可以将用户手指的位置映射到正面上的显示器的相应区域。可以在显示器上的窗口中显示此区域的放大视图。

如在图4A中的402处所指示的，在本实施例的某些型式中，可以将变换指令214配置为跟踪背表面上的触摸板204的用户操纵。可以在视觉显示器202上呈现图像的相应部分的放大视图。例如，如图4A的流程图中所示，程序210可以例如使用触摸板驱动器213来跟踪触摸板204的用户操纵，如在402处所指示的。具体地，触摸板驱动器213可以确定触摸板204的哪部分412已被用户的触摸激活，如图4B所示。如在404处所指示的，可以使活动部分412与视觉显示器202的相应区域相关。如在406处所指示的，可以在显示器202上显示相应区域414内的内容的放大视图。

在某些实施例中，可以将触摸板204棋盘格布置为对应于显示器202上的活动元素的区域。当用户激活与活动元素相对应的触摸板204的区域中的一个时，如在图4B中所描绘的，可以在触摸屏上将活动元素放大。例如，参考上文相对于图1A～1B所述的示例，如果用户按压对应于链接108的背面触摸区域118，则可以如图4C所示地在触摸屏上显示放大链接418。

在相对于图4A～4B所述的实施例的替换型式中，并不是严格地必须执行内容的显示部分的棋盘格布置或类似分解。替代地，程序210可以简单地跟踪用户对触摸板204的一部分的激活，使被激活的部分与在屏幕上显示的内容的相应区域相关并如图4D所示在相应的区域中呈现内容的放大视图414。这使得用户更容易看到和使用在屏幕上显示的所选活动元素。这还允许在其中视觉显示器也是触摸屏的情况下增强的视觉显示器202的可用性。

应注意的是在本发明的实施例的上下文内，存在一旦已通过触摸接口的相应区域的激活选择了活动元素则可以对其进行变换的许多替换方式。例如除改变活动元素的显示尺寸之外或作为其替代，可以用变换来改变活动元素的外观和/或操作性质。

举例来说，考虑图1A～1B所示的情况。将滚动条110放大可能是不切实际的。还可能难以通过移动小框或在滚动条的末端处的向上或向下箭头上“点击”来以常规方式操纵在小触摸屏上显示的滚动条。作为放大滚动条110的替代，变换可以如图5所描绘的那样发生。在本示例中，可以将滚动条110变换成可以与常规滚动条不同地操作的变换滚动条130。例如，变换滚动条130的滚动速度和方向可以取决于用户例如使用触摸笔将光标132放置在滚动条内的什么位置。这使得更容易在触摸屏上使用滚动条。存在可以用来变换活动元素的外观和/或操作性质的许多方式。例如，可以将复选框变换成扳钮开关，其可能在手持式设备上操作起来更加直观。

基于在先辅助触摸输入的触摸屏歧义消除

在本实施例中，如上文所讨论的，手持式电子设备可以具有带有第一和第二主表面的外壳。可以在第一主表面上设置触摸屏显示器且可以在另一主表面上设置触摸板。在显示器上呈现包含内容的图像。可以将内容划分成许多区域。例如，如上文所讨论的，可以使每个区域与不同活动元素相关联。可以将触摸板的整个面积划分成触摸敏感区域。每个触摸敏感区域对应于在触摸屏上显示的不同活动元素。用户可以通过触摸所述触摸板上的相应区域来选择活动元素。

如上文所讨论的，当选择了活动元素时，可以变换其外观和/或操作，使得用触摸屏更容易操作该元素。如上所述，可以将该变换制成动画，使得用户能够容易地看到正在变换哪个活动元素。在用户与变换的活动元素相交互之后，元素可以用反向动画恢复至其原始形式。例如，当用户通过按压触摸板上的相应区域来选择活动元素时，可以在还充当触摸屏的正面显示器上将活动元素放大。在用户已操纵已变换活动元素之后，已变换元素可以恢复至其正常外观。然而，可以在触摸屏上突出显示被操纵的活动元素，使得用户能够判定哪个活动元素最近被改变。如果用户想要重新使用突出显示的活动元素，则可以通过按在正面触摸屏上的元素的大体面积上来选择该元素。如果用户的手指触摸多个活动元素，则可以将此动作作为突出显示活动元素的激活消除歧义。

举例来说且不以限制的方式，随着被正常地显示，诸如包含多个活动元素（例如复选框602）的网页的内容可以如图6A所示出现在触摸屏显示器202上。可以如图6B所示将显示页面的面积分解为九个不同区域612。

在本示例中，每个复选框区域612被映射到触摸板（未示出）的不同相应区域。触摸板可以位于设备的不同部分上，例如在外壳201的背表面上或者处于某种其它配置，例如，如图1C～1I所描绘的。用户可以通过触摸触摸板上的相应区域来“选择”在触摸屏上显示的九个复选框中的一个。由于背面触摸上的每个面积比显示的复选框大得多，所以复选框更容易让用户选择。当用户通过按压触摸板上的相应区域来选择活动元素时，可以在触摸屏上对活动元素进行放大或另外变换。用户然后能够更容易地看到活动元素和/或使用触摸屏202更容易地与之相交互。

例如，如果用户按压对应于中心复选框602C的触摸板区域612C，则可以如图6C所示地在触摸屏202上显示放大中心复选框622C。还可以将与文本框（例如，关联文本624C）相关联的那部分显示内容放大，使得其更容易阅读。

如果用户想要对中心复选框602C打勾，则可以通过例如使用触摸笔或用户的手指按压在触摸屏202上的相应放大复选框622C上来选择此框。在用户已选择放大中心复选框622C之后，放大复选框622C可以在显示内容上恢复至其正常外观。然而，可以在显示器202上突出显示中心复选框602C，使得用户可以容易地感知中心复选框是如图6D所示的被最新改变的一个。

变换指令214可以基于中心复选框602C是最新被修改的活动元素的事实来过滤来自触摸屏驱动器213的输入。例如，可以将对应于显示活动元素的棋盘格布置区域映射到触摸屏202以及触摸板204。可以将变换指令214配置为过滤对应于这些区域的触摸激活的信号，使得这些区域中的任何一个或多个的用户触摸被解释为显示的最新修改活动元素的触摸。这样，可以基于与显示的活动元素的先前用户交互来对触摸屏上的含糊输入消除歧义。因此，例如，如果用户想要不对将中心复选框602C的打勾，则可以通过按压在被映射到触摸屏202的复选框区域612中的一个或多个来选择或放大此框。即使用户的手指F触摸了多个复选框区域，如图6E所描绘的，变换指令214也可以将此动作解释为中心复选框602C的选择。

存在相对于图6A～6E所述的实施例的许多可能变体。这些变化可以解决与在设备的正面上使用触摸屏且在设备的背面上使用触摸板的手持式设备相关联的未预见的问题。这些问题中的许多可能是由于用户趋向于主要依赖于正面触摸屏而引起的，因为用户手指在背面触摸板上的位置的观看常常被外壳隐蔽。

具有动态确定的缓冲区和活动周界的触摸控制

本实施例处理如何在用户不需要压住例如在背面触摸板上的控制以保持所选元素被放大或加强的情况下在手持式设备的触摸屏上选择多个活动元素的问题。

本发明的某些实施例可以基于模态对话框格式，其使用环绕状态输入触摸场的周界的非响应或不活动区域以及环绕模态对话框的不活动缓冲区的动态按大小排列的接受和取消区域。应注意的是可以在具有单个触摸屏的设备中实现本实施例。虽然不需要两个触摸接口，但在具有两个触摸接口（例如正面触摸屏和背面触摸板）的设备中可以采用本实施例。在本实施例的一个示例中，可以在保留缓冲区的同时基于对话框的尺寸将选择和取消区域动态地设置为一定的厚度。

根据本实施例，可以将在手持式设备的屏幕上呈现的内容划分成许多区域。可以使每个区域与所显示的诸如链接或复选框的不同活动元素相关联。可以将触摸接口（例如将在其上面呈现内容的触摸屏或设备背面上的单独触摸板）的整个面积划分成触摸敏感区域。每个触摸敏感区域对应于不同的活动元素。用户通过触摸相应的触摸敏感区域来选择活动元素。可以在屏幕上显示已变换或已放大活动元素。可以用触摸接口（例如正面触摸屏或背面触摸板）来操纵加强的活动元素。缓冲区围绕加强的活动元素。如果用户触摸触摸接口的此面积，不发生任何事。在缓冲区外面的触摸接口的其余区域被重新确定目的，使得此区域上的触摸能够提交（commit）活动元素的操纵或取消活动元素的操纵。

举例来说且不以限制的方式，如图7A所示在手持式设备的触摸屏上可能正常地显示诸如网页的内容701。在本示例中，显示的内容701包括许多诸如单选按钮702、文本输入框704、链接706和一组复选框708的活动元素及诸如文本710的不活动元素。

如图7B所描绘的，例如，如上所述，活动元素可以是触摸屏或触摸板的相应棋盘格布置区域。具体地，可以将显示的内容701分解成对应于单选按钮702的单选按钮区域712、对应于文本输入框704的文本输入框区域714、对应于链接706的链接区域716以及对应于文本框组708的文本框组区域718。应注意的是不存在对应于文本710的区域，因为在本示例中文本不是活动元素。

用户可以例如通过触摸设备的触摸屏或单独触摸板上的相应区域718来选择复选框组。例如，如图7C所述，然后可以在触摸屏上显示加强的（例如已变换或已放大的）文本框组728。可以使用动画来显示文本框组的变换或放大，使得显而易见的是其为被选择的特定活动元素。文本框组708的变换或放大允许用户更容易地激活触摸屏上的所选复选框。

触摸屏的缓冲区721围绕加强的复选框区域728。可以将程序210配置为使得如果用户触摸缓冲区721，不发生任何事。可以将在缓冲区721外面的触摸屏的其余区域725重新确定目的，使得此区域上的触摸能够提交所选框或取消文本框选择并使文本框离开。例如，如图7D所描绘的，可以将触摸屏的其余区域725A的一侧重新确定目的为“提交”按钮且可以将其余区域725B的另一侧重新确定目的为“取消”按钮。这些区域可以具有不同的阴影且可以在每个区域内显示图标作为对用户的引导。触摸“提交”区域725A执行所选复选框并将加强的文本框区域728恢复至文本框组708的原始形式。触摸“取消”区域725B取消所选复选框的选择并使加强的文本框区域728恢复至文本框组708的原始形式。

可以以保留缓冲器721的方式基于加强的复选框区域728的尺寸来动态地确定其余区域725的厚度。举例来说且不以限制的方式，可以保留缓冲区721，调整其余区域的厚度，使得在加强的复选框区域728周围的缓冲区721的厚度大于或等于某个最小厚度。可以基于与设备的使用容易性有关的某个标准以经验来确定最小厚度。例如，可以将缓冲区的最小厚度确定为降低用户将无意地触摸“提交”区域725A或取消区域725B的可能性。

存在上文相对于图7A～7D所述的实施例的许多可能变体。在一个变体中，手持式设备可以包括惯性传感器（例如，加速度计或倾斜传感器），其可以用来检测设备的倾角以在提交和取消之间切换。用户然后可以触摸重新确定目的的区域725中的任何位置以激活提交或取消。替换地，用户可以通过按压在单独的触摸板上来进行提交或取消，如果设备包括一个的话。可以根据设备以哪种方式倾斜（由来自惯性传感器的信号确定）来在触摸屏上显示“提交”或“取消”按钮。根据本实施例的另一变体，活动元素可以是具有可以使用重新确定目的的区域725来选择的两个操作模式的色彩选择器。例如，色彩选择器可以具有允许用户从有限数目的色彩（例如，16个色彩）之中进行选择的默认模式。通过触摸重新确定目的的区域725，用户可以选择进入允许用户从更多数目的色彩（例如，256个色彩）中进行选择的扩展模式。重新确定目的的区域725可以包括图标或给用户的此扩展模式可用的其它指示。

另一变体解决其中用户使某些信息被复制到有时称为“剪贴板”的临时存储器位置的情况。在常规触摸屏接口中，如果用户需要向文本输入框704中输入信息，则设备将触摸屏的一部分转换成虚拟键盘。在常规手持式设备中，用户必须然后用虚拟键盘来输入文本。这常常是不方便的，特别是如果使用设备来拷贝文本的话。

如图7E所示，根据本发明的实施例，相反，如果用户选择了文本输入框区域714且可以粘贴到文本输入框中的数据已被拷贝，则可以结合加强的文本输入框724在触摸屏上显示特殊图标734。在某些实施例中，可以将触摸屏的一部分重新确定目的为虚拟键盘744，其可以被显示为加强文本输入框724的一部分或与之相结合地显示。用户可以触摸图标734以将存储的文本粘贴到文本输入框704。用户还可以经由虚拟键盘来输入文本。用户然后例如通过与触摸屏或触摸板的交互来使设备返回正常操作。例如，如果通过使用触摸屏触摸文本输入框区域714来选择文本输入框704，则用户可以触摸文本输入框区域714以触发到正常视图的返回。替换地，如果通过在设备背面上的触摸板上触摸并保持文本输入框区域714来选择文本输入框704，则用户可以触摸文本输入框区域714以通过释放其对触摸板的触摸来触发到正常视图的返回以返回到正常操作。此程序避免了不得不提出虚拟键盘以进行文本输入。

虽然上文所述的许多实施例涉及具有正面触摸屏和背面触摸板的设备，但可以在仅利用触摸屏的设备中实现本发明的实施例。

具有活动元素的两手指触摸触发选择和变换的手持式设备

根据本实施例，如上文所讨论的，可以将在手持式设备的显示器上呈现的内容划分成许多区域。可以使每个区域与在显示器上呈现的不同活动元素相关联。显示器的整个面积被划分成对应于触摸接口的触摸敏感区域的区域。每个触摸敏感区域对应于在显示器上显示的不同活动元素。在第一模式下（例如，用单个手指）触摸所述触摸接口正常地操作触摸接口。在另一触摸模式下（例如用两个手指）触摸所述触摸敏感区域中的一个激活对应于该区域的活动元素的加强（例如，变换或放大）。可以任意地定义第一和第二操作模式。然而，在优选实施例中，单个手指触摸正常地操作触摸接口且对应于活动元素的屏幕区域上的两手指触摸发起该元素的加强。

举例来说且不以限制的方式，如图8A所示，在触摸屏803上可能正常地出现诸如网页的内容801。内容801可以包括活动元素，诸如单选按钮802、文本输入框804、链接806和复选框808。还可以显示不活动标准文本810或图像。在常规操作模式下，单个手指触摸正常地操作屏幕。例如，可以将用手指F在触摸屏803的表面上“扫过”解释为将触发显示内容801的滚动的指令。

如上文所讨论的，如图8B所示，可以将显示内容801的面积分解为四个不同区域。这些区域包括对应于单选按钮802的单选按钮区域812、对应于文本输入框804的文本输入框区域814、对应于链接806的链接区域816以及对应于复选框组808的复选框区域818。应注意的是不存在对应于文本810的区域，因为在本示例中文本不是活动元素。

用户然后可以通过用第二触摸模式（例如，两手指触摸）来触摸所述触摸屏上的相应区域而“选择”在触摸屏803上显示的四个活动元素中的一个。由于每个敏感区比所显示的活动元素大得多，所以更容易选择活动元素。当用户通过用两个手指按压触摸屏上的相应区域来选择活动元素时，如上文所讨论的，程序210可以将此动作解释为加强相应活动元素的指令，该活动元素然后可以被加强，例如放大或变换。用户然后能够更容易地看到活动元素和使用触摸屏803更容易地与之相交互。

例如，如图8C所示，如果用户用两个手指F₁、F₂按压用于链接的触摸屏区域816，则可以在触摸屏803上显示加强的链接826。举例来说，加强的链接826可以通过激活链接来显示用户可以导航到的网页或其它内容的预先呈现图像。

本实施例促进观看和使用在屏幕上显示的活动元素。这还允许触摸屏的常规使用的加强。具体地，可以将触摸屏803的活动元素区域中的一个上的两手指触摸解释为等效于设备背面上的触摸板的相应区域上的触摸。与两个不同触摸接口相反，使用两个不同触摸模式可以简化手持式设备的设计并降低设备复杂性和成本。使用两个不同触摸模式，即使设备包括触摸屏和单独触摸板两者，也可以是有利的。双模式触摸屏可以提供附加的灵活性和操作容易性。

在本实施例的某些变体中，程序210可以通过独立地跟踪两个手指F₁、F₂来解释两手指触摸模式动作。例如，如果两个手指F₁、F₂在相同的方向中移动，可以将该移动解释为“扫过”命令。如果两个手指F₁、F₂在不同的方向中移动，则可以将此移动解释为“收缩”命令（pinch command）。

存在本实施例的其它变体。例如，可以使用两手指触摸来触发元素放大/变换且可以将单手指触摸用于滚动，反之亦然。还可以将本实施例与上述其它实施例组合，例如，触摸在显示加强的活动元素的那部分屏幕外面的触摸屏803的重新确定目的的区域可以取消或关闭活动元素。另外，可以将本实施例中的概念扩展至涵盖三个或更多手指的跟踪和使不同的操作命令模式命令与被确定为触摸所述触摸屏和/或触摸板的手指的数目相关联。

可以将本实施例的特征与其它实施例的特征组合。例如，不同触摸模式的使用可以控制上文相对于图4A～4B所讨论的实施例中的活动元素或显示内容部分的放大程度。具体地，可以使放大程度与在触摸模式中使用的手指的数目相关。

基于预测模型的GUI显示分解的动态重配置

在本实施例中，可以将在显示器上呈现的例如网页的内容分解为许多区域，其中的每一个与在显示器上显示的不同活动元素相关联。可以将相关触摸接口的整个面积划分成触摸敏感区与，其中的每一个对应于在显示器上显示的不同活动元素。用户可以通过触摸相应的触摸敏感区域来选择活动元素中的一个。可以根据接下来可能选择哪个活动元素的预测来使该分解歪斜。可以基于用户对设备200的使用历史从预测模型确定该预测。可以随着用户使用设备连续地更新预测模型。在本实施例的某些型式中，分解的“歪斜”可能随着时间的推移衰退成不基于预测的“非歪斜”分解。可以将本文所述的其它实施例的特征与本实施例的特征组合。

举例来说且不以限制的方式，如上所述，程序210还可以包括预测引擎221，可以例如通过适当的软件编程来将其配置为根据一般在图9A中举例说明的方法来操作设备200。如图9A中的902处所指示的，如上所讨论的，可以例如用Voronoi合成来将要在显示器202上显示的内容的一部分分解。如在904处所指示的，可以使显示部分内的活动元素与触摸接口的相应部分相关。触摸接口可以包括触摸板204或视觉显示器202，如果其包括触摸屏的话。随着用户操纵触摸接口，如在906处所指示的，程序210可以可选地确定用户是否已采取动作。举例来说，程序210可以检测到用户已选择对应于活动元素的触摸接口的任何部分。程序210然后可以根据一个或多个后续动作的概率来调整在显示器上显示的内容的分解比例。可以随着时间的推移迭代地重复内容的分解和活动区域到触摸接口的相应部分的相关。举例来说，预测引擎221可以基于在用设备200进行的给定类型的动作之后的用户行为的过去模式来计算用于后续动作的概率。可以使该过去行为与在显示器102上显示的一种内容相关。可以随着用户使用设备200来更新该概率。如在908处指示的，屏幕驱动器212可以根据该概率来重新计算内容的显示部分的分解。触摸板204的结果得到的活动区域的尺寸和/或形状可以由于分解的重新计算而改变。

图9B举例说明显示器的分解如何可以随着后续动作概率的改变而变的示例。举例来说，如图9B所描绘的，设备可以响应于初始用户动作显示诸如网页的内容。在本示例中，在设备102的视觉显示器上显示的例如网页101的显示内容可以包括活动元素，诸如单选按钮104、文本输入框106、链接108（例如，html链接或网页链接）以及滚动条110。内容还可以包括不活动内容，诸如标准文本112或图像。如上所述，可以将显示内容页面101的面积分解成对应于单选按钮104的单选按钮区域114、对应于文本输入框106的文本输入框区域116、对应于链接108的链接区域118、以及对应于滚动条110的滚动条区域120。没有区域对应于文本112，因为在本示例中，文本不是活动元素。可以将单选按钮区域114、文本输入框区域116、链接区域118和滚动条区域120映射到触摸敏感接口上的相应区域。

预测引擎221可以基于过去的用户行为来确定一旦显示了内容101，则用户更可能接下来不使用滚动条110而是单选按钮104。因此，显示驱动器212可以计算内容101的分解，其中，最初使得滚动条区域120较大，并且可以使得单选按钮区域114、文本输入框区域116和链接区域118比在例如通过html画布的棋盘格布置从内容101的简单非偏置分解来确定这些区域的情况下小。显示驱动器212可以依照用户在给定时间帧内可能使用这些区域的相对概率来计算单选按钮区域114、文本输入框区域116、链接区域118和滚动条区域120的相对面积。

用户接下来将使用滚动条110的可能性可以随着时间而变。因此，例如，作为分解和相关过程的重复的结果，滚动条区域120与其它三个区域之间的边界可以随着时间而移动，使得滚动条区域更小且其它三个区域更大，直至边界位于其在根据内容101的简单非偏置分解来确定的情况下将处于的位置。基于可用于预测引擎的关于过去用户行为的信息量，可以有其它变体。例如，随着时间的推移，用户将使用文本框106可以变得更加可能。如果是这样，则文本框区域116可以相对于其它三个区域增大。应注意的是用于每个活动区域的相应概率可能随着时间的推移衰退成非偏置概率。因此，图像的棋盘格布置在这种情况下可能随着时间的推移衰退成非偏置棋盘格布置。

可以将本实施例的特征与本文所述的其它实施例的特征混合。以另一非限制性示例的方式，可以将本实施例的特征与上文相对于图6A～6E所述的特征混合。具体地，可以应用显示内容的分解中的歪斜的衰退，其中，如例如相对于图6E所述的，基于与显示活动元素的先前用户交互来将触摸接口上的含糊输入消除歧义。通常，显示内容的棋盘格布置可以从其中触摸接口上的任何地方的触摸被解释为最新变换活动元素的激活的偏置棋盘格布置衰退成非偏置棋盘格布置。具体地，分解可以随着时间的推移从其中可以通过在被映射到触摸屏202的复选框区域612中的一个或多个上按压来选择或放大中心复选框602C的一个衰退成其中只能通过在对应于中心复选框的那部分触摸接口上按压来选择或放大中心复选框的一个。

基于使用历史的GUI布局的自定义

在上述实施例的变体中，可以基于GUI的使用历史以预测性方式来布置图形用户接口（GUI）的显示上的内容布局。“布局”可以包括显示哪些项目、在哪里显示它们、按照什么顺序它们出现、它们如何出现以及它们如何工作。布局可以随着时间的推移衰退成非预测性布局。可以将本文所述的其它实施例的特征与本实施例的特征组合。

如果GUI包括触摸接口，则可以将触摸接口的整个面积划分成触摸敏感区域，其中的每一个对应于不同的活动元素。用户可以通过触摸相应的触摸敏感区域来选择活动元素中的一个。可以根据接下来可能选择哪个活动元素的预测来使该分解歪斜。可以基于用户行为根据预测性模型来确定该预测。

举例来说且不以限制的方式，如上所述，程序210还可以包括预测引擎221，可以例如通过适当的软件编程来将其配置为根据一般在图10A中举例说明的方法来操作设备200。如图10A中的1002处所指示的，如上所讨论的，可以可选地例如用Voronoi合成来将要在显示器202上显示的内容的一部分分解。如在1004处所指示的，可以使显示部分内的活动元素与触摸接口的相应部分相关。触摸接口可以是触摸板204或视觉显示器202，如果其包括触摸屏的话。随着用户操纵触摸接口，如在1006处所指示的，程序210可以可选地确定用户是否已采取动作。举例来说，程序210可以检测到用户已选择对应于活动元素的触摸接口的任何部分。如在1008处所指示的，程序210然后可以根据一个或多个后续动作的概率来调整在显示器上显示的内容的布局。可以随着时间的推移迭代地重复内容布局的调整和后续内容的分解及活动区域到触摸接口的相应部分的相关。

举例来说，预测引擎221可以基于在用设备200进行的给定类型的动作之后的用户行为的过去模式来计算用于后续动作的概率。可以使该过去行为与在显示器102上显示的一种内容相关。可以随着用户使用设备200来更新该概率。屏幕驱动器212可以根据该概率来调整内容的显示部分的布局。存在可以用来调整布局的许多不同方式。优选地，以促进最可能的一个或多个后续动作的方式来调整布局。如上所述，这可以包括例如通过按照比在默认布局中更紧密的顺序将可能要使用的活动元素定位在一起来调整活动元素的放置。另外，可以调整活动元素的外观，例如，可以突出显示可能要使用的活动元素或施加更明亮的色彩。此外，可以调整活动元素中的一个或多个的操作，例如，诸如联系人列表的列表中的项目的顺序可以被排序，在列表顶部附近具有最常使用的项目。

举例来说，在“默认”设置中，缺乏关于过去用户行为的任何信息，如图10B所示，设备可以显示包含单选按钮802、文本输入框804、链接806、复选框808和不活动标准文本810的内容，例如网页。预测引擎221可以基于过去的用户历史来确定当显示此页面（或类似配置的内容）时，用户具有对复选框808打勾并在文本输入框804中输入文本的高概率。基于这些概率，显示驱动器212可以修改网页的显示，以便使得文本输入框808和复选框804更大和/或更突出且相互紧密接近地放置，如图10B所示。

在某些实施方式中，显示内容到各区域的分解和触摸接口到相应部分的划分可能由于内容显示的修改而改变。例如，显示驱动器212可以修改用于显示内容的html画布。在此发生之后，触摸屏驱动器212可以执行触摸屏驱动器213可以用来将触摸接口划分成相应部分的html画布的新棋盘格布置。

虽然上述是本发明的优选实施例的完整描述，但可以使用各种替换、修改和等价物。因此，不应参考以上说明来确定本发明的范围，而是应替代地参考所附权利要求以及其等价物的整个范围来进行确定。可以将本文所述的任何特征（无论优选与否）与本文所述的任何其它特征（无论优选与否）组合。在随后的权利要求中，除非另外明确地说明，不定冠词“一”或“一个”指的是冠词后面的一个或多个项目的量。不应将所附权利要求解释为包括装置加功能限制，除非使用术语“用于...的装置”在给定权利要求中明确地叙述此类限制。