一种识别手印手势的智能车把手

技术领域

本发明涉及模式技术领域，具体涉及一种识别手印手势的智能车把手及其包含的识别程序。

背景技术

在自行车健身游戏中，玩家的双手一直紧握自行车的车把手，从而维持躯体平衡。这与传统游戏通过手柄来实施人机交互是很难共存的。在通常情况下，骑车人的双手一直紧握在车把手上，以便在用力踩踏脚蹬时维持躯体的平衡。如果他想同时操作游戏手柄，那么至少需要先松开一只手来拾起该手柄。在这个手持道具切换的过程中，玩家的重心可能会倾斜，从而导致躯体从自行车侧倾坠地。

由此可知，现有技术中用户与主机之间的交互效果不佳。

发明内容

本发明提供了一种识别手印手势的智能车把手，用以解决或者至少部分解决现有技术中用户与主机之间的交互效果不佳的技术问题。

为了解决上述技术问题，本发明提供了一种识别手印手势的智能车把手，包括：

感应皮肤，用于：采集骑车人手掌和手指握力数据；

数据转发模块，用于：汇总感应皮肤在每帧内采集到的数据，并转发给主机端的智能信息处理程序；

支撑框架，包括车把手本体、横梁，用于贴敷感应皮肤、支撑骑车人的双臂并维持其身体平衡；

以及智能信息处理程序，用于定义各种手印手势和识别手印手势。

在一种实施方式中，感应皮肤为一层布满压力传感器阵列，贴敷于车把手本体的表面，用于：采集骑车人手掌和手指握力数据。

在一种实施方式中，感应皮肤在每帧内采集到的数据汇总成二维矩阵形式，即：逻辑上的手印图像。

在一种实施方式中，手印图像的二维该矩阵的元素形式为“(横坐标；纵坐标；压力数据；时间戳)”的四元组形式，其中，时间戳为数据转发模块为手印图像编制的帧序列号。

在一种实施方式中，采集到的数据包括：连续帧的手印图像序列形成逻辑上的手势动画视频。

在一种实施方式中，数据转发模块包括数据接收线路和数据处理芯片，其中，数据接收线路设置于感应皮肤下、车把手本体中，数据处理芯片可以设置于车身中。

在一种实施方式中，手指手印的状态定义方法为：若该手指覆盖区域的压力数据大于0，则其状态为“真”；若等于0，则其状态为“假”；

手指手势的状态，其定义方法为：若该手指手印的状态由“真”渐变为“假”则其状态为“抬起”；反之则定义为“按下”；

手指手势的分类定义方法为：若该手指的手势动画视频达成了一次完整的“抬起”、“按下”过程，则定义为“松开”、“发射”；进一步地，若达成一次连续的“松开-发射”过程，则定义为“单次敲击”；

手印手势的分类定义方法为：不同手指手势分类的组合。

在一种实施方式中，各种状态和各种分类采用机器学习的方法对每一位玩家的手部压力数据进行训练，最终达成模式识别程序。

在一种实施方式中，智能信息处理程序能够根据预先训练成的模式识别程序，对骑车人在使用智能车把手时发出的操作指令进行手印手势识别。

在一种实施方式中，智能信息处理程序为存在于主机端应用程序中的一个机器学习模块，随着应用程序被激活而存在于主机端内存当中，实时监听来自数据转发模块的信号。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明提供的一种识别手印手势的智能车把手，包括感应皮肤、数据转发模块、支撑框架以及智能信息处理程序，通过感应皮肤采集骑车人手掌和手指握力数据，然后通过对数据转发模块汇总感应皮肤在每帧内采集到的数据，并转发给主机端的智能信息处理程序；支撑框架，包括车把手本体、横梁，用于贴敷感应皮肤、支撑骑车人的双臂并维持其身体平衡；并通过智能信息处理程序根据预先定义的各种手印手势对采集的数据进行识别手印手势。

本发明的提供的智能车把手，一方面可以消除车把手和游戏手柄在人机交互方式上的矛盾，提高了骑车人手部的舒适感和操作自由度；

另一方面，本发明提供的智能车把手具备游戏控制器(手柄)的操作功能。玩家在游玩时，不需要松开自行车车把手，移动手掌操转而去摸控游戏手柄，从而可以提高人机交互的效率以及使用安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中提供的骑行类游戏的健身设备的结构示意图；

图2是现有技术中VRzoom的车把手的示意图；

图3是本发明提供的一种车把手的结构示意图；

图4是本发明实施例中手势类别的示意图。

具体实施方式

本发明公开了一种识别手印手势的智能车把手，用以改善现有技术中用户与主机之间交互效果不佳的技术问题，从而达到改善交互效果，提高安全性的目的。

为了达到上述目的，本发明的主要构思如下：

首先通过感应皮肤采集用户在紧握车把手时的手掌和手指作用于车把手表面的压力数据；然后通过数据转发模块对采集到的压力数据按时间戳逐帧转发给计算机端的模式识别程序；接着由智能信息处理程序对压力数据做出分类，再根据手印手势逐帧连成手势图像序列构成逻辑上的动态手势的视频数据判断骑车人的操作意图。本发明提出的智能车把，通过软硬件系统结合的方案消除了车把手和游戏手柄在人机交互方式上的矛盾，提高了骑车人手部的舒适感和操作自由度，并确保了使用过程中的安全性。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种识别手印手势的智能车把手，包括：

感应皮肤，用于：采集骑车人手掌和手指握力数据；

数据转发模块，用于：汇总感应皮肤在每帧内采集到的数据，并转发给主机端的智能信息处理程序；

支撑框架，包括车把手本体、横梁，用于贴敷感应皮肤、支撑骑车人的双臂并维持其身体平衡；

以及智能信息处理程序，用于定义各种手印手势和识别手印手势。

具体地，与传统视频游戏不同，健身车游戏使用真实的机械设备作为人机互动的道具，如图1所示。如果骑车人(玩家)想要发出游戏指令，那么他还需要额外的游戏控制器，即手柄。业界尚无专门为此类设计的游戏控制器，有些产品(如：VRZoom)集成了通用的游戏手柄作为弥补，如图2所示。

本申请发明通过大量的研究与实践发现：

(1)VRZoom的解决方案采用了嫁接的方式，将车把手与XBox360手柄集成在了一起。这种解决方案使车把手变得比较复杂，骑车人依然需要移动手掌来切换持握的道具。本发明不同之处在于：本发明并非将自行车车把手与游戏手柄嫁接在一起，而是将游戏手柄的按键触发交互模式变换成了手势识别模式，且数据采集器被集成在车把手的表面。

(2)有相关方案CN108525291A在一定程度上降低了VRZoom的缺点。但依然存在着一些可以改进的地方：固定位置的按键无法适应不同大小的手掌；手指需要长时间地把持在车把手的固定位置上，骑车人既不舒服又比较累。

针对这类缺点，本发明的目的：

(1)改造普通的自行车把手，使之具备游戏控制器(手柄)的操作功能。玩家在游玩时，不需要松开自行车车把手，移动手掌操转而去摸控游戏手柄。从而提高人机交互的效率和安全性。

(2)解决游戏手柄和车把手这两种工具在人机互动模式上的矛盾：骑车人持握车把手的时候，默认单手的5个手指处于同时发力的状态；玩家操作游戏手柄时，仅有个别手指发力，其余的手指都默认松弛状态。本发明设计与众不同的按键交互模式，以便将这两种任务集成到同一载体上。

具体来说，图3为车把手的结构示意图，感应皮肤可以感知用户手掌和手指的压力。车把手本体为301，横梁为302，感应皮肤为303，数据转发模块在内置芯片中，在图中未示出。

当用户手握住自行车的车把手时，手掌和手指施加在车把手表面的握力在几何形态上形成手印的形状为手印手势，采集的压力数据即为手印手势数据，这些数据可以用来得到用户的操作意图，从而实现用户与主机之间的交互。

在一种实施方式中，感应皮肤，为一层布满压力传感器阵列，贴敷于车把手本体的表面，用于：采集骑车人手掌和手指握力数据。

具体来说，压力数据采集模块为车把手的“握力传感器层皮肤”，即一层包裹在车把手外表面的传感器阵列。

在具体的实施过程中，传感器由大量体积很小的压力传感器紧密排列(如：蜂巢状结构)而成，它可以感知手掌、手指的握力。这层皮肤包裹在车把手的表面。它读取的手印手势的压力数据实时发送给内置芯片。

在一种实施方式中，感应皮肤在每帧内采集到的数据汇总成二维矩阵形式，即：逻辑上的手印图像。

在一种实施方式中，数据转发模块包括数据接收线路和数据处理芯片，其中，数据接收线路设置于感应皮肤下、车把手本体中，数据处理芯片可以设置于车身中。

在一种实施方式中，手印图像的二维该矩阵的元素形式为“(横坐标；纵坐标；压力数据；时间戳)”的四元组形式，其中，时间戳为数据转发模块为手印图像编制的帧序列号。

在一种实施方式中，采集到的数据包括：连续帧的手印图像序列形成逻辑上的手势动画视频。

具体地，当骑车人(玩家、用户)握住车把手的时候，手指和手掌会在车把手皮肤表面形成压力区域。本发明这些区域的几何图形定义为“手印”。将车把手圆柱面展开成二维矩形后，车把手皮肤上的手印变换成了平面的手势图像。这种手印手势图像的像素是传感器测量到的压力数据。本发明以四元组(横坐标；纵坐标；压力数据；时间戳)的形式表示像素的数据结构。以此类四元组为元素构成的矩阵表示整幅手印手势图像。然后将该类手势图像按连续帧顺序构成的图像序列构成手印手势视频。本发明根据“按下、抬起某些手指的手印形状”来定义不同的手势，如图4所示。可以包括(a)整只手握牢；(b)小指抬起；(c)无名指抬起；(d)中指抬起；(e)食指抬起。其中，拇指滑动和点击情况类似，在此不再详述。

手指手印的状态定义方法为：若该手指的压力数据大于0，则其状态为“真”；若等于0，则其状态为“假”；

手指手势的状态，其定义方法为：若该手指手印的状态由“真”渐变为“假”则其状态为“抬起”；反之则定义为“按下”；

手指手势的分类定义方法为：若该手指的手势动画视频达成了一次完整的“抬起”、“按下”过程，则定义为“松开”、“发射”；进一步地，若达成一次连续的“松开-发射”过程，则定义为“单次敲击”；

手印手势的分类定义方法为：不同手指手势分类的组合。

在一种实施方式中，各种状态和各种分类采用机器学习的方法对每一位玩家的手部压力数据进行训练，最终达成模式识别程序。

具体来说，采用有监督指导的机器学习方法，对于训练数据，多次重复输入每个手势对应的压力数据进行训练。在某玩家初次游戏之前，需要预先录入自己的手印手势数据，这个预处理过程即为有监督指导的机器学习过程。在该预处理过程中，通过多次重复每个手势，以便提高机器学习的准确率。操作类别即通过压力数据得到的用户的操作意图。

在一种实施方式中，智能信息处理程序能够根据预先训练成的模式识别程序，对骑车人在使用智能车把手时发出的操作指令进行手印手势识别。

具体来说，可以为分类后的各种手势(操作类别)赋予游戏操作指令的意义，如：“上、下、左、右、A、B、X、Y、Start、Shift”。

在一种实施方式中，智能信息处理程序为存在于主机端应用程序中的一个机器学习模块，随着应用程序被激活而存在于主机端内存当中，实时监听来自数据转发模块的信号。

本发明以自行车的车把手为载体，设计一套专用于自行车实体游戏的玩家指令输入设备，即智能车把手，它集成了车把手和游戏手柄的特征与功能。玩家的手指可以在不松开车把手的情况下，顺畅自如地发出多种操作指令。这种交互方式可以提高自行车游戏的沉浸感和乐趣，同时保证玩家的人身安全。

本发明提供的智能车把手主要具有如下优点：

(1)手掌、手指均可以在车把手表面漂移，不必长期维持固定手势形状，自由度高，人机交互顺畅；

(2)手势明确，不容易发生系统误判；

(3)兼容性强，适合不同手掌外形的用户使用；

(4)集成度高，不用附加自行车意外的设备；

(5)安全，避免用户切换操作时从车身上跌落受伤；

(6)手柄默认手指下压时为“发射”状态；车把手默认手指下压为“待命”状态。这对操作方式的矛盾是两种工具功能融合的难点。本发明提出的手势定义方式(抬起手指为“发射”)恰好解决了这个矛盾。

本发明中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。