一种人机交互环境中特征选择的人类活动识别系统及其识别方法

技术领域

本发明属于人体活动识别技术领域，特别涉及一种人机交互环境中特征选择的人类活动识别系统及其识别方法。

背景技术

在开展人类调查活动中，对人类日常生活活动的检测已变得非常重要。目前，以计算机为基础的各种传感器和交互系统已用于人类活动的检测中，同时，带有嵌入式传感器的电话也可用于检测和分析人类活动，移动电话被认为是一种较为方便的检测工具，然而，在大多数情况下，人们有可能忘记带手机，而且无处不在的摄像头也会涉及到人们的隐私问题。

随着物联网的快速发展以及人们对人类活动调查要求的不断提高，手势识别、人脸识别等都广泛用于人体活动识别的领域。然而，现有的人机交互系统没有一个旨在提供一种方法来选择一个或多个特征进行一个或多个人活动的识别。因此，最好的方法是利用计算机视觉技术来感知和监控人类骨骼关节的活动状况。然而，在计算机视觉技术中，骨骼关节的检测灵敏度对噪声的要求较高，且检测的代价是很昂贵的。

发明内容

发明目的：针对上述缺陷，本发明提供一种人机交互环境中特征选择的人类活动识别系统及其识别方法，该识别系统旨在识别人机交互环境中人类活动的特征，完成一个或多个人员一个或多个活动类型的识别。

技术方案：本发明提出人机交互环境通过多个传感器来接收人类活动的骨骼点位置坐标，并根据数据的实际情况，通过计算机程序及算法，计算出一个或多个人的活动时骨骼点位置坐标参数的变化，通过位置坐标参数的数值对人们活动状态的特征进行选择，根据所选择的特征来判断人们活动时的活动状态，完成人机交互中对一个或多个人员活动的识别。

一种人机交互环境中特征选择的人类活动识别系统，包括系统和若干用户设备，系统通过网络与每个用户设备连接；所述系统包括处理器、存储器和接口，所述处理器和存储器通过接口与外部设备连接。

进一步的，所述存储器包括模块和数据，所述模块由接收模块、计算模块、选择模块、特征选择模块、标识模块；

所述接收模块，用于接收一个或多个人员的骨骼点；

所述计算模块，用于计算骨骼点的数据变化因子；

所述选择模块，用于根据距离来进行选择，距离越远选择度越低；

所述特征选择模块，用于选出位置坐标与相关联骨骼点变化最大的统计参数；

所述标识模块，用于根据一个或多个特征来识别一个或多个人员的活动类型。

进一步的，所述接收模块中骨骼点包括一个或多个人骨骼的位置坐标。

进一步的，根据权利要求1所述的一种人机交互环境中特征选择的人类活动识别系统，其特征在于，所述计算模块中数据变化因子代表一个或多个人员在活动时骨骼位置坐标的变化，数据变化因子代表计算的标准偏差，数值在0到1之间。

进一步的，所述特征选择模块中统计参数包括平均值、标准差和相关联骨骼点位置坐标的最大值与最小值。

进一步的，所述接收模块中骨骼点由18个骨骼关节组成，其中，18个骨骼关节包括：髋中心、脊柱、头、肩中心、左肩膀、右肩膀、左手肘、右手肘、左手腕、右手腕、左手掌、右手掌、左膝盖、右膝盖、左脚踝、右脚踝、左脚掌、右脚掌。

进一步的，所述识别模块中一个或多个人员的活动类型包括四个类型：包括站、坐、走、躺。

一种如上所述的人机交互环境中特征选择的人类活动识别系统的识别方法：

(1)所述人机交互环境中特征选择的人类活动识别系统首先接收相关联的骨骼点，所述骨骼点包括一个或多个人员骨骼关节的位置坐标。

(2)计算骨骼点位置坐标的数据变化因子，所述数据变化因子表示一个或多个人员进行一个或多个活动时位置坐标的变化。

(3)根据所述数据变化因子，从骨骼点中选择骨骼点集，所述骨骼点集定义了一个或多个人员活动时多个骨骼点位置坐标变化的集合。

(4)根据位置坐标的变化从所述骨骼点集合中提取一个或多个特征。

(5)通过所述一个或多个特征来识别人类的活动类型。

进一步的，对一个或多个特征支持向量机(SVM)学习算法，用以识别人类活动。

本发明采用上述技术方案，具有以下有益效果：根据本发明，可以方便有效的识别一个或多个人员的一个或多个活动的类型，同时还可以降低成本。

附图说明

图1为本发明的结构示意图；

图2为图1中系统的结构示意图；

图3为本发明识别方法示意图。

图4为具体实施例中人机交互环境中人类活动识别体系结构示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

图1表示具体实施例中人机交互环境中特征选择的人类活动识别系统102的一个网络实现方法100，并展示了人机交互环境中人类活动特征的识别。该人机交互环境通过多个传感器来接收人类活动的骨骼点位置坐标，并根据不同位置骨骼点坐标的变化计算出相对应的数据变化因子，从而提取出不同人员做不同活动的相对应的特征，通过一个或多个特征进而识别出一个或多个人员的活动类型。

考虑到系统102是作为服务器上一个应用程序实现的，对当前人机交互环境，系统102可以在各种计算系统中实现，例如笔记本电脑、台式电脑、工作站、主机、服务器、网络服务器等。特别的，系统102可以在一个基于云服务的环境中实现，该系统可以通过云服务被一个或多个用户设备104_1、104_2…104_n或位于用户设备上的应用程序访问，以下用户设备统称为104，在此实施例中，用户设备104包括但不限于台式电脑、笔记本电脑、手持设备等，用户设备通过网络106与系统102进行通信。

在此实施例中，网络106可以是无线网络、有限网络、或组合网络之一，如内部网、局域网(LAN)、广域网(WAN)、Internet等等。网络106可以是一个专用的网络，也可以是一个专用的共享网络。共享网络表示使用多种网络的不同类型之间的关联协议，例如超文本传输协议(HTTP)，传输控制协议/互联网协议(TP/IP)，无线应用协议(WAP)等，以实现用户设备与系统102的相互通信。进一步的，网络106硬件平台可包括各种网络设备，如路由器、网桥、服务器、存储设备等。

图2为人机交互中识别人类活动特征系统组成结构示意图，在此实施例中，系统102包括至少一个处理器202、输入/输出(I/O)接口204、内存208。所述至少一个处理器202可以是一个或多个微处理器、微计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路或任何在操作指令基础上的操作信号设备。在处理器202的功能中，至少有一个处理器202配置为获取存储器内存208中数据的功能。I/O接口204包括各种软件和硬件接口，例如：web接口、图形用户界面接口等。I/O接口204允许系统102直接与用户交互或者通过客户端设备104与用户交互。此外，系统102可以通过I/O接口204与其他计算设备系统进行通信，如web服务器和外部数据服务器(未显示)。I/O接口204可以方便使用各种协议类型的网络进行通信，包括有线网络，例如局域网、电缆等，无线网络，例如无线局域网、蜂窝网络或卫星网络。

存储器208包括现有计算机中可读的任何存储器，例如，易失性内存，如静态随机存储器(SRAM)和动态随机存储器(DRAM)，非易失性存储器，如只读存储器(ROM)，内存、硬盘、光学磁盘和磁带。存储器208包括模块210和数据224。在此实施例中，模块210包括接收模块212、计算模块214、选择模块216、特征定义模块218、识别模块220和其他模块222，其中，其他模块包括补充应用的程序代码模块。数据224包括数据库226和其他数据228，其中，其他数据228包括其他模块执行时产生的数据。

本发明专利涉及人机交互环境中特征选择的人类活动识别系统，在该系统中，基于数据变化因子，由多个骨骼点(也称为骨骼节点)组成一个集合骨骼点，进一步对骨骼点集进行处理，从而选择一个或多个特征来识别人类的活动。

在系统对骨骼点进行处理之前，一个或多个传感器对捕捉18个骨骼点并由系统进行预处理操作，一个或多个传感器可以获取到人类骨骼点位置坐标数据(XYZ数据)。18个骨骼点包括：髋中心、脊柱、头、肩中心、左肩膀、右肩膀、左手肘、右手肘、左手腕、右手腕、左手掌、右手掌、左膝盖、右膝盖、左脚踝、右脚踝、左脚掌、右脚掌。

接收模块212用来接收18个骨骼点，所述18个骨骼点与一个和多个人员活动类型相关。人类活动包括站立、坐、走和躺，其中，坐、站和躺被认为是静态活动，而走被认为是动态活动。

计算模块214计算每一个骨骼点的数据变化因子。数据变化因子也叫标准差是指人在执行一个或多个活动时，人员骨骼点位置坐标之间的变化，数据变化因子(标准差)是计算数据变化的一种方法。计算数据变化因子是为了确保对人员特定运动中，每个骨骼点不会有太大的变化。类似的，骨骼点从一个运动类型到另一个运动类型的位置坐标变化应该较大。计算模块使用STDEV(标准差)来作为度量计算数据变化因子。标准差的计算及意义说明如下：

对于一个特定的人来说，在不同的时间进行相同的人类活动(例如行走或站立)，骨骼关节点位置坐标相对于时间的偏差应该是最小的。计算模块计算标准差为：

其中

因此，计算模块214计算一个人不同时间下关节位置标准差σ

其中，

根据上述公式，标准差数值范围被缩放至0到1之间，当σ最大值为1时，公式分子分母是相同的即S＝1。当σ的最小值为0时，公式的分子为0，S＝0。根据上述缩放公式，标准差缩放值S的数值在0到1之间，运用此缩放公式的意义在于使人与人独立开来，例如，如果一个人标准差最小值为2，标准差最大值为4，另一个人标准差最小值为3，标准差最大值为6，在理想情况下，为了消除这种相关性，标准差被缩放到0到1之间。按照此缩放公式，一些骨骼点坐标标准差缩放值接近0，这种骨骼点对于判断人类活动类型是没有意义的。一般来说，只有标准差数值较大的几个骨骼点对人类活动类型的识别有较大的意义。

计算模块214还可以计算骨骼点距离度量，距离度量由一下公式表示：

距离度量的意义是根据δ的值选择可靠的骨骼点。在理想情况下，应

根据距离度量的降序(通过数据变化因子计算)，选择模块216选择骨骼点集合。骨骼点集合由头、肩中心、左肩膀和右肩膀组成。之后，特征定义模块218从骨骼点集中提取一个或多个特征。通过使用一个或多个与骨骼点集相关的统计参数来识别骨骼点集坐标(XYZ数据)的变化，统计参数包括平均值、标准差和位置坐标的最大值和最小值。通过提取出来的特征值来判断人类活动的类型。

特征定义模块218识别出对于静态活动，例如站立和坐，X和Z轴坐标相对于Y(Y表示人执行活动的高度)变化非常小，对于躺和坐，X、Z轴坐标变化比较大。对于站立和行走，通过一秒钟截取30帧坐标数据的变化来鉴别出动态行走与静态站立。

通过统计参数(平均值、标准差和每组骨骼点位置坐标的最大值和最小值)表明，如果人走向传感器，则Z坐标存在变化，如果人向传感器左右移动，X坐标会存在变化，特征定义模块218通过每30帧骨骼点坐标的平均值来识别此变化。

特征定义模块218在识别坐标变化的同时，进一步识别出站立和行走的坐标的最大值和最小值也随着行走活动中关节的动态变化而变化，而静态活动(坐和躺)关节的最大值和最小值变化不大。因此，特征定义模块218通过最大和最小值的差值来悬着特征从而区分静态和动态活动的联合位置。

特征定义模块218进一步配置为根据骨骼点集位置坐标的变化提取出一个或多个特征。一个或多个特征包括一组骨骼点位置坐标的平均值和人类活动相关关节位置坐标的最大值和最小值的差值。关节位置坐标的最大值和最小值之差为常数。

特征定义模块提取平均值和最大值与最小值的差值这两个特征，每30帧提取12个(3坐标*4骨骼)属性。

识别模块220通过一个或多个特征来识别人类的活动。识别模块220中，对一个或多个特征支持向量机(SVM)学习算法，用以识别人类活动。

图3为人机交互环境中人类活动识别体系识别方法示意图。人机交互环境中特征选择的人类活动识别系统首先接收相关联的骨骼点，骨骼点包括一个或多个人员骨骼关节的位置坐标。由位置坐标计算骨骼点位置坐标的数据变化因子，数据变化因子表示一个或多个人员进行一个或多个活动时位置坐标的变化。根据计算出的数据变化因子，从骨骼点中选择骨骼点集，骨骼点集定义了一个或多个人员活动时多个骨骼点位置坐标变化的集合。根据位置坐标的变化从所述骨骼点集合中提取一个或多个特征。通过所述一个或多个特征来识别人类的活动类型。

图4为人机交互环境中人类活动识别体系结构示意图。接收模块112接收传感器收集到的人类活动A

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。