计算机系统中基于先验知识聚类的人体行为建模识别方法

技术领域

本发明涉及计算机模式识别领域，特别涉及人体行为视觉分析与智能理解技术领域，具 体是指一种计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方 法。

背景技术

近年来，国内在城市的重要位置均安装了监控摄像头，这为多起犯罪案件的侦破提供了 重要的破案线索。而由大量摄像头获取的视频图像中对人体行为的识别和理解尤其显得重要， 作为智能视频监控领域的最活跃主题，有着重要的现实意义和应用价值。

而人体行为作为一系列的时变信号，对于人体行为的建模和识别可以转化为时变信号的 分类问题，黎洪松等学者在《模式识别与人工智能》[2009，第22卷，第1期，70～78页] 发表的论文“人体运动分析研究的若干新进展”中，总结了目前常见的人体行为建模识别方法 主要有：模式匹配法和概率网络法。其中前者通过将视频序列转换为一组静态形状模式，然 后将其与预先保存好的模板进行比较来完成对测试视频序列行为模式或者类别的识别和理 解，该方法的特点是实现简单，识别速度快，但由于未对图像在空间上的相互影响进行考虑， 故识别结果容易受到噪声的影响，且对时间长度要求较高，不利于实时行为建模和识别。而 常见的概率网络法有隐马尔可夫模型（Hidden Markov Models，HMM）、动态贝叶斯网络 （Dynamic Bayesian Networks，DBN）和条件随机场（Conditional Random Field，CRF）。该 类方法定义每个静态姿势作为一个状态，将这些状态采用某概率网络法有种概率联系起来， 任何视频图像中的人体行为序列可以看作是这些静态姿势的不同状态之间的一次遍历结果， 在整个遍历过程中计算联合似然值，并将最大值作为行为识别的结果，该方法能够较好地刻 画人体行为的本质特征，但是行为识别结果对每一帧的特征值的提取较为敏感，且存在着训 练过程较为复杂，模型训练收敛速度较慢的问题。

中国专利申请号200910254419[刘志镜等，基于模板匹配的运动人体异常行为识别方法， 中国，101719216.A，2010-06-02]的发明专利公开了一种基于模板匹配的运动人体异常行为识 别方法。利用训练的模型库，其模板的匹配程度满足最大似然准则，通过计算待识别的行为 和预先定义行为的匹配度来完成对人体行为进行识别。提出的方法对异常行为有较高的识别 准确性，可以有效去除视觉采集图像的复杂背景和噪声，提高检测算法的效率和鲁棒性。

中国专利申请号201110181112[宦若虹等，一种基于非负矩阵分解和隐马尔科夫模型的人 体行为识别方法，中国，102393910.A，2012-03-28]公开了一种基于非负矩阵分解和隐马尔卡 夫模型的人体行为识别方法。本发明得到的行为识别率较高，可提高应用于实时智能视频监 控系统中的人体行为自动分析能力。

中国专利申请号201210398379[马昕等，基于在线序贯极限学习机的递增式人体行为识别 方法，中国，102930302.A，2013-02-13]公开了一种基于在线序贯极限学习机的递增式人体行 为识别方法，该方法基于在线序贯极限学习机分类器对人体行为进行识别。该方法能够在训 练样本很少的情况下，通过较短的训练时间即可获得较为精确的人体行为识别结果。然而建 立的模型过于复杂，存在着训练时间过长的问题。

综上可知，目前针对人体行为建模和识别的方法普遍存在着过于复杂，计算复杂度高， 往往针对某类实际应用（如异常行为识别），扩展性较弱，且未考虑到先验知识对人体行为识 别结果的影响，而先验知识对人体行为识别有着重要的作用。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种能够考虑先验知识对人体行为 识别结果的重要影响、简单高效、识别准确率较高、具有较好的扩展性、工作性能稳定可靠、 适用范围较为广泛的计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别 处理方法。

为了实现上述的目的，本发明的计算机系统中基于先验知识的聚类技术实现针对人体行 为的建模和识别处理方法如下：

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法，其 主要特点是，所述的方法包括人体行为建模处理和人体行为识别处理，所述的人体行为建模 处理，包括以下步骤：

（11）系统获取训练的视频图像数据集；

（12）系统基于先验知识的特征提取方法对所述的视频图像数据集进行人体行为先验特 征信息的提取并得到人体行为先验特征描述信息，同时基于人体行为建模方法对基础特征信 息进行提取；

（13）系统基于人体行为特征融合处理方法对所述的人体行为先验特征描述信息和基础 特征信息进行融合处理并得到融合后的人体行为特征数据集；

（14）系统在所述的融合后的数据集上进行层次聚类分析处理，并生成人体行为分类器；

所述的人体行为识别处理，包括以下步骤：

（21）系统计算待识别的视频图像数据与各个所述的人体行为分类器的中心之间的距离；

（22）将所述的距离中最小距离所对应的人体行为分类器所在的行为类别作为该待识别 的视频图像数据所属的行为类别；

（23）系统重新计算各个人体行为分类器的中心，并通过自学习的方法对各个所述的人 体行为分类器进行持续完善优化。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 进行人体行为先验特征信息的提取并得到人体行为先验特征描述信息，包括以下步骤：

（121）从先验知识的角度，对用户感兴趣特征或者行业提供的领域特征进行提取；

（122）构建针对先验知识的特征提取器，并获取基于先验知识的个性化特征组合，得到 特征数据集D；

（123）对所述的特征提取器所获取的特征数据集D进行降维处理，并得到的降维结果 数据集D^prior。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 构建针对先验知识的特征提取器，包括以下步骤：

（1221）设置特征提取器所选取的特征为静态特征、动态特征及时空特征；

（1222）针对每类特征设置相应的特征提取方法，具体为：

设置目标检测与跟踪方法对静态特征进行提取，设置光流法对动态特征进行提取，设置 Gabor滤波的计算方法提取时空特征。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 静态特征包括大小、颜色、轮廓和形状。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 动态特征包括位置、速度和运动方向。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 时空特征包括时空兴趣点和时空形状。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 获取基于先验知识的个性化特征组，得到特征数据集D，具体为：

以先验知识为指导，从特征提取器给定的特征中选取个性化的特征组合，并依据对应的 特征提取方法进行特征提取，得到的人体行为描述信息，并以特征数据集D的形式表示。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 对特征提取器所获取的特征数据集D进行降维处理，具体为：

采用数据降维方法对所述的特征提取器所获取的特征数据集D进行处理。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 数据降维方法可以为主成分分析处理方法、线性判别分析LDA方法、局部保留投影LPP方 法或者全局限制半监管判别分析SDG方法。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 基于人体行为建模方法对基础特征信息进行提取，具体为：

采用3D视觉传感器获取人体骨架结构的关节点标信息，并得到特征数据集D^basis。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 关节点标包括头部、脖子、左肩、左肘、左手、右肩、右肘、右手、躯干、左髋、左膝、左 脚、右臀、右膝、右脚。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 3D视觉传感器为基于深度/灰度的混合相机。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 对人体行为先验特征描述信息和基础特征信息进行融合处理并得到融合后的人体行为特征数 据集，具体为：

根据以下公式得到融合后的人体行为特征数据集M_ensemble：

$M_{\mathrm{ensemble}}[i,j]=\left(\begin{array}{c}{M}_1[i,j],1\le j\le n_1\\ M_2[i,j],n_1<j\le (n_1+n_2)\end{array},;\right)$

其中，M₁为描述所述的降维结果数据集D^prior的数据集，n₁为该降维结果数据集D^prior中 的特征个数，M₂为描述所述的特征数据集D^basis的数据集，n₂为该特征数据集D^basis中的特征 个数。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 进行层次聚类分析处理并生成人体行为分类器，包括以下步骤：

（141）选取L个不同的聚类个数（k₁，k₂，……，k_L）；

（142）在融合后的人体行为特征数据集D^ensemble上分别选用所述的L个聚类个数，执行 L次K-means聚类分析；

（143）对得到的L个聚类分析结果分别计算不同的k_i（i＝1，2，……，L）下的轮廓系 数值S_ki的大小，并选取最大的轮廓系数值所对应的聚类个数作为人体行为分类器的个数；

（144）将最大的轮廓系数值所对应的聚类个数作为层次聚类的聚簇个数，在融合后的人 体行为特征数据集D^ensemble上执行分裂性层次聚类算法，并设置连接方式为全连接方式，得 到最终的聚类结果，将聚簇中心作为建立的人体行为分类器的类标签。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 进行层次聚类分析处理并生成人体行为分类器，还包括以下步骤：

（145）将聚类结果分布中的离群点作为异常行为模式，并将此行为模式与系统预设的警 示信号关联起来，在出现此类异常行为时进行预警。

该计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处理方法中的 距离为欧氏距离。

采用了该发明的计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别 处理方法，由于其中选用改进的基于轮廓系数的层次聚类方法来建立人体行为分类器，以聚 类效果评价指标为指导，得到准确的分类器个数的同时，亦得到了优秀的聚簇效果；将先验 知识用于指导对特征进行选取，充分考虑到了用户的个人兴趣度和行业领域知识的指导价值， 帮助获取有效完备的对人体行为进行描述的特征属性集合。为了消除这些特征的冗余性和避 免维度灾难，采用主成分分析方法对这些特征属性组合进行降维处理，得到有效的人体行为 特征数据集合；从融合特征角度对基于用户先验知识获取的特征和基本的3D视觉获取的骨 架特征信息进行有机融合，使得到的数据集完备有效；构建的建模系统具有自学习能力，可 以随着观测样本的分类来持续完善分类器；在人体行为建模子过程得到的聚簇分布中，若存 在离群点，将其作为异常行为模型，在设计系统时，可以根据需要给出预警，有着巨大的现 实意义，从而考虑了先验知识对人体行为识别结果的重要影响，并采用改进的聚类方法对人 体行为进行建模和识别，可以为异常行为的识别奠定基础，方法简单高效，可以准确识别不 同的行为模式，且具有较好的扩展性，工作性能稳定可靠、适用范围较为广泛。

附图说明

图1为本发明的计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别 处理方法的整体流程图。

图2为本发明的计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别 处理方法中的人体行为建模处理过程的流程图。

图3为本发明的计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别 处理方法中的特征提取器构建过程示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

请参阅图1至图3所示，该计算机系统中基于先验知识的聚类技术实现针对人体行为的 建模和识别处理方法，其主要特点是，所述的方法包括人体行为建模处理和人体行为识别处 理，所述的人体行为建模处理，包括以下步骤：

（11）系统获取训练的视频图像数据集；

（12）系统基于先验知识的特征提取方法对所述的视频图像数据集进行人体行为先验特 征信息的提取并得到人体行为先验特征描述信息，同时基于人体行为建模方法对基础特征信 息进行提取；该进行人体行为先验特征信息的提取并得到人体行为先验特征描述信息，包括 以下步骤：

（a）从先验知识的角度，对用户感兴趣特征或者行业提供的领域特征进行提取；

（b）构建针对先验知识的特征提取器，并获取基于先验知识的个性化特征组合，得 到特征数据集D；该构建针对先验知识的特征提取器，包括以下步骤：

（i）设置特征提取器所选取的特征为静态特征、动态特征及时空特征；该静态特 征包括大小、颜色、轮廓和形状，该动态特征包括位置、速度和运动方向，该时 空特征包括时空兴趣点和时空形状；

（ii）针对每类特征设置相应的特征提取方法，具体为：

设置目标检测与跟踪方法对静态特征进行提取，设置光流法对动态特征进行提 取，设置Gabor滤波的计算方法提取时空特征；

该获取基于先验知识的个性化特征组，得到特征数据集D，具体为：

以先验知识为指导，从特征提取器给定的特征中选取个性化的特征组合，并依据 对应的特征提取方法进行特征提取，得到的人体行为描述信息，并以特征数据集 D的形式表示；

（c）对所述的特征提取器所获取的特征数据集D进行降维处理，并得到的降维结果 数据集D^prior；该对特征提取器所获取的特征数据集D进行降维处理，具体为：

采用数据降维方法对所述的特征提取器所获取的特征数据集D进行处理； 该数据降维方法可以为主成分分析处理方法、线性判别分析LDA方法、局部保留投 影LPP方法或者全局限制半监管判别分析SDG方法；

该基于人体行为建模方法对基础特征信息进行提取，具体为：

采用3D视觉传感器获取人体骨架结构的关节点标信息，并得到特征数据集D^basis；该 关节点标包括头部、脖子、左肩、左肘、左手、右肩、右肘、右手、躯干、左髋、左 膝、左脚、右臀、右膝、右脚；该3D视觉传感器为基于深度/灰度的混合相机；

（13）系统基于人体行为特征融合处理方法对所述的人体行为先验特征描述信息和基础 特征信息进行融合处理并得到融合后的人体行为特征数据集；该对人体行为先验特征描述信 息和基础特征信息进行融合处理并得到融合后的人体行为特征数据集，具体为：

根据以下公式得到融合后的人体行为特征数据集M_ensemble：

$M_{\mathrm{ensemble}}[i,j]=\left(\begin{array}{c}{M}_1[i,j],1\le j\le n_1\\ M_2[i,j],n_1<j\le (n_1+n_2)\end{array},;\right)$

其中，M₁为描述所述的降维结果数据集D^prior的数据集，n₁为该降维结果数据集D^prior中的特征个数，M₂为描述所述的特征数据集D^basis的数据集，n₂为该特征数据集D^basis中的特征个数；

（14）系统在所述的融合后的数据集上进行层次聚类分析处理，并生成人体行为分类器， 包括以下步骤：

（a）选取L个不同的聚类个数（k₁，k₂，……，k_L）；

（b）在融合后的人体行为特征数据集D^ensemble上分别选用所述的L个聚类个数，执 行L次K-means聚类分析；

（c）对得到的L个聚类分析结果分别计算不同的k_i（i＝1，2，……，L）下的轮廓 系数值S_ki的大小，并选取最大的轮廓系数值所对应的聚类个数作为人体行为分类器 的个数；

（d）将最大的轮廓系数值所对应的聚类个数作为层次聚类的聚簇个数，在融合后的 人体行为特征数据集D^ensemble上执行分裂性层次聚类算法，并设置连接方式为全连接 方式，得到最终的聚类结果，将聚簇中心作为建立的人体行为分类器的类标签；

（e）将聚类结果分布中的离群点作为异常行为模式，并将此行为模式与系统预设的 警示信号关联起来，在出现此类异常行为时进行预警；

所述的人体行为识别处理，包括以下步骤：

（21）系统计算待识别的视频图像数据与各个所述的人体行为分类器的中心之间的距离； 该建模和识别处理方法中的距离为欧氏距离；

（22）将所述的距离中最小距离所对应的人体行为分类器所在的行为类别作为该待识别 的视频图像数据所属的行为类别；

（23）系统重新计算各个人体行为分类器的中心，并通过自学习的方法对各个所述的人 体行为分类器进行持续完善优化。

在实际应用中，本发明涉及一种基于先验知识和聚类对人体行为进行建模和识别的方法 和系统，分为两个子过程：人体行为建模和行为识别。其中，在人体行为建模子过程，将先 验知识引入到对人体行为特征进行描述中，用户可以根据自己的行业知识或者兴趣度自主选 取特征属性，这些被称为和先验知识相关的特征，用以反应先验知识在人体行为分析的指导 价值。为了更加有效地从视频图像中获取这些特征属性信息，设计了特征提取器对这些特征 进行提取，而为了优化这些特征属性，选取主成分分析方法进行处理，得到由先验知识提供 的特征描述，以特征数据集集合形式表示；除此之外基于深度/灰度混合相机获取人体骨架信 息的关节点（选取15个关节点：头部、脖子、左肩、左肘、左手、右肩、右肘、右手、躯干、 左髋、左膝、左脚、右臀、右膝、右脚）信息，亦采用特征数据集集合的形式表示，并将其 上述有先验知识提供的特征信息进行融合，得到融合数据集，从不同角度描述人体行为特征 信息。之后，采用本发明设计的基于轮廓系数的层次聚类方法对融合后的数据集进行处理， 获取数据集分布，作为人体行为分类器，以聚簇中心作为分类器类标签。行为建模完成后， 即可对观测样本进行行为识别，在人体行为识别子过程，通过计算观测样本与各个行为分类 器之间的相似性距离来决定观测样本的类别，从而实现对行为的识别，每次识别结束后，重 新计算各个行为模式分类器中心，通过这种自学习的方式来持续优化分类器。

本发明的目的通过以下技术方案实现：

（1）对获取的训练视频图像信息选用深度/灰度混合相机进行处理，提取人体骨架的关 节点（选取15个关节点：头部、脖子、左肩、左肘、左手、右肩、右肘、右手、躯干、左髋、 左膝、左脚、右臀、右膝、右脚）信息，形成人体骨架描述数据集，以D^basis表示。

（2）对获取的训练视频图像从先验知识的角度，对用户感兴趣特征或者行业提供的领域 特征进行提取，不同类型的特征属性采用对应的特征提取方法进行提取，设计了针对先验知 识的特征提取器选取用户个性化特征组合，具体描述为:

（a）特征提取器选取的特征为：静态特征（大小、颜色、轮廓和形状）、动态特征（位 置、速度和运动方向）及时空特征（时空兴趣点、时空形状），针对每类特征设计了 相应的特征提取方法：选用目标检测（背景差分法）与跟踪（粒子群滤波）方法对静 态特征进行提取，选用光流法对动态特征进行提取，选用Gabor滤波的计算方法提取 时空特征；

（b）以先验知识为指导，用户从特征提取器给定的特征中选取个性化的特征组合， 并依据对应的特征提取方法进行特征提取，得到的人体行为描述信息以特征数据集的 形式表示。

（3）基于先验知识和特征提取器获取的人体行为描述特征中可能存在着冗余特征，或可 能存在着维度过高问题。为了解决这些问题，采用主成分分析方法对这些特征属性进行处理， 得到基于先验知识对角度获取的人体行为描述信息，以数据集D^prior表示。

（4）人体骨架关节点信息和基于先验知识获取的特征信息分别从不同的角度对人体行为 进行了描述，融合两者，可以得到更完善和准确对人体行为进行分析理解。在进行两类特征 的融合时，选用特征依次串接组合法进行融合，以数据集D^ensemble表示融合结果，具体融合 过程描述为：设有数据集M₁（规模为m×n₁）来描述D^prior，数据集M₂（规模为m×n₂）来描 述D^basis，M_ensemble（规模为m×(n₁＋n₂)）来表示M₁和M₂的融合结果，则：

$M_{\mathrm{ensemble}}[i,j]=\left(\begin{array}{c}{M}_1[i,j],1\le j\le n_1\\ M_2[i,j],n_1<j\le (n_1+n_2)\end{array};\right)$

（5）在融合数据集D^ensemble进行聚类分析，选用本发明设计的基于轮廓系数的层次聚类 方法对D^ensemble进行处理，具体过程描述如下：

（a）选定L不同的聚类个数k，k={k₁,k₂,…,k_L}，分别在D^ensemble以这L个聚类个数，执 行L次K-means聚类分析，计算不同的k_i(i=1,2,…,L)下聚类结果对应的轮廓系数值S_ki，选取 最大的S_ki对应的k_i作为的人体行为分类器个数；

（b）将聚类个数选为k_i，在D^ensemble上执行一次层次聚类分析，得到最终的聚类结果， 将聚簇中心作为建立的人体行为分类器的类标签，即完成对人体行为模型进行建立。

（6）人体行为识别子过程：在融合特征空间上计算观测样本与各个行为分类器中心之间 的距离（欧式距离），其中距离最小的距离对应的分类器，即是观测样板所属的行为类别。而 完成观测样本集的上的人体行为识别后，则重新计算各个分类器的中心，通过这种自学习的 方法对分类器进行持续优化。

作为本发明的具体实施方式，其包括以下处理过程：

（1）获取训练的视频图像数据集101，基于深度/灰度混合相机105的来实现获取人体骨 架的关节点标信息，本发明选取的是15个关节点信息（头部、脖子、左肩、左肘、左手、右 肩、右肘、右手、躯干、左髋、左膝、左脚、右臀、右膝、右脚）,以特征数据集D^basis表示； 但这种选取方法并非唯一，仍然存在其他等效的实施例；

（2）对获取的训练视频图像信息在以先验知识102为指导获取人体行为相关的特征时， 不同的特征类型选用不同的特征提取方法进行获取，本发明设计了特征提取器103（参考图3） 来实现该功能。在本发明中设计的特征提取器103中封装了常见的三类特征（静态特征、运 动特征、时空特征）及其对应的特征提取方法，最后特征提取器103输出的是以特征数据集 形式描述的数据集合；

（3）基于先验知识特征提取器103获取的用户个性化特征组合中，可能存在着属性特征 冗余现象，并有可能特征空间维数过高的问题，这些都可能导致最后的建立的人体行为模型 是无效的，因此，对其进行降维处理是必要的。本发明选取了基于统计学的降维方法主成分 分析处理104，得到特征数据集D^prior。除了主成分分析方法外，可以选用的其他数据降维方 法对先验知识相关的特征空间进行降维处理，针对不同的应用领域，可以选择适当的数据降 维方法替换主成分分析方法，如LDA（Linear Discriminant Analysis）、LPP（Locality Preserving  Projection）、SDG（Semi-supervised Discriminant analysis with Global constraint）。值得注意的 是，上述提到的降维方法并非唯一，仍然存在其他等效的实施例；

（4）分别获取了人体行为相关的骨架关节点信息和基于先验知识的特征信息后，将两类 特征信息进行特征融合106，本发明选用的简单的特征融合方法，具体描述为：设有数据集 M₁（规模为m×n₁）来描述D^prior，数据集M₂（规模为m×n₂）来描述D^basis，M_ensemble（规模为 m×(n₁＋n₂)）来表示M₁和M₂的融合结果，则：

$M_{\mathrm{ensemble}}[i,j]=\left(\begin{array}{c}{M}_1[i,j],1\le j\le n_1\\ M_2[i,j],n_1<j\le (n_1+n_2)\end{array};\right)$

但此融合方法并非唯一，仍然存在其他等效的实施例；

（5）对融合后的数据集合采用本发明设计的基于轮廓系数的层次聚类方法处理201，获 取数据集分布，将聚簇中心作为不同分类器类标签，即完成人体行为模型建立。具体描述为：

（a）设选定L不同的聚类个数k,k={k₁,k₂,…,k_L},分别在D^ensemble执行K-means聚类算 法，计算不同的k_i(i=1,2,…,L)下的Silhouette index(轮廓系数值)S_ki，选取最大的S_ki对应的ki作为人体行为分类器个数；

（b）将聚类个数选为最大轮廓系数值对应的k_i，在D^ensemble上执行分裂性层次聚类算 法，选用连接方式为全连接方式，得到最终的聚类结果，将聚簇中心作为建立的行为 分类器的类标签，即完成对人体行为模型进行建立。而出现的离群点被认为是异常行 为。在实际应用中，此行为模式与一定的警示信号关联起来，当出现此类行为时，给 出预警。至此，成功建立人体行为模型；

（6）而成功建立人体行为模型分类器107，即可以对观测样本视频图像108进行分析理 解，得到行为分析结果109，本发明选用计算样本数据对象与建立的分类器模型中心之间的 距离来完成分类识别，每次行为识别结束后，重新计算各个分类器中心，体现了本发明设计 的分类器的自学习能力。除此之外，可以选用模板匹配和HMM（Hidden Markov Models, HMM）及DBN（Dynamic Bayesian Networks,DBN）行为识别方法来进行行为识别。但这些 行为识别方法并非唯一，仍然存在其他等效的实施例。

本发明的基本思想如下：

该基于先验知识和聚类的人体行为建模与识别方法，其中，首先基于先验知识的特征提 取方法对人体行为先验特征信息进行提取，并设计了特征提取器得到人体行为先验特征描述 信息，同时采取人体行为建模方法对基础特征信息进行提取；然后采用人体行为特征融合处 理方法对上述两类人体行为特征信息进行融合，在融合后的数据集上采用基于轮廓系数的层 次聚类方法生成人体行为分类器，最后在人体行为识别器110中，通过自学习的方法持续完 善分类器。

该基于先验知识的特征提取方法，从先验知识的角度，对用户感兴趣特征或者行业专业 领域特征进行提取，不同类型的特征属性采用对应的特征提取方法进行提取。并设计针对先 验知识的特征提取器，以此获取基于先验知识的个性化特征组合，以特征数据集D来描述。 然后采用主成分分析方法对特征提取器获取的特征空间进行处理，得到的降维结果以数据集 D^prior来表示。

该特征提取器103设计方法，其中：

（a）特征提取器103从视频图像数据集301，选取的人体行为特征为：静态特征302（大 小、颜色、轮廓和形状）、动态特征303（位置、速度和运动方向）及时空特征304（时空兴 趣点、时空形状），针对每类特征设计对应的特征提取方法：用背景差分目标检测法与粒子群 滤波跟踪方法处理模块305对静态特征302进行提取，用光流法处理模块306对动态特征303 进行提取，选用Gabor滤波方法处理模块307提取时空特征304；

（b）以先验知识为指导，从特征提取器给定的特征中选取个性化的特征组合，即依据用 户经验知识和兴趣度选取特征，并采用对应的特征提取方法进行特征提取，得到的特征组合 以描述数据集308的形式存储，以D表示。

该人体行为建模方法中，采用3D视觉传感器提取人体骨架结构关节点（头部、脖子、 左肩、左肘、左手、右肩、右肘、右手、躯干、左髋、左膝、左脚、右臀、右膝、右脚共15 个关节点）信息，将这些关节点以数据集形式存储，以D^basis表示，来描述人体行为的基础特 征信息。

该人体行为特征融合处理方法，其中，选用特征依次串接组合法对数据集D^prior和D^basis进行融合，得到融合结果以数据集D^ensemble表示。具体做法为：设D^prior和D^basis属性（特征） 个数分别为n₁和n₂，则D^ensemble的属性个数为(n₁+n₂)。其中提取D^prior的n₁个属性作为D^ensemble的前n₁个属性，而D^basis的n₂个属性作为D^ensemble的第(n₁+1)～(n₁+n₂)个属性。

该人体行为分类器生成器，其中，采用基于轮廓系数的层次聚类方法对融合数据集 D^ensemble进行聚类分析，得到有效聚簇分布，即为人体行为分类器。具体描述为：首先选取L 个不同的聚类个数(k₁,k₂,…,k_L)，在融合后的人体行为特征数据集D^ensemble上分别选用这L个 聚类数目，执行L次K-means聚类，对得到的L个聚类分析结果分别计算其轮廓系数值的大 小，选取最大的轮廓系数值对应的聚类个数作为下一步层次聚类的聚簇个数；然后在D^ensemble上执行一次层次聚类得到最终的聚类结果，将聚簇中心作为人体行为分类器的类标签，即完 成对人体行为模型建立过程。其中，聚类结果分布中的离群点被作为异常行为模式，为异常 行为的识别奠定技术基础。

该人体行为识别器，其中，行为识别子过程在人体行为建模的基础上，通过计算观测样 本与各个行为模式分类器中心之间的距离来实现匹配，每次匹配结束后重新调整分类器中心， 从而通过这种自学习方式对分类器进行持续优化。

本发明的技术效果如下：

（1）选用改进的基于轮廓系数的层次聚类方法来建立人体行为分类器，以聚类效果评价 指标为指导，得到准确的分类器个数的同时，亦得到了优秀的聚簇效果。

（2）将先验知识用于指导对特征进行选取，充分考虑到了用户的个人兴趣度和行业领域 知识的指导价值，帮助获取有效完备的对人体行为进行描述的特征属性集合。为了消除这些 特征的冗余性和避免维度灾难，采用主成分分析方法对这些特征属性组合进行降维处理，得 到有效的人体行为特征数据集合。

（3）从融合特征角度对基于用户先验知识获取的特征和基本的3D视觉获取的骨架特征 信息进行有机融合，使得到的数据集完备有效。

（4）设计的建模系统具有自学习能力，可以随着观测样本的分类来持续完善分类器。

（5）在人体行为建模子过程得到的聚簇分布中，若存在离群点，将其作为异常行为模型， 在设计系统时，可以根据需要给出预警，有着巨大的现实意义。

采用了上述的计算机系统中基于先验知识的聚类技术实现针对人体行为的建模和识别处 理方法，由于其中选用改进的基于轮廓系数的层次聚类方法来建立人体行为分类器，以聚类 效果评价指标为指导，得到准确的分类器个数的同时，亦得到了优秀的聚簇效果；将先验知 识用于指导对特征进行选取，充分考虑到了用户的个人兴趣度和行业领域知识的指导价值， 帮助获取有效完备的对人体行为进行描述的特征属性集合。为了消除这些特征的冗余性和避 免维度灾难，采用主成分分析方法对这些特征属性组合进行降维处理，得到有效的人体行为 特征数据集合；从融合特征角度对基于用户先验知识获取的特征和基本的3D视觉获取的骨 架特征信息进行有机融合，使得到的数据集完备有效；构建的建模系统具有自学习能力，可 以随着观测样本的分类来持续完善分类器；在人体行为建模子过程得到的聚簇分布中，若存 在离群点，将其作为异常行为模型，在设计系统时，可以根据需要给出预警，有着巨大的现 实意义，从而考虑了先验知识对人体行为识别结果的重要影响，并采用改进的聚类方法对人 体行为进行建模和识别，可以为异常行为的识别奠定基础，方法简单高效，可以准确识别不 同的行为模式，且具有较好的扩展性，工作性能稳定可靠、适用范围较为广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种 修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限 制性的。