首页> 中文学位 >基于Kinect的手语识别技术在聋哑教学中的应用研究
【6h】

基于Kinect的手语识别技术在聋哑教学中的应用研究

代理获取

目录

声明

摘要

第1章 绪论

1.1 课题研究的意义

1.2 国内外研究现状

1.3 研究内容和组织结构

第2章 相关技术与开发平台

2.1 常用手语特征提取

2.2 手语识别常用算法

2.3 Kinect体感设备

2.4 OpenNI与OpenCV

2.4.1 OpenNI简介

2.4.2 OpenCV简介

2.5 本章小结

第3章 相关理论基础

3.1 罗森塔尔效应

3.1.1 理论概述

3.1.2 对系统的理论支持

3.2 社会学习理论

3.2.1 理论概述

3.2.2 对系统的理论支持

3.3 学习金字塔理论

3.3.1 理论概述

3.3.2 对系统的理论支持

3.4 人本主义学习理论

3.4.1 理论概述

3.4.2 对系统的理论支持

3.5 本章小结

第4章 手部追踪及特征提取研究

4.1 手语识别系统架构

4.2 手部检测与追踪

4.3 手部特征提取

4.2.1 手掌运动特征提取

4.2.2 手指运动特征提取

4.2.3 静态手语特征提取

4.4 本章小结

第5章 基于HMM和SVM模型的手语识别

5.1 HMM模型

5.1.1 HMM基本原理

5.1.2 HMM基本问题

5.2 SVM模型

5.2.1 SVM基本原理

5.2.2 最优分类面

5.2.3 SVM核函数

5.3 基于HMM的手掌动态手语识别

5.4 基于SVM/HMM的手指动态手语识别

5.5 基于SVM的静态手语识别

5.6 本章小结

第6章 手语识别系统的设计与实现

6.1 系统硬件及软件环境

6.1.1 硬件环境

6.1.2 软件环境

6.2 手部检测与追踪

6.3 手语特征提取的实现

6.3.1 手掌运动特征提取

6.3.2 手指运动特征提取

6.3.3 静态手语特征提取

6.4 手语识别的实现及运行效果

6.4.1 手掌动态手语识别

6.4.2 手指动态手语识别

6.4.3 静态手语识别

6.5 本章小结

结论和展望

致谢

参考文献

攻读硕士学位期间发表的论文

展开▼

摘要

手语是聋哑人与其他人沟通的主要工具,应用手语识别技术使计算机能够理解并翻译读取的手语,帮助聋哑人与健全人沟通更加方便快捷。并且,随着体感技术的发展,使计算机更加容易理解人们动作,为手语识别技术的研究提供了新的方法与途径。由于传统的输入设备不能很好的满足人们对人机交互的要求。因此研究手语识别技术,不仅使聋哑人更加容易与健全人进行交流,同时有助于人机交互技术的发展。
  本课题以聋哑学校教学需求为背景,在对传统的手语识别方法进行了深入研究的基础上,基于Kinect体感摄像机,对手语的特征提取方法和识别算法进行了改进,并实现了手语识别系统。本系统包含动态手语识别和静态手语识别部分,其中,动态手语识别包含手掌运动的手语识别和手指运动的手语识别。通过手语识别系统将手语进行翻译,并用人们理解的词语表达出来,提供聋哑学生与不懂手语的健全人沟通的途径,获得更多的学习资源,从而提高聋哑学生的教学质量。同时为改进教师与电脑的交互方式等研究奠定了很好的基础。
  本文首先介绍了手语识别的背景和意义,并阐述了国内外的研究现状。接下来介绍了常用的特征提取和手语识别算法及与本文相关的技术和平台,同时阐释了将手语识别系统应用于聋哑儿童教育的理论支持。然后对手部特征提取和检测方法做了详细的描述。在动态手语的特征提取部分,针对Kinect独有的特点提出了手掌运动二次特征提取、手指运动变化深度直方图的方法。在静态手语特征提取部分,使用了手部的的Freeman链码,并对其进行了归一化和旋转不变性的处理。针对动态手语的手掌运动识别,提出了双层HMM模型,针对动态手语中手指运动的识别提出了改进的SVM/HMM模型,静态手语的识别使用了SVM算法。最后,将以上方法进行验证,同时给出了系统的设计和编码实现。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号