基于单目摄像头的嵌入式手势识别算法研究与实现

代理获取

页面导航

目录
摘要
著录项
相似文献
相关主题

摘要

基于单目摄像头的手势识别是人机交互领域的热门研究方向之一。然而，单目摄像头下的手部检测和识别仍然受到复杂背景、运动模糊、光线变化等问题的影响。虽然近几年基于深度学习的目标检测算法显著提高了手部检测的准确率，但仍然存在很高的计算开销，不适用于嵌入式平台。因此，本文基于轻量级的CNN模型，研究实现快速准确的手势识别算法，并将其应用于嵌入式平台。首先，本文结合SSD框架和改进的MobileNet模型实现了静态图片的手部检测和方向估计。为提高模型的检测精度，本文修改了MobileNet模型的网络结构，并通过自顶向下的特征融合结构引入上下文信息。为了精确估计手部方向，本文建立长轴和短轴向量的概念，并通过估计向量在水平和垂直方向的投影，实现手部方向对齐边框的检测。接着，本文针对视频序列提出快速的手部检测和手形识别算法。该检测模型根据上一帧检测结果确定当前帧的搜索区域，然后进行手部检测和手形识别，以此迭代地完成视频序列的检测。同时，本文针对模型训练给出了样本生成和数据扩增的方案。最后，本文将上述算法在嵌入式平台Jetson TK1上进行实现和优化，先后采用多种方案缩减模型的计算开销和内存读写，有效减少了模型在嵌入式平台的时间开销。本文在Oxford手势数据集上评估了静态图片的检测模型，其手部检测准确率为83.2%AP，在NVIDIA Titan X上的单帧处理时间为7.2ms，在速度上是现有最准确的方法的29.9倍，并在精度上提高8.1个百分点。视频序列的检测模型在EgoFinger数据集上进行了评估，手部检测的平均重叠率达到84.1%，在NVIDIA Titan X上实现2.5ms的单帧处理时间。经过在嵌入式平台Jetson TK1上的算法优化，静态图片和视频序列的检测模型分别达到61.659ms和23.183ms的单帧处理时间，基本满足实时的计算需要。

著录项

作者
杨力;
展开▼
作者单位

东南大学;

展开▼
授予单位东南大学;
学科电子科学与技术
授予学位硕士
导师姓名齐志;
年度 2018
页码
总页数
原文格式 PDF
正文语种中文
中图分类航空仪表、航空设备、飞行控制与导航;仪器、仪表;
关键词
单目; 摄像头; 嵌入式; 手势识别;

相似文献

中文文献
外文文献
专利

1. 基于深度学习的单目摄像头动态手势识别与交互 [J] . 孙博文 ,于峰 . 哈尔滨理工大学学报 . 2021,第001期
2. 基于单目摄像头的3D动态手势交互 [J] . 王岩全 ,孙博文 . 计算机工程与科学 . 2018,第009期
3. 基于单目RGB摄像头的空间结构识别算法 [J] . 张继凯 ,马浩宇 . 内蒙古科技大学学报 . 2019,第003期
4. 基于Kinect动态手势识别算法的研究与实现 [J] . 张莹莹 ,郭星 . 计算机技术与发展 . 2017,第012期
5. 基于嵌入式系统的改进SVM手势识别算法研究 [J] . 刘妙阁 . 数字技术与应用 . 2016,第005期
6. 基于Kinect的手势数据库及动静态手势识别算法 [C] . Zhang Xin ,张鑫 ,Qian Wei . 第17届全国图象图形学学术会议 . 2014
7. 基于深度学习的单目摄像头下动态手势识别算法 [A] . 于峰 . 2021

基于单目摄像头的嵌入式手势识别算法研究与实现

目录

摘要

著录项

相似文献

相关主题

期刊订阅