基于自然语言对象检索的人机交互技术研究

声明

第1 章 绪论

1.1 课题来源

1.2 研究背景及意义

1.3.1 人机交互技术研究现状

1.3.2 自然语言对象检索技术国内外研究现状

1.4 主要研究内容及章节安排

第2 章 系统组成与方案设计

2.1 系统总体方案设计

2.2 系统硬件构成

2.2.1 EPSON机器人

2.2.2 Kinect摄像机

2.3 系统软件设计

2.4 本章小结

第3 章 机器人视觉定位抓取系统

3.1 机器人视觉定位抓取系统搭建

3.2 基于Kinect 的视觉定位模块

3.2.1 手眼标定

3.2.2 目标对象空间坐标测量

3.3 EPSON机器人抓取模块

3.3.1 机器人D-H参数确定

3.3.2 机器人正运动学解算

3.3.3 机器人逆运动学解算

3.4 手眼标定实验

3.5 本章小结

第4 章 基于Faster-RCNN 的候选区域提取算法

4.1 机器人抓取数据集构建

4.2 候选区域提取算法

4.2.1 Faster-RCNN目标检测框架

4.2.2 ResNet网络原理

4.2.3 基于Faster-RCNN的候选区域提取算法实现

4.3 候选区域提取模型训练与评估

4.3.1 候选区域提取模型训练

4.3.2 候选区域提取模型评估

4.4 本章小结

第5 章 自然语言对象检索算法

5.1 自然语言对象检索任务概述

5.2 空间上下文记忆残差网络结构

5.2.1 特征提取模块

5.2.2 词向量编码模块

5.2.3 LSTM模块

5.2.4 表述预测层

5.3 SCLR模型训练与精度评估

5.4 本章小结

第6 章 平台搭建及实验分析

6.1 人机交互实验平台

6.1.1 人机交互实验平台搭建

6.1.2 人机交互实验平台界面设计

6.1.3 语音识别

6.2 候选区域提取效果和对象检索效果

6.2.1 候选区域提取效果

6.2.2 SCLR模型对象检索效果

6.3 人机交互实验

6.3.1 机器人抓取动作预设

6.3.2 语音交互抓取实验

6.4 本章小结

第7 章 总结与展望

7.1 总结

7.2 展望

参考文献

作者简介及科研成果

致谢