注意力机制在深度学习中的研究进展

朱张莉; 饶元; 吴渊; 祁江楠; 张钰

首页> 中文期刊> 《中文信息学报》 >注意力机制在深度学习中的研究进展

注意力机制在深度学习中的研究进展

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

注意力机制逐渐成为目前深度学习领域的主流方法和研究热点之一,它通过改进源语言表达方式,在解码中动态选择源语言相关信息,从而极大改善了经典Encoder-Decoder框架的不足.该文在提出传统基于Encoder-Decoder框架中存在的长程记忆能力有限、序列转化过程中的相互关系、模型动态结构输出质量等问题的基础上,描述了注意力机制的定义和原理,介绍了多种不同的分类方式,分析了目前的研究现状,并叙述了目前注意力机制在图像识别、语音识别和自然语言处理等重要领域的应用情况.同时,进一步从多模态注意力机制、注意力的评价机制、模型的可解释性及注意力与新模型的融合等方面进行了探讨,从而为注意力机制在深度学习中的应用提供新的研究线索与方向.

著录项

来源
《中文信息学报》 |2019年第6期|1-11|共11页
作者
朱张莉; 饶元; 吴渊; 祁江楠; 张钰;
展开▼
作者单位

西安交通大学软件学院社会智能与复杂数据处理实验室;

陕西西安710049;

西安交通大学软件学院社会智能与复杂数据处理实验室;

陕西西安710049;

西安交通大学软件学院社会智能与复杂数据处理实验室;

陕西西安710049;

西安交通大学软件学院社会智能与复杂数据处理实验室;

陕西西安710049;

陕西师范大学计算机科学学院;

陕西西安710119;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
深度学习; 注意力机制; 编码器—解码器;

相似文献

中文文献
外文文献
专利

1. 基于注意力机制的深度学习推荐研究进展 [J] . 陈海涵 ,吴国栋 ,李景霞 . 计算机工程与科学 . 2021,第002期
2. 深度学习中注意力机制研究进展 [J] . 刘建伟 ,刘俊文 ,罗雄麟 . 北京科技大学学报 . 2021,第011期
3. 深度学习中基于注意力机制的推荐模型研究 [J] . 赖颖婕 . 电脑编程技巧与维护 . 2021,第012期
4. 基于深度学习的影像组学在结直肠癌中的研究进展 [J] . 张可可 ,许永生 ,高雅 . 磁共振成像 . 2021,第003期
5. 基于深度学习的人工智能技术在乳腺MRI中的应用研究进展 [J] . 薛宏伟 ,王培军 . 中国中西医结合影像学杂志 . 2021,第006期
6. 战场态势感知中的注意力机制探析 [C] . Kong Yisi ,孔亦思 ,Hu Xiaofeng . 2017中国仿真大会 . 2017
7. 基于注意力机制与深度学习的故障诊断方法研究 [A] . 宋林 . 2021

注意力机制在深度学习中的研究进展

摘要

著录项

相似文献

相关主题

期刊订阅