基于显著性特征提取的图像描述算法

王鑫; 宋永红; 张元林

首页> 中文期刊> 《自动化学报》 >基于显著性特征提取的图像描述算法

基于显著性特征提取的图像描述算法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

图像描述(Image captioning)是一个融合了计算机视觉和自然语言处理这两个领域的研究方向,本文为图像描述设计了一种新颖的显著性特征提取机制(Salient feature extraction mechanism,SFEM),能够在语言模型预测每一个单词之前快速地向语言模型提供最有价值的视觉特征来指导单词预测,有效解决了现有方法对视觉特征选择不准确以及时间性能不理想的问题.SFEM包含全局显著性特征提取器和即时显著性特征提取器这两个部分:全局显著性特征提取器能够从多个局部视觉向量中提取出显著性视觉特征,并整合这些特征到全局显著性视觉向量中;即时显著性特征提取器能够根据语言模型的需要,从全局显著性视觉向量中提取出预测每一个单词所需的显著性视觉特征.本文在MS COCO(Microsoft common objects in context)数据集上对SFEM进行了评估,实验结果表明SFEM能够显著提升基准模型(baseline)生成图像描述的准确性,并且SFEM在生成图像描述的准确性方面明显优于广泛使用的空间注意力模型,在时间性能上也大幅领先空间注意力模型.

著录项

来源
《自动化学报》 |2022年第3期|735-746|共12页
作者
王鑫; 宋永红; 张元林;
展开▼
作者单位

西安交通大学软件学院;

西安交通大学人工智能学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类计算技术、计算机技术;
关键词
图像描述; 显著性特征提取; 语言模型; 编码器; 解码器;

相似文献

中文文献
外文文献
专利

1. 基于感受野的图像视觉显著性特征提取算法 [J] . 陈杰 . 科技传播 . 2018,第006期
2. 基于多特征提取的图像语义描述算法 [J] . 赵小虎 ,李晓 . 计算机应用 . 2021,第006期
3. 基于注意力特征提取网络的图像描述生成算法 [J] . 李金轩 ,杜军平 ,周南 . 南京信息工程大学学报 . 2019,第003期
4. 马尔可夫边缘描述符的图像特征提取算法 [J] . 崔宁海 ,刘丽萍 . 计算机应用 . 2012,第004期
5. 空间主颜色描述符的图像特征提取算法 [J] . 崔宁海 ,刘丽萍 ,礼长智 . 沈阳理工大学学报 . 2011,第004期
6. 基于图像显著性的局部运动模糊图像复原算法 [C] . Ma Xin ,马鑫 ,Zhao Chunhui . 第六届中国信息融合大会 . 2014
7. 基于图像特征提取和描述的匹配算法研究 [A] . 叶志坚 . 2018

基于显著性特征提取的图像描述算法

摘要

著录项

相似文献

相关主题

期刊订阅