基于图文多模态门控增强的文本平行句对抽取方法

霍茜曈

首页> 中文期刊> 《电视技术》 >基于图文多模态门控增强的文本平行句对抽取方法

基于图文多模态门控增强的文本平行句对抽取方法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

目前,主流平行句对抽取方法大都采用预训练模型加微调的策略,并基于句子语义相似性实现平行句对的抽取。但该方法对词级实体级等细粒度的对齐考虑不足,使得获取的平行句对在词粒度上存在噪声,影响了平行句对的质量。图像是一种语言无关的模态,可以跨越语言之间的语义鸿沟,且包括丰富的词级或实体信息。本文以图像模态为双语对齐的锚点,基于多模态门控增强,实现图像模态信息在双语表征端的自适应融合,最终实现平行句对的判别。本文所提的方法无需提前进行图像和文本的对齐标注。首先,从预构建好的图像数据库中基于词级或实体粒度对齐抽取源语言和目标语言的相关的图像模态信息;其次,基于图文多模态门控的方式分别实现源语言和目标语言图文信息的融合,获得图像增强后的文本语义表征;最后,将双语表征信息进行融合,实现平行句对抽取。所提方法在英语-越南语、英语-德语双语平行句对抽取任务上进行了实验,证明了融合图像信息对文本平行句对抽取的有效性。

著录项

来源
《电视技术》 |2022年第6期|46-53|共9页
作者
霍茜曈;
展开▼
作者单位

昆明理工大学信息工程与自动化学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类程序设计;
关键词
平行句对抽取; 图文模态门控; 神经网络; 信息增强;

相似文献

中文文献
外文文献
专利

1. 基于预训练语言模型及交互注意力的平行句对抽取方法 [J] . 张乐乐 ,郭军军 ,王繁 . 通信技术 . 2022,第4期
2. 基于语义自适应编码的汉-越伪平行句对抽取方法 [J] . 郭军军 ,田应飞 ,余正涛 . 中文信息学报 . 2021,第9期
3. 基于CNN-CorrNet网络的汉缅平行句对抽取方法 [J] . 毛存礼 ,吴霞 ,朱俊国 . 中文信息学报 . 2020,第11期
4. 基于综合方法的文本主题句的自动抽取 [J] . 张云涛 ,龚玲 ,王永成 . 上海交通大学学报 . 2006,第5期
5. 基于句法差异的汉-越平行句对抽取 [J] . 于志强 ,高明虎 ,陈宇星 . 云南民族大学学报（自然科学版） . 2020,第004期
6. 基于百度百科与文本分类的网络文本语义主题抽取方法 [C] . Chen Yewang ,陈叶旺 ,Chen Chaoyang . 2012年第三届中国计算机学会服务计算学术会议 . 2012
7. 大规模网络数据中的平行句对抽取 [A] . 王超 . 2011

基于图文多模态门控增强的文本平行句对抽取方法

摘要

著录项

相似文献

相关主题

期刊订阅