融合交叉自注意力和预训练模型的文本语义相似性评估方法

李正光; 陈恒; 李远刚

首页> 中文期刊> 《数学的实践与认识》 >融合交叉自注意力和预训练模型的文本语义相似性评估方法

融合交叉自注意力和预训练模型的文本语义相似性评估方法

开具论文收录证明 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

评估两个句子的语义相似性是文本检索和文本摘要等自然语言处理任务的重要组成部分.学者利用深度神经网络执行该任务,然而它们依赖于上下文独立词向量,从而导致性能不佳.为了缓解该问题,采用预训练模型BERT替换传统的词向量,并提出交叉自注意力以增强两个句子的语义,然后与BERT结合.在提出的模型中,为了实现交叉自注意力操作,设计了向量的对齐方法.最后,将BERT输出输入一个双向循环神经网络,以稳定性能,克服BERT自身带来的波动性.实验中,采用3个公开数据集DBMI2019、CDD-ref和CDD-ful对提出的混合模型进行评价.实验结果表明,由于使用了BERT生成的语境词向量,提出模型的性能始终优于现存方法;交叉自注意力实现了彼此的语义交互而增强了句对的语义,使得相似句对的语义差异更小,而不相似句对的语义差异更大,提高了相似性评估的性能.最终,提出模型在DBMI2019、CDD-ref和CDD-ful上分别取得了0.846,0.849和0.845的皮尔逊相关系数,超越了直接以[CLS]输出向量作为评估的方法.

著录项

来源
《数学的实践与认识》 |2022年第7期|165-175|共11页
作者
李正光; 陈恒; 李远刚;
展开▼
作者单位

1. 大连外国语大学语言智能研究中心 2. 大连外国语大学一带一路城市与区域发展研究院 3. 上海商学院商务信息学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类文字信息处理;
关键词
语义相似性; 交叉自注意力; 预训练模型; 语义交互;

相似文献

中文文献
外文文献
专利

1. 融合预训练模型和注意力的实体关系抽取方法 [J] . 李智杰 ,韩瑞瑞 ,李昌华 . 计算机科学与探索 . 2023,第6期
2. 融合预训练模型与注意力机制的军事实体关系抽取方法 [J] . 鲁义威 ,杨若鹏 ,殷昌盛 . 信息工程大学学报 . 2022,第1期
3. 融合语义结构的注意力文本摘要模型 [J] . 滕少华 ,董谱 ,张巍 . 广东工业大学学报 . 2021,第3期
4. 融合BERT与标签语义注意力的文本多标签分类方法 [J] . 吕学强 ,彭郴 ,张乐 . 计算机应用 . 2022,第1期
5. 融合非偏好注意力跨度的预训练语言模型 [J] . 邹傲 ,郝文宁 ,陈刚 . 陆军工程大学学报 . 2023,第3期
6. 结合预训练模型和语言知识库的文本匹配方法 [C] . Yeheng Zhou ,周烨恒 ,Jiahan Shi . 第十八届中国计算语言学大会暨中国中文信息学会2019学术年会 . 2018
7. 预训练深度学习架构下的语义地址匹配与语义空间融合模型研究 [A] . 徐流畅 . 2020

融合交叉自注意力和预训练模型的文本语义相似性评估方法

摘要

著录项

相似文献

相关主题

期刊订阅