基于滑动窗口注意力网络的关系分类模型

潘理虎; 陈亭亭; 闫慧敏; 赵彭彭; 张睿; 张英俊

首页> 中文期刊> 《计算机技术与发展》 >基于滑动窗口注意力网络的关系分类模型

基于滑动窗口注意力网络的关系分类模型

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

实体关系抽取是构建知识图谱过程中至关重要的一步。将注意力机制引入卷积神经网络或循环神经网络是目前关系抽取任务中比较主流的解决方法,谷歌最新提出的BERT模型在多项自然语言处理任务中都取得了非常好的效果。为了充分融合局部信息和全局信息,并提高处理效率,该文提出了滑动窗口注意力网络模型(Sliding Window Attention Network,SWAN)。该模型首先通过预训练的word2vec生成词向量,加入位置表示并使用TransE模型对实体进行表征以充分突出实体信息,再采用基于BERT的SBERT模型对句子进行表征,在此基础上采用多种滑动窗口注意力机制捕获局部信息,然后在聚集层对抽取到的局部信息进行聚合,最后利用softmax函数来实现实体关系的分类。实验结果表明,提出的SWAN模型在SemEval2010 Task 8数据集上取得了较高的准确率,优于对比的现有关系抽取模型,同时模型训练效率也得到极大提升。

著录项

来源
《计算机技术与发展》 |2022年第6期|21-27|共8页
作者
潘理虎; 陈亭亭; 闫慧敏; 赵彭彭; 张睿; 张英俊;
展开▼
作者单位

太原科技大学计算机科学与技术学院;

中国科学院地理科学与资源研究所;

展开▼
原文格式 PDF
正文语种 chi
中图分类文字信息处理;
关键词
实体关系抽取; 滑动窗口; SBERT; 注意力机制; 局部信息; 全局信息;

相似文献

中文文献
外文文献
专利

1. 基于图注意力网络的多标签图像分类模型 [J] . 张辉宜 ,张进 ,黄俊 . 重庆工商大学学报:自然科学版 . 2022,第1期
2. 基于残差混合注意力机制的脑部CT图像分类卷积神经网络模型 [J] . 乔思波 ,庞善臣 ,王敏 . 电子学报 . 2021,第005期
3. 基于交互注意力机制网络模型的故障文本分类 [J] . 刘鹏程 ,孙林夫 ,张常有 . 计算机集成制造系统 . 2021,第1期
4. 基于层级注意力机制与双向长短期记忆神经网络的智能合约自动分类模型 [J] . 吴雨芯 ,蔡婷 ,张大斌 . 计算机应用 . 2020,第4期
5. 基于位置注意力机制的字词双维度卷积神经网络违法违规行为语义分类模型 [J] . 徐清越 ,左敏 ,张青川 . 科学技术与工程 . 2020,第025期
6. 基于隐含主题协同注意力网络的领域分类方法 [C] . HUANG Peisong ,黄培松 ,HUANG Peijie . 第十八届中国计算语言学大会暨中国中文信息学会2019学术年会 . 2018
7. 基于高维注意力机制的互学习关系分类模型 [A] . 李洛勤 . 2020

基于滑动窗口注意力网络的关系分类模型

摘要

著录项

相似文献

相关主题

期刊订阅