基于XLNET的抽取式多级语义融合模型

胡益淮

首页> 中文期刊> 《通信技术》 >基于XLNET的抽取式多级语义融合模型

基于XLNET的抽取式多级语义融合模型

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

机器阅读理解的公开数据集有许多,根据答案类型的不同可分为抽取式数据集(如SQuAD)、生成式数据集(如MS MARCO)、完形填空数据集(如CNN/Daily Mail)、多项选择数据集(如MCTest)等等.抽取式数据集的特点为其问题的答案为原文中的一个序列.针对于SQuAD提出了新的机器阅读理解模型:模型的表示层采用了XLNET语言模型生成词向量以替代了GloVe传统词向量与BERT预训练词向量.该模型的编码层采用两层双向LSTM网络对表示层输出的文本向量进行编码,提取文本的多级语义.该模型在交互层利用注意力机制对多级语义进行融合,并在输出层通过指针网络输出答案.最后在SQuAD 2.0数据集上测试,获得了78.2％的EM与81.75％的F1成绩.

著录项

来源
《通信技术》 |2020年第7期|1630-1635|共6页
作者
胡益淮;
展开▼
作者单位

杭州电子科技大学计算机学院浙江杭州 310018;

展开▼
原文格式 PDF
正文语种 chi
中图分类计算机仿真;
关键词
深度学习; 自然语言处理; 机器阅读理解; 注意力机制; XLNET;

相似文献

中文文献
外文文献
专利

1. 基于答案模式和语义特征融合的答案抽取方法 [J] . 田卫东 ,祖永亮 . 计算机工程与应用 . 2011,第013期
2. 基于注意力与神经图灵机的语义关系抽取模型 [J] . 张润岩 ,孟凡荣 ,周勇 . 计算机应用 . 2018,第007期
3. 基于语义的中文事件触发词抽取联合模型 [J] . 李培峰 ,周国栋 ,朱巧明 . 软件学报 . 2016,第002期
4. 基于数学模型的语义抽取构建探析 [J] . 邸东博 . 科技情报开发与经济 . 2012,第024期
5. 基于特定数学模型的语义抽取研究 [J] . 关丽红 . 白城师范学院学报 . 2012,第003期
6. 一种结合外部知识的动态多层次语义抽取网络模型 [C] . Haibo Liu ,刘海波 ,Zhigang Zhuang . 第六届中国计算机学会大数据学术会议 . -1
7. 基于XLNet与字词融合编码的中文命名实体识别研究 [A] . 杨敬闻 . 2020

基于XLNET的抽取式多级语义融合模型

摘要

著录项

相似文献

相关主题

期刊订阅