预训练语言模型BERT在下游任务中的应用

段瑞雪; 巢文宇; 张仰森

首页> 中文期刊> 《北京信息科技大学学报（自然科学版）》 >预训练语言模型BERT在下游任务中的应用

预训练语言模型BERT在下游任务中的应用

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

BERT模型是一种全新的语言模型,其采用微调的双向Transformer编码实现,利用fine-tuning的方式进行预训练,实际使用时,只需要根据具体任务额外增加一个输出层就可以用来解决特定任务,克服了传统词嵌入模型对不同任务定义不同网络结构的缺点.为了更好地理解BERT模型及其效果,首先概述BERT模型的原理,以及BERT的预训练策略,然后介绍了如何将BERT模型应用于3个下游任务:文本分类、机器阅读理解和文本摘要,并通过对比实验展示了BERT模型的优势.最后,对未来研究方向进行了展望.

著录项

来源
《北京信息科技大学学报（自然科学版）》 |2020年第6期|77-83|共7页
作者
段瑞雪; 巢文宇; 张仰森;
展开▼
作者单位

北京信息科技大学计算机学院北京100192;

国家经济安全预警工程北京实验室北京100044;

北京信息科技大学计算机学院北京100192;

北京信息科技大学信息管理学院北京100192;

国家经济安全预警工程北京实验室北京100044;

展开▼
原文格式 PDF
正文语种 chi
中图分类文字信息处理;
关键词
预训练; 机器阅读理解; 文本分类; 文本摘要;

相似文献

中文文献
外文文献
专利

1. 基于BERT预训练语言模型的印尼语语音合成 [J] . 赵立铉 ,杨鉴 . 云南大学学报:自然科学版 . 2021,第6期
2. 基于BERT预训练语言模型的电网设备缺陷文本分类 [J] . 田园 ,原野 ,刘海斌 . 南京理工大学学报（自然科学版） . 2020,第004期
3. 用于金融文本挖掘的多任务学习预训练金融语言模型 [J] . 刘壮 ,刘畅 ,Wayne Lin . 计算机研究与发展 . 2021,第008期
4. 预训练语言模型在中文电子病历命名实体识别上的应用 [J] . 吴小雪 ,张庆辉 . 电子质量 . 2020,第009期
5. 感知器在语言模型训练中的应用 [J] . 于浩 ,步丰林 ,高剑峰 . 计算机研究与发展 . 2006,第002期
6. CPLM-CSC:基于单字级别预训练语言模型的中文错别字纠正方法 [C] . Haihua XIE ,谢海华 ,Aolin LI . 第十八届中国计算语言学大会暨中国中文信息学会2019学术年会 . 2018
7. 基于BERT预训练的事件抽取方法研究 [A] . 王朱君 . 2021

预训练语言模型BERT在下游任务中的应用

摘要

著录项

相似文献

相关主题

期刊订阅