首页> 中文期刊> 《软件学报》 >基于深度学习的语言模型研究进展

基于深度学习的语言模型研究进展

         

摘要

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行了对比和分析.同时又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行了详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行了概述和评价.最后总结了语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望.

著录项

  • 来源
    《软件学报》 |2021年第4期|1082-1115|共34页
  • 作者单位

    吉林大学计算机科学与技术学院 吉林长春 130012;

    吉林大学计算机科学与技术学院 吉林长春 130012;

    符号计算与知识工程教育部重点实验室(吉林大学) 吉林长春 130012;

    吉林大学软件学院 吉林长春 130012;

    符号计算与知识工程教育部重点实验室(吉林大学) 吉林长春 130012;

    Department of Computer Science University of Illinois at Chicago Chicago 60607 USA;

    吉林大学计算机科学与技术学院 吉林长春 130012;

    吉林大学计算机科学与技术学院 吉林长春 130012;

    符号计算与知识工程教育部重点实验室(吉林大学) 吉林长春 130012;

  • 原文格式 PDF
  • 正文语种 chi
  • 中图分类 信息处理(信息加工);
  • 关键词

    语言模型; 预训练; 深度学习; 自然语言处理; 神经语言模型;

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号