首页> 中国专利> 预训练语言模型的训练方法、语言模型的训练方法及装置

预训练语言模型的训练方法、语言模型的训练方法及装置

摘要

本公开提供一种预训练语言模型的训练方法、语言模型的训练方法及装置,包括:获取样本文本,根据样本文本执行预训练任务中的至少两种,得到预训练语言模型,其中,预训练任务包括:前向因果语言建模任务、反向因果语言建模任务以及掩码语言建模任务,前向因果语言建模任务为由样本文本中在前的词预测样本文本中在后的词的建模任务,反向因果语言建模任务为由样本文本中在后的词预测样本文本中在前的词的建模任务,掩码语言建模任务为由样本文本中非掩码位置的词预测样本文本中掩码位置的词的建模任务,可以实现从多个维度进行预训练,从而实现训练的多样性和灵活性,且可以使得从多个维度训练得到的预训练语言模型具有较高的准确性和可靠性。

著录项

  • 公开/公告号CN114757171A

    专利类型发明专利

  • 公开/公告日2022-07-15

    原文格式PDF

  • 申请/专利权人 阿里巴巴(中国)有限公司;

    申请/专利号CN202210516988.1

  • 发明设计人 陈谦;

    申请日2022-05-12

  • 分类号G06F40/274;G06F40/284;G06N3/04;G06N3/08;

  • 代理机构北京同钧律师事务所;

  • 代理人吴梅锡;许怀远

  • 地址 311121 浙江省杭州市余杭区五常街道文一西路969号3幢5层554室

  • 入库时间 2023-06-19 16:01:47

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-07-15

    公开

    发明专利申请公布

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号