首页> 中国专利> 一种基于预训练的稀缺资源神经机器翻译训练方法

一种基于预训练的稀缺资源神经机器翻译训练方法

摘要

本发明公开一种基于预训练的稀缺资源神经机器翻译训练方法,步骤为:构建海量的单语语料,进行分词和子词切分预处理流程,获取收敛后的模型参数;构建平行语料,随机初始化神经机器翻译模型的参数,神经机器翻译模型的词嵌入层和隐藏层的大小和预训练语言模型相同;将预训练模型集成到神经机器翻译模型中;神经机器翻译模型通过平行语料进行训练,使得生成目标语句子和真实的翻译结果更加相似,完成神经机器翻译模型训练过程;将用户输入的源语句子送入到神经机器翻译模型中,神经机器翻译模型通过贪婪搜索或束搜索生成翻译结果。本发明充分利用了单语数据中的知识,相比随机初始化的神经机器翻译模型,可以明显提高翻译性能。

著录项

  • 公开/公告号CN111178094A

    专利类型发明专利

  • 公开/公告日2020-05-19

    原文格式PDF

  • 申请/专利权人 沈阳雅译网络技术有限公司;

    申请/专利号CN201911323619.5

  • 发明设计人 杜权;朱靖波;肖桐;张春良;

    申请日2019-12-20

  • 分类号

  • 代理机构沈阳优普达知识产权代理事务所(特殊普通合伙);

  • 代理人李晓光

  • 地址 110004 辽宁省沈阳市和平区东软电脑城C座11楼

  • 入库时间 2023-12-17 10:33:22

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-06-12

    实质审查的生效 IPC(主分类):G06F40/58 申请日:20191220

    实质审查的生效

  • 2020-05-19

    公开

    公开

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号