基于多亚词序列融合的神经机器翻译

刘婉月; 艾山·吾买尔; 李哲; 韩越; 张大任; 宜年

首页> 中文期刊> 《中文信息学报》 >基于多亚词序列融合的神经机器翻译

基于多亚词序列融合的神经机器翻译

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

在神经机器翻译模型中,BPE(Byte Pair Encoding)方法用于解决模型不能正确翻译罕见词和不可见词的问题。但是BPE只能将单词切分成唯一的亚词序列,面对形态丰富的语言,同一个词存在多种不同的组合,但是模型只能学习单词的一种组合方式,这会阻碍模型更好地学习单词的不同组合特性。该文提出一种加标签融合多种亚词序列的方法,不同BPE融合次数切分相同的训练数据,得到不同的亚词序列,进行加标签融合,其中相同单词的不同亚词参与训练,使模型能够更好地学习词的不同的组合形式。该文中的方法在形态复杂的语言和形态简单的语言对上均有了0.5个BLEU值以上的提高。实验表明,不同的亚词序列质量越好,相似度越低,融合后训练的翻译模型质量越好。

著录项

来源
《中文信息学报》 |2023年第2期|87-96|共11页
作者
刘婉月; 艾山·吾买尔; 李哲; 韩越; 张大任; 宜年;
展开▼
作者单位

新疆大学信息科学与工程学院;

新疆大学新疆多语种信息技术实验室;

新疆大学软件学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
BPE; 亚词序列; 加标签融合;

相似文献

中文文献
外文文献
专利

1. 融合BERT与词嵌入双重表征的汉越神经机器翻译方法 [J] . 张迎晨 ,高盛祥 ,余正涛 . 计算机工程与科学 . 2023,第3期
2. 基于词与短语的多机器翻译系统融合方法研究 [J] . 何彦青 ,张均胜 ,王惠临 . 情报学报 . 2011,第12期
3. 基于子词的句子级别神经机器翻译的译文质量估计方法 [J] . 李培芸 ,翟煜锦 ,项青宇 . 厦门大学学报（自然科学版） . 2020,第002期
4. 基于子字单元的神经机器翻译未登录词翻译分析 [J] . 韩冬 ,李军辉 ,熊德意 . 中文信息学报 . 2018,第004期
5. 基于词典模型融合的神经机器翻译 [J] . 王煦 ,贾浩 ,季佰军 . 计算机工程与科学 . 2022,第8期
6. 基于子字单元的神经机器翻译未登录词翻译分析 [C] . 韩冬 ,李军辉 ,熊德意 . 第十六届全国计算语言学学术会议暨第五届基于自然标注大数据的自然语言处理国际学术研讨会 . 2017
7. 融合语义概念的神经机器翻译集外词处理方法研究 [A] . 李少童 . 2018

基于多亚词序列融合的神经机器翻译

摘要

著录项

相似文献

相关主题

期刊订阅