一种基于融合统计机器翻译模型的蒙汉神经机器翻译方法

技术领域

本发明涉及神经机器翻译技术领域，具体为一种基于融合统计机器翻译模型的蒙汉神经机器翻译方法。

背景技术

机器翻译技术是计算语意学与自然语言信息处理的一个重要应用领域，也是一项跨人工智能学、语言学、计算语言学等多学科综合性研究课题，属于国际前沿研究领域，它是指利用计算机将一种自然语言转化为具有完全相同语义的另一种自然语言的过程，而蒙汉机器翻译就是利用计算机程序将蒙古语源语言文本自动翻译成汉语目标语言文本，机器翻译作为突破不同国家和民族之间信息传递所面临的“语言屏障”问题的关键技术，对于促进民族团结、加强文化交流和推动对外贸易具有重要意义。

神经机器翻译是近年来发展较快的一种机器翻译新方法，对于神经网络机器翻译而言，通常使用的基本网络模型是循环神经网络机器翻译模型，目前基于注意力机制的循环神经网络翻译模型的翻译效果较好，特别是翻译长句子时更为明显，最初的神经网络机器翻译并没有考虑到翻译时源端和目标端的翻译对齐信息，而在基于注意力机制的翻译模型中改进了这一缺陷，该模型中不再利用同一个向量生成目标语言句子中的所有单词，而是考虑到了目标语言句子中单词与源语言句子中单词之间的对齐权重，基于注意力机制的神经网络在编码器和解码器之间加入注意力权重，用于计算目标语言句子中单词与源语言句子中单词之间的对齐权重。

NMT通常会产生流利但不充分的翻译，首先，NMT缺乏记录源语言单词是否被翻译的机制，导致“过翻译”或“翻译不足”问题；其次，翻译不准确问题，NMT容易生成看似自然，实则未反应源句子原本语义的单词；最后，未登录词问题，NMT使用一个固定的中等规模的词汇表来表示最常见的单词，并使用一个替换词替换其他单词。

发明内容

针对现有技术的不足，本发明提供了一种基于融合统计机器翻译模型的蒙汉神经机器翻译方法，解决了NMT缺乏记录源语言单词是否被翻译的机制，翻译不准确，未登录词的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于融合统计机器翻译模型的蒙汉神经机器翻译方法，具体包括以下步骤：

S1、NMT分类器继承标准的基于注意力的NMT后在规则词表上估计单词的预测概率；

S2、SMT分类器计算由辅助SMT模型生成的SMT建议的概率；

S3、将SMT建议整合到NMT中。

优选的，所述S1中标准的基于注意力的NMT的翻译过程为，给定源句子

优选的，所述基于注意力的NMT使用一个由正向RNN和反向RNN组成的双向RNN对源句子进行编码，其中正向RNN顺序阅读源句子x，生成一个正向的隐藏状态序列

优选的，所述在解码的时间步t，输出目标序列y

优选的，所述S2中的所述统计机器翻译模型由对数线性框架定义：

优选的，所述S2中的实现方式为：给定NMT生成的词y

优选的，所述S3中采用两种策略来过滤低质量的建议以保证SMT建议的质量：①根据翻译分数，仅保留前N

优选的，所述S3中引入门机制来更新所提出模型的词预测概率，计算方式如下：α

优选的，所述测试阶段直接利用SMT建议替换unk词。对每个unk词，选择SMT分数最高的建议作为最终的替换，为解决unk问题，所述方法可以利用源端和目标端丰富的上下文信息，并使用重排信息和SMT覆盖向量生成更可靠的建议。

优选的，所述源语言为蒙语。

有益效果

本发明提供了一种基于融合统计机器翻译模型的蒙汉神经机器翻译方法。与现有技术相比具备以下有益效果：该基于融合统计机器翻译模型的蒙汉神经机器翻译方法，具体包括以下步骤：S1、NMT分类器继承标准的基于注意力的NMT后在规则词表上估计单词的预测概率；S2、SMT分类器计算由辅助SMT模型生成的SMT建议的概率；S3、将SMT建议整合到NMT中；通过将统计机器翻译模型合并到神经机器翻译框架中，以利用统计机器翻译和神经机器翻译模型的优点来实现更好的翻译，将统计机器翻译模型合并到神经机器翻译的训练阶段中，使得NMT有效地学习合并SMT建议，其中，SMT模型首先在双语语料库上使用传统的基于短语的SMT方法进行独立训练，在训练和测试阶段的每个解码步骤中，SMT模型基于NMT的解码信息(包括生成的局部翻译和注意历史)提供翻译建议，使用一个辅助分类器对SMT建议进行评分，并使用一个门控函数来线性组合NMT生成和SMT建议之间的两个概率，门控函数读取当前解码信息，从而能够在不同的解码步骤中动态地为NMT和SMT概率分配权重，SMT分类器和门控函数在NMT结构中以端到端方式联合训练，此外，为了更好地缓解测试阶段的UNK问题，通过联合考虑NMT模型的注意概率和SMT模型的覆盖率信息，选择合适的SMT建议来代替目标UNK单词。

附图说明

图1为合并SMT建议的NMT模型的解码器示意图图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种基于融合统计机器翻译模型的蒙汉神经机器翻译方法，将SMT模型合并到神经机器翻译NMT框架中，以利用统计机器翻译和神经机器翻译模型的优点来实现更好的翻译，具体包括以下步骤：

S1、NMT分类器继承标准的基于注意力的NMT后在规则词表上估计单词的预测概率；

S2、SMT分类器计算由辅助SMT模型生成的SMT建议的概率；

S3、将SMT建议整合到NMT中。

本发明中，S1中标准的基于注意力的NMT的翻译过程为，给定源句子

本发明中，基于注意力的NMT使用一个由正向RNN和反向RNN组成的双向RNN对源句子进行编码，其中正向RNN顺序阅读源句子x，生成一个正向的隐藏状态序列

本发明中，在解码的时间步t，输出目标序列y

本发明中，S2中的所述统计机器翻译模型由对数线性框架定义：

其中对数线性模型主要研究多个分类变量之间的独立性和相关性，对数线性模型一般不分因变量和自变量，只分析各分类变量对交叉单元格内频数的影响，通常频数服从多项式分布。

本发明中，S2中的实现方式为：给定NMT生成的词y

本发明中，S3中采用两种策略来过滤低质量的建议以保证SMT建议的质量：①根据翻译分数，仅保留前N

本发明中，S3中引入门机制来更新所提出模型的词预测概率，计算方式如下：α

本发明中，测试阶段直接利用SMT建议替换unk词。对每个unk词，选择SMT分数最高的建议作为最终的替换，为解决unk问题，所述方法可以利用源端和目标端丰富的上下文信息，并使用重排信息和SMT覆盖向量生成更可靠的建议，通过最小化一组训练数据

本发明中，源语言为蒙语。

同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。