一种基于句法成分分析的自动化机器翻译测试方法

技术领域

本发明属于软件测试领域，特别是涉及到及机器翻译测试和自动化测试方法。句法成分分析技术对机器翻译模型进行自动化测试是一种新的尝试。与以往的机器翻译测试不同，本方法运用自然语言处理领域中的句法成分分析、软件测试领域的模糊测试理念和蜕变测试方法，解决机器翻译测试依赖参考文本、准确性较低、内部参数不可理解、测试预言难以构建的问题。

背景技术

机器翻译是指使用软件将文本从源语言转换为目标语言，这是自然语言处理(NLP)的重要子领域。机器翻译主要有三种方法：基于规则，基于统计和基于神经网络。随着机器学习方法(例如深度学习)的成熟，基于神经网络的机器翻译(NMT)已成为主流，并且表现出色。与前两种方法相比，NMT已经可以与人类翻译水平相当，如Bing翻译、谷歌翻译、有道翻译等。对于许多人来说，机器翻译软件在日常生活中必不可少，据统计，全世界有超过5亿人在各项应用场景中使用Google翻译。

但是，NMT系统也可能会有软件缺陷并导致翻译错误。这些错误的翻译可能会引起误解，营销失误，对人身安全的威胁，甚至是政治危机。例如，汇丰银行在2009年将其品牌口号“Assume Nothing”翻译到多种语言。不幸的是，在许多国家被翻译成“不做任何事”。这家著名的国际银行不得不花费超过1000万美元，才能消除这种严重的翻译错误带来的负面影响。因此，NMT的鲁棒性已经广泛地引起关注。NMT模型在很大程度上取决于训练数据输入到隐藏层的数量和质量，导致在低资源条件下性能急剧下降，但在高资源条件下性能良好。尽管翻译器表现出了良好的性能，但开发人员仍在不断准备更全面的测试数据并识别翻译错误，以衡量稀缺的训练资源给模型带来的影响。通过分析这些错误，开发人员可以获得有关NMT模型的优缺点信息，以提出改进措施。收集错误翻译、源句及其正确的翻译，并补充训练集以进行微调或重训练是提高NMT模型性能的有效方法。因此，几乎所有翻译服务提供商都具有反馈渠道，并要求用户提交不正确的翻译或相应的正确翻译，以帮助他们提高产品性能。百度在用户服务中心设置了翻译结果反馈页面，并将处理结果及时地通知用户。微软已与第三方服务UserVoice合作，以使用户更方便快捷报告错误的翻译。谷歌翻译甚至建立了翻译社区，并设立了奖项以激励贡献者提供更有价值的反馈。

为了更好地度量和改进NMT模型的性能，已有的研究者将重点放在如何更高效率地检测翻译错误。然而，深度神经网络给此带来了很多挑战。与传统软件系统依赖手工构建业务逻辑不同，神经网络采用数据驱动的编程范式，用数百万个参数构建内部逻辑。这一特性不仅使NMT的行为难以解释和分析，而且也阻碍了许多传统测试方法的应用。另一个挑战在于构造测试预言，它描述给定输入的正确输出。NMT软件的输出空间往往很大，这使得定义一个严格的测试预言变得困难。到目前为止，一种常用的方法是利用候选文本和参考文本之间的差异来估计基于某些客观评价指标的翻译质量分数，例如BLEU和ROUGE。BLEU方法是分别计算所得翻译和参考文本的N-grams模型，然后统计其匹配的个数。显然，这种比较方法是与语序和句子结构无关。ROUGE是一种基于召回率的相似性度量方法，和BLEU类似，无F-mean评价功能，主要考察翻译的充分性和忠实性，无法评价译文的流畅度，其计算的是N-grams在参考译文和待评测译文的共现概率。该类指标的计算过程通常都需要测试预言来描述正确的翻译结果，并且不考虑句子的语序和结构。这些缺陷导致该类客观评价指标并不能与人类评价显著相关。为了更好地度量翻译的可读性和可理解性，一些针对机器翻译的自动化测试技术方法也被提出。这些技术通常采用替换或删除一个单词的策略，并通过比较字符串或测量文本距离来识别翻译错误。它们一个明显的局限性是只能检测具有预定义结构的句子的错误。此外，这些技术的性能高度依赖于控制错误识别的阈值，这限制了它们方法的性能，并且可能产生许多误报。

基于上述背景和相关工作的分析，本专利提出基于句法成分分析的自动化机器翻译测试方法，以解决当前测试机器翻译的存在的依赖参考文本。准确性较低、内部参数不可理解、测试预言难以构建的问题。本发明提出了一种新的概念，选区不变性。在语言学中，选区反映了句子与其组成部分之一之间的整体关系，它通常用于描述句子的句法结构的特征。并且，根据语言学的定义，修饰词不能对句子的结构产生强烈的影响，此特征表明给定句子的选区结构通常保留在其添加修饰语之后的句子的选区结构中。我们将此特征定义为选区不变性，并将其用于构造蜕变关系，以解决机器翻译自动测试中的预言问题。

发明内容

本发明要解决的问题是：与传统软件系统依赖手工构建业务逻辑不同，神经网络采用数据驱动的编程范式，用数百万个参数构建内部逻辑。这一特性不仅使得基于神经网络的机器翻译的行为难以解释和分析，而且也阻碍了许多传统测试方法的应用。另一方面，机器翻译模型的测试预言难以构建。机器翻译软件的输出空间往往很大，这使得定义一个严格的测试预言变得困难，而现有的一些翻译质量评价指标又完全依赖于测试预言，并且不考虑句子的语序和结构。因此，本发明主要解决当前测试机器翻译的存在的依赖参考文本、准确性较低、内部参数不可理解、测试预言难以构建的问题。

本发明的技术方案为：一种基于句法成分分析的机器翻译自动化测试方法，其特征是使用句法成分分析获取句子的选区结构，基于选区不变性构建蜕变关系，无需参考文本即可评估机器翻译模型的性能。本方法的输入是一组未标记的单语言句子，输出为疑似错误报告列表。如图1所示，每个错误报告包含三个部分：1)句子s和它的翻译

该方法包含以下四个模块/步骤：

1)生成用于文本扩增的模板：如图1中的(1)～(2)步骤所示，本方法使用句子压缩模型将每个输入句子压缩为包含基本结构部分(主谓宾或主谓补)的种子句子S

2)生成选区变体：选区变体是指基于句子S

3)获取机器翻译结果和选区解析树：如图1中(5)～(6)步骤所示，本方法使用各个翻译平台所提供的API获取翻译，如谷歌翻译、有道云翻译、百度翻译、必应翻译等。在本方法中，源语言为英文，模板语言为中文。在请求url中填入语言设置和待翻译的文本内容，即可获得包含翻译结果的返回值。本方法使用选区解析树去表示句子的句法结构。在语言学中，依存结构和选区结构常被用来描述句子结构的特征。选区反映了句子与其直接成分之一之间的整体关系，而依存关系则表示了成对单词之间的局部关系。图2给出了一个具体示例，说明了选区结构和依存结构之间的区别。依存关系结构是一对一的对应关系，并专注于单词语法(例如，“Bill”是“sees”的对象)。与依存结构不同，选区结构是一对一或多个对应关系，并且侧重于短语结构语法(例如，动词短语“sees Bill”由动词“sees”和专有名词“Bill组成”)。根据语言学的定义，修饰词不能对句子的结构产生强烈的影响。如图2所示，此特征表明给定句子的选区解析树通常保留在其添加修饰语之后的句子的选区解析树中，本方法定义此特征为选区不变性。

4)检测翻译错误：如图1中的(7)～(8)步骤所示中，本方法基于选区不变性去检测错误的翻译。如图3所示，本方法实现了选区解析树路径的匹配算法，按照从左到右的顺序，依次遍历

本发明的特点在于：

1.提出一个新的概念，选区不变性，该概念可用于检测翻译错误。

2.基于句子压缩模型和BERT模型，提出新的文本扩增方法。

3.运用选区不变性和文本扩增，实现基于句法成分分析的自动化机器翻译测试方法CIT。

附图说明

图1为本发明实施总流程图。

图2为关键步骤3中的选区解析树和依存解析树示例图。

图3为关键步骤4的说明图。

图4为关键步骤4的路径匹配算法。

具体实施方式

本方法基于句法成分分析来实现机器翻译的自动化测试，主要采用了句子压缩技术、词语预测技术、中文分词技术、句法结构解析技术等。

1.生成模板

本发明中，需要生成指导选区变体生成的模板。模板由种子句子和可插入修饰词的槽构成。种子句子必须包含原句的基本结构部分，该部分是指每个完整句子的主语、谓语和宾语或补语。这些部分不可以被删除，否则会产生语法错误。因此，本方法将选区解析树中对应这些基础结构部分的路径，定义为主干，其他部分则为分支，可被删减。为了获取正确的种子句子，本方法使用句子压缩模型。

句子压缩通过去除多余的信息，从而保留了原始句子的语法和重要内容，并产生一个较短的句子。在基于序列到序列(Seq2Seq)的模型中，解码器单向决定保留还是删除字。因此，它通常不能显式地捕获将在将来的时间步长中解码的单词和看不见的单词之间的关系。为了避免产生不合语法的句子，解码器有时会在压缩句子时丢弃重要的单词。综上所述，本方法选用了一种新颖的Seq2Seq模型，即语法前瞻注意网络(SLAHAN)，该模型可以通过在解码过程中显式跟踪依赖项的父词和子词并捕获将来将要解码的重要词来生成信息摘要，并在Google数据集中展现了绝佳的性能。经过SLAHAN的处理，可获得种子句子和被删除的修饰语成分。基于种子句子和原句的差异，可确定待插入修饰语的槽的位置。

2.生成选区变体

该节主要介绍变异算子σ的具体设计与实施方法。为了简化说明，将填充在第i个槽的修饰语定义为a

3.比较选区结构

本方法通过比较选区解析树

p

本方法选择了shift-reduce解析器，它是在Stanford CoreNLP库中实现的。选区解析的算法有很多种，但shift-reduce解析器是目前最先进的模型，每秒可解析50个以上的句子。在使用该解析器之前，需要先使用中文分词工具对翻译结果进行分词。本方法使用的是jieba分词，该工具在中文分词领域有着极佳的性能。本方法将

在本方法中，模板生成部分我们采用了公开可用的性能最佳的句子压缩模型以识别包含句子基本结构的种子句子；选区变体生成时使用BERT模型去生成更多可被插入模板中的修饰语，以提高测试的完备性；检测翻译错误是基于新提出的概念选区不变性，并且使用同义词过滤、命名实体识别等多项技术减少误报概率。机器翻译系统的开发人员只需将待测句子输入，无需准备参考翻译，即可获得疑似的翻译错误报告。