• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>10th Workshop on statistical machine translation 2015 >Dependency Analysis of Scrambled References for Better Evaluation of Japanese Translations
【24h】

Dependency Analysis of Scrambled References for Better Evaluation of Japanese Translations

机译：更好地评估日语翻译的加扰引用的依赖性分析

获取原文
获取原文并翻译 | 示例
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

In English-to-Japanese translation, BLEU (Papineni et al., 2002), the de facto standard evaluation metric for machine translation (MT), has very weak correlation with human judgments (Goto et al., 2011; Goto et al., 2013). Therefore, R1BES (Isozaki et al., 2010; Hirao et al., 2014) was proposed. RIBES measures similarity of the word order of a machine-translated sentence and that of a corresponding human-translated reference sentence. RIBES has much stronger correlation than BLEU but most Japanese sentences have alternative word orders (scrambling), and one reference sentence is not sufficient for fair evaluation. Isozaki et al. (2014) proposed a solution to this problem. This solution generates semantically equivalent word orders of reference sentences. Automatically generated word orders are sometimes incomprehensible or misleading, and they introduced a heuristic rule that filters out such bad sentences. However, their rule is too conservative and generated alternative word orders for only 30% of reference sentences. In this paper, we present a rule-free method that uses a dependency parser to check scrambled sentences and generated alternatives for 80% of sentences. The experimental results show that our method improves sentence-level correlation with human judgments. In addition, strong system-level correlation of single reference RIBES is not damaged very much. We expect this method can be applied to other languages such as German, Korean, Turkish, Hindi, etc.
机译：在英语到日语的翻译中，BLEU（Papineni等人，2002）是机器翻译（MT）的事实上的标准评估指标，与人类判断的相关性很弱（Goto等人，2011; Goto等人。 ，2013）。因此，提出了R1BES（Isozaki等，2010； Hirao等，2014）。 RIBES测量机器翻译句子和相应的人类翻译参考句子的词序相似度。 RIBES具有比BLEU更强的相关性，但是大多数日语句子具有替代的单词顺序（加扰），并且一个参考句子不足以进行公正的评估。 Isozaki等。 （2014）提出了一个解决这个问题的方法。该解决方案生成参考句子的语义等效词序。自动生成的单词顺序有时令人难以理解或产生误导，因此引入了启发式规则，可以过滤掉此类不良句子。但是，他们的规则过于保守，只能为参考句子的30％生成替代单词顺序。在本文中，我们提出了一种无规则方法，该方法使用依赖项解析器来检查加扰的句子并为80％的句子生成替代项。实验结果表明，我们的方法提高了句子水平与人类判断的相关性。此外，单个参考RIBES的强系统级相关性不会受到很大破坏。我们希望该方法可以应用于其他语言，例如德语，韩语，土耳其语，印地语等。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号