• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>3rd international universal communications symposium 2009 >Language Independent Word Segmentation for Statistical Machine Translation
【24h】

Language Independent Word Segmentation for Statistical Machine Translation

机译：统计机器翻译的语言独立分词

获取原文
获取原文并翻译 | 示例
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

This paper proposes an unsupervised word segmentation algorithm that identifies word boundaries in continuous text in order to optimize the translation quality of statistical machine translation (SMT) approaches. The proposed method is language-independent and uses a parallel corpus to align source language characters to the corresponding word units separated by whitespace in the target language. Successive characters aligned to the same target words are merged to a larger source language unit and a Maximum Entropy (ME) algorithm is applied to learn the word segmentation that optimizes the translation quality of an SMT system trained on the re-segmented bitext. Experimental results translating five Asian languages into English revealed that the proposed method outperforms a baseline system that translates unigram segmented source language sentences.
机译：为了优化统计机器翻译（SMT）方法的翻译质量，本文提出了一种无监督的词分割算法，该算法可以识别连续文本中的词边界。所提出的方法是独立于语言的，并且使用并行语料库将源语言字符对准目标语言中由空格分隔的相应单词单元。将与相同目标单词对齐的连续字符合并到更大的源语言单元中，并应用最大熵（ME）算法来学习单词分割，该单词分割可优化在重新分段的extext上训练的SMT系统的翻译质量。将五种亚洲语言翻译成英语的实验结果表明，该方法的性能优于基线系统，该基线系统可以翻译成字母组合的分段源语言句子。

著录项

  • 来源
  • 会议地点 Tokyo(JP);Tokyo(JP)
  • 作者

    Michael Paul; rnAndrew Finch; rnEiichiro Sumita;

  • 作者单位

    National Institute of Information and Communications Technology (NICT) Hikaridai 2-2-2, Keihanna Science City 619-0288 Kyoto, Japan;

    rnNational Institute of Information and Communications Technology (NICT) Hikaridai 2-2-2, Keihanna Science City 619-0288 Kyoto, Japan;

    rnNational Institute of Information and Communications Technology (NICT) Hikaridai 2-2-2, Keihanna Science City 619-0288 Kyoto, Japan;

  • 会议组织
  • 原文格式 PDF
  • 正文语种 eng
  • 中图分类 通信;
  • 关键词

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号