机器翻译,传统上是基于统计学方法,但随着深度学习的发展,机器翻译也开始涉入深度学习——神经机器翻译(Neural Machine Translation,NMT).NMT是自然语言处理中的一个重要领域,其中运用比较成熟的有循环神经网络(Recurrent Neural Networks,RNN),它基于Sequence to Sequence的模型来进行翻译,但这种模型的瓶颈在于长期依赖问题,即梯度消失,因而无法对长句有效翻译.针对这种局限,使用长短期记忆(Long Short Term Memory,LSTM)或循环门控单元(Gated Recurrent Unit,GRU)来替代RNN中的神经元,从而实现高效记忆功能.本文主要研究了NMT中涉及到的RNN、LSTM、GRU以及注意力机制(Attention mechanism).
展开▼
