实验室研究生NMT论文学习总结

机器智能与翻译研究室于5月25日，选择了3篇在NMT领域较为有代表意义的论文进行集中学习。三篇论文是《Unsupervised Neural Machine Translation》、《Whatdo Neural Machine Translation Models Learn about Morphology》和《Self-Attentive Residual Decoder for Neural Machine Translation》。分别由赵思洋、姬长阵和金卓林3位即将进入实验室的3名准硕士研究生负责讲解，随后进行了激烈的研讨。

下面是关于三篇论文的总结。

1.《UnsupervisedNeural Machine Translation》，无监督神经机器翻译，即在没有平行语料的情况下用神经网络模型来实现机器翻译。首先训练一个跨语言词向量，它的作用是将不同语言的词向量映射到同一空间。之后巧妙地将跨语言词向量和降噪自编码器结合起来以实现跨语言的翻译，并使用backtranslation的方法无监督地引入跨语言信息来提升翻译模型的性能。这篇论文提出的无监督翻译模型在英法和英德翻译的性能上超越了现有的可比的NMT模型，它的思路值得我们借鉴。

2.《What do NeuralMachine Translation Models Learn about Morphology》这篇论文发表在2017自然语言处理与计算语言学领域顶级学术会议（ACL）上。主要针对NMT训练过程中相应词法表示的影响进行了剖析。通过对词表示，源语言与目标语言，attention机制，编码和解码等四种因素的影响，利用大量实验和数据进行说明。最后得出结论：在词表示上，基于字的效果要优于基于词的效果；在源语言和目标语言上，各种目标语言不同对NMT效果有一定差异；神经网络的层次越浅，就能够越好地获取词法，然而层次越深，就越能提高翻译性能。

3.《Self-Attentive Residual Decoder for Neural Machine Translation》发表在NAACL2018。这篇文章主要介绍了在NMT的问题中，利用self-attention的机制在decoder层上进行的一些工作，将之前预测的所有词做了attention，能够更好的利用到之前的信息。