神经网络驱动：机器翻译的新变革

Neural Network-Based Machine Translation: A Review
Neural machine translation (NMT) has become the dominant approach in statistical machine translation, and represents a leading method for harnessing deep learning technology in practical translation tasks. In this paper, we present an overview of NMT, paying particular attention to the recent trends and discuss several areas in which the technology has shown promise for improvement. In contrast to traditional rule-based machine translation systems, NMT is more proficient at capturing complex relationships in large, noisy data sets, using neural network architectures to learn transferable patterns and语篇上周思中所述，神经网络机器翻译（NMT）已经成为统计机器翻译中的主导方法，也是利用深度学习技术在实践翻译任务中的领先方法。在本文中，我们概述了NMT的最新趋势，并讨论了该技术在改善方面展现希望的几个领域。与传统的基于规则的机器翻译系统相比，NMT更擅长捕获大型嘈杂数据集中的复杂关系，使用神经网络架构来学习可转移的模式和语言表示。此外，我们探讨了近期关于神经网络的三大研究趋势：(1)从连续词袋模型 (CBOW) 向不连续词袋模型 (Skip-gram) 的转变；(2)使用树型拓扑结构（例如：定向无环图 LSTM 或堆叠 LSTM）以及使用精心设计的权重初始化方法（例如： He initialization）来解决梯度消失/爆炸问题；(3)复杂的自注意力模型（例如：Transformer），使 NMT 系统具有建模长距离依赖关系的能力，并以 “Attention is All You Need” 作为佐证。最后，我们将介绍面向联合学习进行对齐的神经机器翻译系统。我们讨论了将短语表格（BERT和基于转换器的模型）引入到 NMT 中的新近发展，这使 NMT 系统可以访问类似表示的句子或短语信息，从而提高翻译质量。