This paper proposes an approach for applying GANs to NMT. We build a conditional sequence generative adversarial net which comprises of two adversarial sub models, a generator and a discriminator. The generator aims to generate sentences which are hard to be discriminated from human-translated sentences (i.e., the golden target sentences), And the discriminator makes efforts to discriminate the machine-generated sentences from human-translated ones. The two sub models play a mini-max game and achieve the win-win situation when they reach a Nash Equilibrium. Additionally, the static sentence-level BLEU is utilized as the reinforced objective for the generator, which biases the generation towards high BLEU points. During training, both the dynamic discriminator and the static BLEU objective are employed to evaluate the generated sentences and feedback the evaluations to guide the learning of the generator. Experimental results show that the proposed model consistently outperforms the traditional RNNSearch and the newly emerged state-of-the-art Transformer on English-German and Chinese-English translation tasks.


翻译:本文提出了将GANs应用到NMT的方法。 我们建立了一个由两个对抗性子模型组成的有条件序列基因对抗网, 由两个对抗性子模型组成, 一个生成器和一个歧视器。 生成器的目的是生成难以区别于人翻译的句子( 即黄金目标句子 ), 歧视器试图将机器生成的句子与人翻译的句子区分开来。 两个子模型玩迷你最大游戏, 当他们到达Nash 平衡器时实现双赢局面。 此外, 静态的句子级 BLEU被用作生成器的强化目标, 将一代偏向高BLEU点。 在培训期间, 动态歧视器和静态 BLEU 目标被用来评估生成的句子, 并反馈用于指导生成器的学习。 实验结果表明, 拟议的模型始终超越了传统的 RNNSearch 和 新兴的英语和德语翻译的状态变换器。

3
下载
关闭预览

相关内容

【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
35+阅读 · 2020年3月3日
专知会员服务
112+阅读 · 2019年12月24日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
10+阅读 · 2015年7月1日
Arxiv
8+阅读 · 2019年2月15日
Arxiv
10+阅读 · 2018年3月23日
VIP会员
Top
微信扫码咨询专知VIP会员