NIPS 2017 | 机器之心线上分享第四期：用于序列生成的推敲网络

11 月初，我们发布了《攻略 | 虽然票早已被抢光，你可以从机器之心关注 NIPS 2017》。在 NIPS 2017 正式开始前，我们将选出数篇优质论文，邀请论文作者来做线上分享，聊聊理论、技术和研究方法。

此次我们邀请到了中山大学-微软亚洲研究院联合培养博士吴郦军为我们做最后一期的线上分享，介绍的论文题目为《Deliberation Networks: Sequence Generation Beyond One-Pass Decoding》

 

日期：北京时间 11 月 30 日 20:00-21:00

 

讲者简介：吴郦军，博士三年级，现就读于中山大学-微软亚洲研究院联合培养博士班，研究方向为机器学习、神经机器翻译、强化学习，目前在微软亚洲研究院机器学习组学习。

演讲主题：得句自斟酌：用于序列生成的推敲网络

演讲摘要：

编码器-解码器框架在许多序列生成任务中都实现了非常好的性能，包括机器翻译、自动文本摘要、对话系统和图像描述等。这样的框架在解码和生成序列的过程中只采用一次（one-pass）正向传播过程，因此缺乏推敲（deliberation）的过程：即生成的序列直接作为最终的输出而没有进一步打磨的过程。然而推敲是人们在日常生活中的一种常见行为，正如我们在阅读新闻和写论文/文章/书籍一样。在该研究中，我们将推敲过程加入到了编码器-解码器框架中，并提出了用于序列生成的推敲网络（Deliberation networks）。推敲网络具有两阶段解码器，其中第一阶段解码器用于解码生成原始序列，第二阶段解码器通过推敲的过程打磨和润色原始语句。由于第二阶段推敲解码器具有应该生成什么样的语句这一全局信息，因此它能通过从第一阶段的原始语句中观察未来的单词而产生更好的序列。神经机器翻译和自动文本摘要的实验证明了我们所提出推敲网络的有效性。在 WMT 2014 英语到法语间的翻译任务中，我们的模型实现了 41.5 的 BLEU 分值，即当前最优的 BLEU 分值。

论文地址：

http://papers.nips.cc/paper/6775-deliberation-networks-sequence-generation-beyond-one-pass-decoding.pdf 

参与方式

线上分享将在「NIPS 2017 机器之心官方学霸群」中进行。加群方式：长按扫描下方二维码，添加「机器之心小助手Ⅱ」，备注暗号：147，由小助手拉大家入群。

线上分享往期回顾

• 第一期：视频 | NIPS 2017线上分享第一期：新型强化学习算法ACKTR

• 第二期：视频 | NIPS 2017线上分享第二期：利用价值网络改进神经机器翻译
  

戳「阅读原文」，查看机器之心 NIPS 2017 专题策划并参与其中。