赛尔推荐 | 第17期

会员服务 ·

赛尔推荐 | 第17期

2018 年 5 月 18 日 哈工大SCIR 哈工大SCIR

本栏目每周将推荐若干篇由师生精心挑选的前沿论文，分周三、周五两次推送。

本次推荐了三篇关于情感分析、胶囊网络、Beam search、文本生成、生成式文档摘要和层次化注意力机制模型的论文。

推荐组：SA

推荐人：袁建华（研究方向：情感分析）

论文题目：Sentiment Analysis by Capsules

作者：Yequan Wang, Aixin Sun, Jialong Han, Ying Liu, Xiaoyan Zhu

出处： WWW 2018

论文主要相关：情感分析、胶囊网络

简评：本文在情感分析任务提出一种RNN-Capsule的分类结构。Capsule数目与情感的类别数相等，每个Capsule包含属性、状态和三个模块：表示模块、概率模块、和重构模块。属性模块表征情感类别，表示模块用来表示输入句子中该情感类别的特征，概率模块表明输入句子属于该情感类别的概率。重构模块讲所有情感类别的特征及概率加权，并与原始句子的BOW表示进行对比。在句子级Movie Review数据集上，RNN-Capsule不依赖任何语言学资源的情况下，取得了当前最好的结果，Accuracy达到了83.8。本文的亮点在于，对不同情感类别引入不同的Capsule，刻画每个情感类别的特征表示；同时，为了让不同情感特征加和应该与原始句子等价，引入重构损失来保证网络学习到这一约束知识。

论文链接：

https://www.researchgate.net/publication/323257127_Sentiment_Analysis_by_Capsules

论文代码：

https://drive.google.com/file/d/1n6ymIEVvbYef5mJE6WT0I8x5niPehQRh/view?usp=sharing

推荐组：SP

推荐人：廖阔（研究方向：事理图谱）

论文题目：When to Finish? Optimal Beam Search for Neural Text Generation (modulo beam size)

作者：Liang Huang, Kai Zhao, Mingbo Ma

出处：EMNLP 2017

论文主要相关：Beam search、文本生成

简评：Beam search算法广泛应用于文本生成模型中，用来选择目标序列每个时间步的k个候选词，再输入给神经网络生成下一个时间步。然而，在神经网络中，不同候选解可以在不同的时间步内生成，这使得难以确定何时结束beam search以确保解的最优性，同时保证搜索效率。由此，本文提出了optimal beam search算法，并证明了该算法能产生beam search搜索空间内的最优解，且在确认解的最优性后会立即停止搜索，确保运行效率。传统的beam search算法存在偏爱短序列的缺陷，为了解决这一问题，本文在optimal beam search的基础上提出了bounded length reward机制，可以有效解决偏爱短序列的问题。本文以OpenNMT代码为基础，在中英翻译任务上对比了该算法与现有beam search实现（baseline）的结果，结合bounded length reward机制的optimal beam search算法取得了最高的BLEU score。本文的亮点在于基于简单的思想，提出了一种任务无关的文本生成模型的改进方法，使得机器翻译、文本摘要、图像标注等多项工作都能从中受益。

论文链接：

http://aclweb.org/anthology/D17-1227

推荐组：TG

推荐人：龚恒（研究方向：文本生成）

论文题目：Coarse-to-Fine Attention Models for Document Summarization

作者：Jeffrey Ling and Alexander M. Rush

出处： ACL 2017 Workshop

论文主要相关：生成式文档摘要、层次化注意力机制模型、Coarse-to-Fine Attention

简评：为了提高基于注意力机制的Seq2Seq模型在面向较长文本的生成式文本摘要的可拓展性，作者将输入的文档划分为了多个chunk，提出了一个两层的层次化Attention模型，并且在它的基础上，提出了一个首先通过Hard Attention选择一个或多个chunk，然后再针对选中的这些chunk内的词计算Attention权重的Coarse-to-fine Attention模型，后者可以通过只计算少数几个chunk内的Attention权重，降低计算量，从而提高模型面对长文本输入的可拓展性。虽然在ROUGE和困惑度这些指标上，两个模型的效果均不及引入注意力机制的Seq2Seq模型，但是从案例分析上来看，Coarse-to-fine Attention模型相较其他模型可以更加专注于某几个chunk的内容，从而达到提高模型可拓展性的目的。虽然最终生成的效果没有超过Baseline，但是这篇论文提供了一个在生成式文档摘要的层次化Attention模型中通过强化学习引入Hard Attention的思路。

论文链接：

http://www.aclweb.org/anthology/W17-4505

往期链接：

点击文末“阅读原文”即可查看完整赛尔推荐目录

赛尔推荐 | 第16期

（机器翻译、自然语言生成、复述生成、语义分析）

赛尔推荐 | 第15期

（情感生成、情感分析、迁移学习、机器翻译双向解码）

赛尔推荐 | 第14期

（个性化任务型对话系统、文本生成、实体表示、文本蕴含识别、多选题科学问答、临床预测、可解释的预测和层次化注意力机制）

赛尔推荐 | 第13期

（迁移学习、多对象情感分类、噪音建模）