赛尔推荐 | 第21期

2018 年 6 月 1 日 哈工大SCIR

本栏目每周将推荐若干篇由师生精心挑选的前沿论文,分周三、周五两次推送。


本次推荐了三篇关于文本摘要,情感分类,图结构数据,自然语言处理,bAbI任务、机器翻译的论文。



1


推荐组:SA

推荐人:罗观柱(研究方向:情感分析)

论文题目:A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification

作者:Shuming Ma, Xu Sun, Junyang Lin, Xuancheng Ren

出处:IJCAI 2018

论文主要相关:文本摘要,情感分类

简评:

文本摘要和情感分类是NLP领域的两大任务,文本摘要有抽取式(extractive summarization)和生成式(abstractive summarization)两种,文本摘要和情感分类相似,都可体现文本所表达思想。文本摘要是以简单精炼的句子来表现文本思想,而情感分类则更抽象,即通过情感标签分类描述文本思想,从这方面来说,情感分类位于文本摘要的上层,是对文本摘要的“摘要”。以往的研究文本摘要和情感分类相互独立,而本论文提出了一种将文本摘要和情感分类相结合的分层模型,文本摘要和情感分类都有提高。该分层模型简单来说就是先使用Seq2Seq框架生成简短的摘要,然后再对该摘要进行进一步“摘要”(即情感分类)。

论文实验数据集为Amazon SNAP Review Dataset的子集,在Toys & Games, Sports & Outdoors, and Movie & TV三种Review Dataset相较baseline均有1~2%的提高。

论文链接:

https://arxiv.org/abs/1805.01089



2


推荐组:SP

推荐人:李忠阳(研究方向:事理图谱,事件预测与推理)

论文题目:Learning Graphical State Transitions

作者:Daniel D. Johnson

出处:ICLR 2017, Harvey Mudd College

论文主要相关:图结构数据,自然语言处理,bAbI任务

简评:

图结构数据广泛存在于多种真实场景当中。本工作从图结构的角度看待多种自然语言处理任务(例如问答),提出了一个基于图变换且高度灵活的机器学习框架。该框架包含两部分:一是一系列可微分图变换操作,包括增加节点、节点状态更新、边更新、信息传播、信息聚合;二是基于这些图变换的Gated Graph Transformer Neural Network (GGT-NN)模型。前人基于图结构的模型一般要求输入为图结构数据,但该框架的输入可以是图结构数据,也可以是自然语言序列这样的无结构化数据,并通过执行不同的图变换操作,动态地生成图结构的中间表示。通过采用不同的图变换操作配置,该框架可以灵活地应用于多种自然语言处理任务当中,例如表示学习、信息抽取、阅读理解等任务。在bAbI任务中(一系列简单的自然语言处理任务集合),20个任务中有19个都取得了95%以上的准确率。该框架非常有潜力,但同时也还很不成熟,要想将其应用到其他NLP任务当中,必须解决时空复杂性大、需要强指导信息等问题。

论文链接:

https://openreview.net/forum?id=HJ0NvFzxl

源代码链接:

https://github.com/hexahedria/gated-graph-transformer-network



3


推荐组:TG

推荐人:冷海涛(研究方向: 文本生成)

论文题目:Dynamic Sentence Sampling for Efficient Training of Neural Machine Translation

作者:R Wang , M Utiyama , E Sumita

出处:ACL 2018

论文主要相关:机器翻译

简评:

传统的神经网络机器翻译在每轮训练时均使用所有的数据,但是经过前几轮训练,模型已经很好的学习到某些数据的翻译过程,因此在接下来的训练过程中再次使用这些数据进行训练会浪费许多的时间。基于此,这篇文章提出了动态采样训练数据的方法来加速模型的训练,对于训练样本中的每个样例该方法都根据前后两轮的差异给定一个权重,而在每一轮训练中,该方法根据这些权重抽取一定百分比的训练数据用于模型训练。实验结果证明该方法在中英任务和英德任务上均能显著提高模型的训练效率并且一定程度上提高模型的性能。

论文链接:

https://arxiv.org/abs/1805.00178




往期链接: 

点击文末“阅读原文”即可查看完整赛尔推荐目录

赛尔推荐 | 第20期

(自动文摘、问题生成、文本简化、实体关系抽取)

赛尔推荐 | 第19期

(注意力机制、阅读理解、LSTM、文本表示、Bag-of-Words)

赛尔推荐 | 第18期

(任务型对话系统评价、用户模拟框架、训练损失平滑、语言模型、阅读理解、文本风格迁移)

赛尔推荐 | 第17期

(情感分析、胶囊网络、Beam search、文本生成、生成式文档摘要、层次化注意力机制模型)



本期责任编辑:  张伟男

本期编辑:  孙   卓



“哈工大SCIR”公众号

主编:车万翔

副主编: 张伟男,丁效

责任编辑: 张伟男,丁效,赵森栋,刘一佳

编辑: 李家琦,赵得志,赵怀鹏,吴洋,刘元兴,蔡碧波,孙卓


长按下图并点击 “识别图中二维码”,即可关注哈尔滨工业大学社会计算与信息检索研究中心微信公共号:”哈工大SCIR” 。

登录查看更多
4

相关内容

【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
六篇 CIKM 2019 必读的【图神经网络(GNN)】长文论文
专知会员服务
37+阅读 · 2019年11月3日
赛尔推荐 | 第22期
哈工大SCIR
6+阅读 · 2018年6月6日
赛尔推荐 | 第20期
哈工大SCIR
4+阅读 · 2018年5月30日
赛尔推荐 | 第17期
哈工大SCIR
8+阅读 · 2018年5月18日
赛尔推荐 | 第14期
哈工大SCIR
3+阅读 · 2018年5月9日
赛尔推荐 | 第13期
哈工大SCIR
5+阅读 · 2018年5月4日
赛尔推荐 | 第12期
哈工大SCIR
4+阅读 · 2018年5月2日
赛尔推荐 | 第9期
哈工大SCIR
13+阅读 · 2018年4月20日
赛尔推荐 | 第5期
哈工大SCIR
13+阅读 · 2018年4月4日
赛尔推荐 | 第4期
哈工大SCIR
7+阅读 · 2018年3月30日
赛尔推荐 | 第3期
哈工大SCIR
7+阅读 · 2018年3月28日
Arxiv
6+阅读 · 2018年11月1日
Arxiv
12+阅读 · 2018年1月28日
VIP会员
相关VIP内容
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
六篇 CIKM 2019 必读的【图神经网络(GNN)】长文论文
专知会员服务
37+阅读 · 2019年11月3日
相关资讯
赛尔推荐 | 第22期
哈工大SCIR
6+阅读 · 2018年6月6日
赛尔推荐 | 第20期
哈工大SCIR
4+阅读 · 2018年5月30日
赛尔推荐 | 第17期
哈工大SCIR
8+阅读 · 2018年5月18日
赛尔推荐 | 第14期
哈工大SCIR
3+阅读 · 2018年5月9日
赛尔推荐 | 第13期
哈工大SCIR
5+阅读 · 2018年5月4日
赛尔推荐 | 第12期
哈工大SCIR
4+阅读 · 2018年5月2日
赛尔推荐 | 第9期
哈工大SCIR
13+阅读 · 2018年4月20日
赛尔推荐 | 第5期
哈工大SCIR
13+阅读 · 2018年4月4日
赛尔推荐 | 第4期
哈工大SCIR
7+阅读 · 2018年3月30日
赛尔推荐 | 第3期
哈工大SCIR
7+阅读 · 2018年3月28日
Top
微信扫码咨询专知VIP会员