赛尔推荐 | 第3期

2018 年 3 月 28 日 哈工大SCIR 哈工大SCIR

该栏目每周将推荐若干篇由师生精心挑选的前沿论文,分周三、周五两次推送。


本次推荐了关于多任务学习、文本分类、阅读理解、特征选择、知识融合、图像标注等四篇论文


1


推荐组:SA

推荐人:王帅(研究方向:情感分析)

论文题目:Adversarial Multi-task Learning for Text Classification

作者:Pengfei Liu, Xipeng Qiu and Xuanjing Huang

出处:ACL 2017

论文主要相关:多任务学习、文本分类

简评:常规的多任务学习通常单纯的共享某些参数,导致共用特征空间和私有特征空间中存在大量冗余的特征。本文提出一种多任务学习框架ASP-MTL,采用adversarial training确保共用特征空间中仅存在共用特征和任务无关的特征,辅以orthogonality constraints来去除私有和共用特征空间中冗余的特征。在16个任务的测试中,该框架比单任务学习平均效果提升了4.1%,比其他多任务学习框架(FS-MTL、 SP-MTL等)效果更好。


论文链接:

https://www.aclweb.org/anthology/P/P17/P17-1001.pdf



2


推荐组:SP

推荐人:李忠阳(博士课题研究方向:事理图谱,事件预测与推理)

[1]A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories

[2]Story Comprehension for Predicting What Happens Next

作者:

[1]Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He et al.

[2]Snigdha Chaturvedi, Haoruo Peng, Dan Roth

出处:

[1]NAACL-2016, University of Rochester

[2]EMNLP-2017, UIUC

论文主要相关:

[1]ROCStories Corpus, Story Cloze Test, Reading Comprehension

[2]Narrative Understanding, Feature Selection, Knowledge Fusion

简评:

[1]第一篇论文公开了一个数据集:ROCStories,训练集为98,161篇5句话组成的完整的小故事。开发集和测试集分别为1871篇小故事,每篇小故事包含4句话的上下文和2个候选故事结尾,其中只有1个是正确的结尾。任务目标是通过对故事上下文的精确理解、常识推理,从2个候选结尾中挑选出正确的那一个结尾。这篇论文同时也公布了一些基线方法,例如DSSM。该任务被称为Story Cloze Test。该任务同时也是LSDSem 2017的Shared Task,所以有很多新颖的方法出现。

[2]第二篇论文是目前ROCStories数据集上的最好结果(不排除有我未了解到的最新成果)。该工作没有高大上的神经网络模型, 方法偏传统,但是能给人以启发(原来还能这样操作!)。它挖掘了多方面的知识来帮助故事理解。这些知识包括事件序列(event-sequence)、情感路径(sentiment-trajectory)以及话题连贯性(topical-consistency)。然后,论文用一个隐变量模型(Hidden Coherence Model)将这三种知识融合在一起,取得了在故事结尾挑选任务上的最佳准确率,为77.6%。

论文链接: 

[1]https://aclweb.org/anthology/N/N16/N16-1098.pdf

[2]https://aclweb.org/anthology/D/D17/D17-1168.pdf

数据集链接: 

http://cs.rochester.edu/nlp/rocstories/



3



推荐组:TG

推荐人:孙卓(研究方向:文本生成)

论文题目:Skeleton Key: Image Captioning by Skeleton-Attribute Decomposition

作者:Yufei Wang, Zhe Lin, Xiaohui Shen, Scott Cohen, Garrison W. Cottrell

出处:CVPR 2017

论文主要相关:image caption

简评:这是一篇发表于CVPR 2017的论文,作者认为多数的语言模型都是逐个词的生成图像描述,但是对于人类来说,更自然的是先注意到图片中有哪些物体(对象)以及物体之间的关系,再来对物体的属性进行描述。文中提出一种由粗到精细的方法:将原始的图像描述分解为一个主干句skeleton以及物体的属性attribute,训练模型分别生成主干句及属性。此外,这种方法可以生成不同长度的图片描述结果,这得益于可以分别控制主干句以及属性的生成。


论文链接:

http://lanl.arxiv.org/pdf/1704.06972v1


往期链接:

赛尔推荐 | 第2期

对话系统自动评价,优化器,复述生成,问答系统)


赛尔推荐 | 第1期

词向量,情感分析,循环神经网络,sequence-to-sequence模型、选择机制和摘要生成)


赛尔推荐 | 第0期 

人机对话,神经网络模型,知识工程,自然语言推理,基于文档集的问答,sequence-to-sequence模型,预测的可解释性和机器翻译)


本期责任编辑:  刘一

本期编辑:  孙   卓



“哈工大SCIR”公众号

主编:车万翔

副主编: 张伟男,丁效

责任编辑: 张伟男,丁效,赵森栋,刘一佳

编辑: 李家琦,赵得志,赵怀鹏,吴洋,刘元兴,蔡碧波,孙卓


长按下图并点击 “识别图中二维码”,即可关注哈尔滨工业大学社会计算与信息检索研究中心微信公共号:”哈工大SCIR” 。


登录查看更多
7

相关内容

多任务学习(MTL)是机器学习的一个子领域,可以同时解决多个学习任务,同时利用各个任务之间的共性和差异。与单独训练模型相比,这可以提高特定任务模型的学习效率和预测准确性。多任务学习是归纳传递的一种方法,它通过将相关任务的训练信号中包含的域信息用作归纳偏差来提高泛化能力。通过使用共享表示形式并行学习任务来实现,每个任务所学的知识可以帮助更好地学习其它任务。
近期必读的5篇顶会WWW2020【推荐系统】相关论文-Part2
专知会员服务
68+阅读 · 2020年4月7日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
专知会员服务
85+阅读 · 2020年1月20日
BERT进展2019四篇必读论文
专知会员服务
65+阅读 · 2020年1月2日
赛尔推荐 | 第22期
哈工大SCIR
6+阅读 · 2018年6月6日
赛尔推荐 | 第21期
哈工大SCIR
4+阅读 · 2018年6月1日
赛尔推荐 | 第20期
哈工大SCIR
4+阅读 · 2018年5月30日
赛尔推荐 | 第17期
哈工大SCIR
8+阅读 · 2018年5月18日
赛尔推荐 | 第14期
哈工大SCIR
3+阅读 · 2018年5月9日
赛尔推荐 | 第13期
哈工大SCIR
5+阅读 · 2018年5月4日
赛尔推荐 | 第12期
哈工大SCIR
4+阅读 · 2018年5月2日
赛尔推荐 | 第9期
哈工大SCIR
13+阅读 · 2018年4月20日
赛尔推荐 | 第5期
哈工大SCIR
13+阅读 · 2018年4月4日
赛尔推荐 | 第4期
哈工大SCIR
7+阅读 · 2018年3月30日
Next Item Recommendation with Self-Attention
Arxiv
5+阅读 · 2018年8月25日
VIP会员
相关资讯
赛尔推荐 | 第22期
哈工大SCIR
6+阅读 · 2018年6月6日
赛尔推荐 | 第21期
哈工大SCIR
4+阅读 · 2018年6月1日
赛尔推荐 | 第20期
哈工大SCIR
4+阅读 · 2018年5月30日
赛尔推荐 | 第17期
哈工大SCIR
8+阅读 · 2018年5月18日
赛尔推荐 | 第14期
哈工大SCIR
3+阅读 · 2018年5月9日
赛尔推荐 | 第13期
哈工大SCIR
5+阅读 · 2018年5月4日
赛尔推荐 | 第12期
哈工大SCIR
4+阅读 · 2018年5月2日
赛尔推荐 | 第9期
哈工大SCIR
13+阅读 · 2018年4月20日
赛尔推荐 | 第5期
哈工大SCIR
13+阅读 · 2018年4月4日
赛尔推荐 | 第4期
哈工大SCIR
7+阅读 · 2018年3月30日
Top
微信扫码咨询专知VIP会员