【ACL2020】基于图神经网络的文本分类新方法

2020 年 7 月 12 日 专知

“分门别类”是个好习惯,你大概也被老师、父母一遍遍地叮嘱督促过:快把东西分类收拾好!!

但是,当我们面对大量的文本信息时,又该如何高效精确地处理呢?这就不得不提到“文本分类”啦,今天就带你了解自动化所团队文本分类的最新研究~


文本分类是自然语言处理和信息检索领域中的基础问题,也是关键问题。分类方法的好坏往往决定了对文本内容的理解程度,为其他文本相关任务(如文本匹配、文本检索、情感分析等)提供必要条件。

传统的文本分类方法(如卷积神经网络和循环神经网络)主要对文本进行顺序化处理,即从头到尾依次进行编码。这样的问题在于,每个单词的学习仅依赖于其附近的单词,无法捕获中长距离的依赖关系,并且重复的单词会学习多次,增加了学习的难度。

中科院自动化所智能感知与计算研究中心张羽丰、吴书等人,受到图结构数据易于建立整体关联关系的启发,提出一种基于图神经网络的归纳式文本分类方法。不再以完全顺序化的方式学习文本内容,而是将文本构建为复杂关联的图结构进行学习,为上述问题提供了解决思路。相关成果发表于顶级国际会议ACL 2020。

该工作以单词为节点、单词间的共现关系为边,将每个文档构建为拥有自身结构的图,将文本分类任务转化为图分类任务。通过应用图神经网络模型,单词可聚合学习所有关联单词的表示,同时也可捕获中长距离的上下文关系。最后使用最大池化加平均池化的方法,将所有单词聚合为该文本的表示,进而得到其分类标签。

基于图神经网络的文本分类模型示意图

该模型在多个数据集中均取得最好性能,同时适用于归纳式学习,即当文本包含较多新词的时候,也能取得不错的效果。

该项研究在自然语言处理、信息组织和管理、内容信息过滤等领域都有着广泛的应用,例如舆情监测、新闻分类、垃圾邮件过滤、个性化推荐等,也为相关领域的问题提供了新的研究思路。





论文


Yufeng Zhang, Xueli Yu, Zeyu Cui, Shu Wu, Zhongzhen Wen, Liang Wang. Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks. In ACL 2020.




代码


https://github.com/CRIPAC-DIG/TextING



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“ITCGNN” 可以获取《ACL2020基于图神经网络的文本分类新方法》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“阅读原文”,了解使用专知,查看获取5000+AI主题知识资源
登录查看更多
22

相关内容

文本分类(Text Classification)任务是根据给定文档的内容或主题,自动分配预先定义的类别标签。
最新《图神经网络模型与应用》综述论文
专知会员服务
290+阅读 · 2020年8月2日
最新《图神经网络知识图谱补全》综述论文
专知会员服务
153+阅读 · 2020年7月29日
基于多头注意力胶囊网络的文本分类模型
专知会员服务
76+阅读 · 2020年5月24日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
62+阅读 · 2020年1月10日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
71+阅读 · 2019年11月3日
六篇 CIKM 2019 必读的【图神经网络(GNN)】长文论文
专知会员服务
37+阅读 · 2019年11月3日
一文综述经典的深度文本分类方法
AI100
12+阅读 · 2019年6月8日
一文读懂深度学习文本分类方法
AINLP
15+阅读 · 2019年6月6日
图卷积神经网络(GCN)文本分类详述
专知
278+阅读 · 2019年4月5日
图神经网络综述:方法及应用 | Deep Reading
AI100
34+阅读 · 2019年3月17日
图神经网络综述:模型与应用
PaperWeekly
194+阅读 · 2018年12月26日
基于 word2vec 和 CNN 的文本分类 :综述 & 实践
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
Arxiv
29+阅读 · 2020年3月16日
Arxiv
8+阅读 · 2019年5月20日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
9+阅读 · 2018年2月4日
VIP会员
相关VIP内容
相关资讯
Top
微信扫码咨询专知VIP会员