【EMNLP2019教程】图神经网络GNN的自然语言处理,附315页PPT及作者博士论文下载

11 月 6 日 专知

导读

本教程旨在介绍基于图的深度学习技术的最新进展,如自然语言处理(NLP)领域的图卷积网络(GCN)。教程简短地介绍了非欧几里得域中的深度学习方法,例如图并且证明它们在NLP中的相关性。然后介绍了基于图的深度学习方法在各种NLP任务中的最新进展,如语义角色标注、机器翻译、关系抽取等。

介绍

图(graphs)与我们的日常生活紧密相关,从我们的社交网络到最近十分流行的知识图谱(KG)都充斥着图的身影。图是最富表现力的数据结构之一,已被用于建模各种问题。事实上,知识图谱(KG)就是图的结构化表示,其中节点表示实体,边表示实体之间的关系。然而,卷积神经网络(CNN)和递归神经网络(RNN)这些传统的神经网络只适合处理欧几里得数据。面对这种困境,图卷积网络(GCN)顺势而生,被用来解决上面提到的问题并且已经成功的应用到了一些问题上。



作者对GCN的研究

(1)NeuralDater模型,一种基于图卷积网络(GCN)的文献年代测定方法。这是GCN和基于深度神经网络的方法首次应用于文档年代测定问题。

(2)SynGCN模型,该方法是一种灵活的基于图卷积的词嵌入学习方法,该方法利用词对上下文的依赖性而不是线性上下文来学习更加有意义的词嵌入表示。


目前GCN方法的局限性

(1)当前标准的邻域聚合方法对节点数量没有限制,但是过多的节点数量会影响目标节点的表示,这使得几跳(few hops)之后,hub-nodes的词表示就会覆盖几乎覆盖整张图,进而导致hub-nodes的词表示包含了大量的噪声。为解决这个问题,作者相应的提出了ConfGCN模型。

(2)目前大多数的GCN方法都只能够处理无向图。然而,现实生活中更为普遍的一种图是关系图,其中每条边都有一个与之关联的标签和方向。目前处理这些图的方法都饱受过量参数的困扰,而且这些方法仅限于学习节点的表示。为了解决这个问题,作者提出了CompGCN 方法。

教程地址:

https://www.emnlp-ijcnlp2019.org/program/tutorials/

https://github.com/svjan5/GNNs-for-NLP

相关资料下载
请关注专知公众号(点击上方蓝色专知关注

后台回复“EMNLP2019-GNN” 就可以获取相关资料(教程PPT、作者博士论文)的下载链接~

-END-
专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取更多AI知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询
请加专知小助手微信(扫一扫如下二维码添加),获取专知VIP会员码,加入专知人工智能主题群,咨询技术商务合作~
点击“阅读原文”,了解注册成为专知VIP会员
登录查看更多
11+

相关内容

论文题目:面向社会计算的网络表示学习

作者:涂存超

导师:孙茂松, 刘知远

网址:http://nlp.csai.tsinghua.edu.cn/~tcc/#Thesis

论文摘要:在数据挖掘和社交网络分析中,对于网络节点的特征表示一直至关重要。随 着大规模社会网络的出现,传统的网络表示方法面临着计算效率以及可解释性的 问题。此外,这些社会网络往往蕴含着丰富的异构信息,这些特点使得已有的网 络表示方法不能很好的处理这些大规模社会网络。 网络表示学习(NetworkRepresentationLearning),也就是网络嵌入(Network Embedding),目的是为网络中的节点学习一个低维实值的向量表示。每个节点对 应的表示向量蕴含了该节点的网络结构信息以及其它异构信息,这些表示向量一 般被当作特征向量,来进行进一步的网络分析任务,例如节点分类、链接预测、社 区发现等。本文针对网络节点表示已有工作的不足,提出了在社会网络中学习节 点显式及隐式表示的思路,来学习高质量的网络节点特征向量和提高社交网络分 析任务的效果。为了学习网络节点显式的特征表示,我们进行了如下工作:(1)基 于词项的显式网络表示:针对网络节点分类任务,我们提出一种双层分类模型,融 合利用社交网络用户异构文本信息和网络结构信息,来进行职业预测任务。(2)基 于主题标签的显式网络表示:为了提高用户特征表示的可解释性问题,我们提出 利用显式的标签来表示用户节点,探究标签与社交网络用户社交行为之间的对应 关系,进行用户标签推荐任务。 虽然网络节点显式表示可解释性强,但它面临着计算效率的问题。基于表示 学习在图像、语音、文本等领域成功应用,我们提出了一系列基于深度学习的网 络表示学习的方法,来学习网络节点的隐式低维表示。这些工作包括:(1)基于最 大间隔的隐式网络表示:为了提高网络节点表示的区分性及其在节点分类上的效 果,提出基于最大间隔理论的有区分性的网络表示学习模型,同时训练网络表示 学习模型和最大间隔分类器,显著提升了网络节点分类的效果。(2)上下文相关 的隐式网络表示:针对链接预测任务,提出上下文相关的网络表示学习模型,根据 网络节点交互的邻居节点的不同,结合文本信息来学习节点动态的表示向量。由 于引入了互相注意力机制,该模型能够显著提高链接预测任务的效果。(3)面向 社会关系抽取的隐式网络表示:为了更好的对节点之间边上的语义信息进行建模, 提出基于平移思想的网络表示学习模型,考虑节点之间边上的标签信息,来进行 社会关系抽取任务。(4)社区优化的隐式网络表示:为了考虑社会网络中全局的 社区特征,我们利用网络中的社区与文本中的主题之间的类比关系,提出了社区 优化的网络表示学习模型,来同时学习节点表示和社区发现。

phd_slides.pdf
phd_thesis.pdf
2+
0+

论文摘要

图无处不在,从引文和社交网络到知识图谱(KGs)。它们是最富表现力的数据结构之一,已被用于建模各种问题。知识图谱是图中事实的结构化表示,其中节点表示实体,边表示实体之间的关系。最近的研究已经开发出几种大型知识图谱;例如DBpedia、YAGO、NELL和Freebase。然而,它们都是稀疏的,每个实体只有很少的事实。例如,每个实体只包含1.34个事实。在论文的第一部分,我们提出了缓解这一问题的三个解决方案:(1)KG规范化,即(2)关联提取,它涉及到从非结构化文本中提取实体之间的语义关系的自动化过程;(3)链接预测,它包括基于KG中的已知事实推断缺失的事实。KG的规范化,我们建议CESI(规范化使用嵌入和边信息),一个新颖的方法执行规范化学习嵌入开放KG。KG嵌入的方法扩展了最新进展将相关NP和关系词信息原则的方式。对于关系提取,我们提出了一种远程监督神经关系提取方法,该方法利用KGs中的附加边信息来改进关系提取。最后,对于链路预测,我们提出了扩展ConvE的InteractE,这是一种基于卷积神经网络的链路预测方法,通过三个关键思想:特征置换、新颖的特征重塑和循环卷积来增加特征交互的次数。通过对多个数据集的大量实验,验证了所提方法的有效性。

传统的神经网络如卷积网络和递归神经网络在处理欧几里得数据时受到限制。然而,在自然语言处理(NLP)中图形是很突出的。最近,图卷积网络(Graph Convolutional Networks, GCNs)被提出来解决这一缺点,并成功地应用于多个问题。在论文的第二部分,我们利用GCNs来解决文档时间戳问题,它是文档检索和摘要等任务的重要组成部分。

为此,我们提出利用GCNs联合开发文档语法和时态图结构的NeuralDater,以获得该问题的最新性能。提出了一种灵活的基于图卷积的词嵌入学习方法——SynGCN,该方法利用词的依赖上下文而不是线性上下文来学习更有意义的词嵌入。在论文的第三部分,我们讨论了现有GCN模型的两个局限性,即(1)标准的邻域聚合方案对影响目标节点表示的节点数量没有限制。这导致了中心节点的噪声表示,中心节点在几个跃点中几乎覆盖了整个图。为了解决这个缺点,我们提出了ConfGCN(基于信任的GCN),它通过估计信任来确定聚合过程中一个节点对另一个节点的重要性,从而限制其影响邻居。(2)现有的GCN模型大多局限于处理无向图。然而,更一般和更普遍的一类图是关系图,其中每条边都有与之关联的标签和方向。现有的处理此类图的方法存在参数过多的问题,并且仅限于学习节点的表示。我们提出了一种新的图卷积框架CompGCN,它将实体和关系共同嵌入到一个关系图中。CompGCN是参数有效的,并且可以根据关系的数量进行扩展。它利用了来自KG嵌入技术的各种实体-关系组合操作,并在节点分类、链接预测和图分类任务上取得了明显的优势结果。

17+
0+

报告主题:Learning and Reasoning on Graph for Recommendation

报告摘要:推荐方法构造了预测模型,以估计用户与项目交互的可能性。先前的模型在很大程度上遵循一般的监督学习范例-将每个交互视为一个单独的数据实例,并基于“信息孤岛”进行预测。但是,此类方法忽略了数据实例之间的关系,这可能导致性能欠佳,尤其是对于稀疏场景。此外,建立在单独数据实例上的模型几乎不能显示出推荐背后的原因,从而使推荐过程难以理解。

在本教程中,我们将从图学习的角度重新审视推荐问题。可以将推荐的通用数据源组织成图形,例如用户-项目交互(二分图),社交网络,项目知识图(异构图)等。这种基于图的组织将孤立的数据实例连接起来,从而为利用高阶连通性带来了好处,这些高阶连通性对有意义的模式进行了编码,以进行协作过滤,基于内容的过滤,社会影响力建模和知识感知推理。结合图神经网络(GNN)的最新成功,基于图的模型已展现出成为下一代推荐系统技术的潜力。本教程提供了有关基于图的学​​习方法推荐的综述,特别着重于GNN的最新发展和知识图增强的推荐。通过在本教程中介绍这个新兴而有前途的领域,我们希望观众可以对空间有深入的了解和准确的见解,激发更多的想法和讨论,并促进技术的发展。

邀请嘉宾: 王翔,新加坡国立大学(NUS)计算机学院的研究员。 他获得了博士学位。 他于2019年获得国大计算机科学博士学位。他的研究兴趣包括推荐系统,信息检索和数据挖掘。 在SIGIR,KDD,WWW和AAAI等顶级会议上,他拥有20多种出版物,包括TOIS和TKDE等期刊。 他曾担任CCIS 2019的本地主席,包括SIGIR,CIKM和MM在内的顶级会议的PC成员以及TKDE和TOIS等著名期刊的定期审稿人。

何向南,中国科技大学(USTC)教授。他获得了博士学位。 2016年获得新加坡国立大学(NUS)计算机科学博士学位。他的研究兴趣涵盖信息检索,数据挖掘和应用机器学习。他在60多个顶级会议上发表了60多种出版物,这些会议包括SIGIR,WWW,KDD和MM,以及包括TKDE,TOIS和TNNLS在内的期刊。他在推荐器系统方面的工作在WWW 2018和SIGIR 2016上获得了最佳论文奖荣誉奖。此外,他还担任过CCIS 2019的PC主席,MM 2019和CIKM 2019的区域主席,并且是多个顶级会议的PC成员,包括SIGIR,WWW,KDD等,以及TKDE,TOIS,TMM等期刊的定期审阅者。他具有丰富的教学经验,包括在WWW 2018和SIGIR 2018中提供了“针对搜索和推荐匹配的深度学习”教程, SIGIR 2018中的教程“电子商务中的信息发现”,以及ICMR 2018中的教程“多媒体内容推荐技术”。

Tat-Seng Chua,是新加坡国立大学计算机学院的KITHCT讲座教授。他拥有博士学位。来自英国利兹大学。 1998年至2000年,他担任该学院的代理和创始院长。蔡博士的主要研究兴趣是多媒体信息检索和社交媒体分析。特别是,他的研究重点在于从网络和多个社交网络中提取和检索文本和富媒体(QA)。他是NExT的联合主任,NExT是NUS与清华大学之间的联合中心,致力于开发实时社交媒体搜索技术。蔡博士因其对多媒体计算,通信和应用的杰出技术贡献而荣获2015年ACM SIGMM大奖。他是ACM国际多媒体检索会议(ICMR)和多媒体建模(MMM)会议系列指导委员会主席。蔡博士还是ACM Multimedia 2005,ACM CIVR 2005,ACM SIGIR 2008和ACM Web Science 2015的联合主席。他在四家国际期刊的编辑委员会任职。蔡博士是新加坡两家技术初创公司的联合创始人。

CIKM2019-graph-for-recommendation.pdf
11+
0+
Top