【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会将于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。在会议开始前夕,专知小编为大家整理了ICML 2020图神经网络(GNN)的六篇相关论文供参考——核GNN、特征变换、Haar 图池化、无监督图表示、谱聚类、自监督GCN。

ICML 2020 Accepted Papers https://icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者:Dexiong Chen, Laurent Jacob, Julien Mairal

摘要:我们引入了一系列多层图核,并在图卷积神经网络和核方法之间建立了新的联系。我们的方法通过将图表示为核特征映射序列将卷积核网络推广到图结构数据,其中每个节点携带关于局部图子结构的信息。一方面,核的观点提供了一种无监督的、有表现力的、易于正规化的数据表示,这在样本有限的情况下很有用。另一方面,我们的模型也可以在大规模数据上进行端到端的训练,从而产生了新型的图卷积神经网络。我们的方法在几个图分类基准上取得了与之相当的性能,同时提供了简单的模型解释。

网址: https://arxiv.org/abs/2003.05189

代码链接: https://github.com/claying/GCKN

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt

摘要:本文提出了一种新的基于特征线性调制(feature-wise linear modulation,FiLM)的图神经网络(GNN)。许多标准GNN变体仅通过每条边的源的表示来计算“信息”,从而沿着图的边传播信息。在GNN-FILE中,边的目标节点的表示被附加地用于计算可以应用于所有传入信息的变换,从而允许对传递的信息进行基于特征的调制。基于基线方法的重新实现,本文给出了在文献中提到的三个任务上的不同GNN体系结构的实验结果。所有方法的超参数都是通过广泛的搜索找到的,产生了一些令人惊讶的结果:基线模型之间的差异比文献报道的要小。尽管如此,GNN-FILE在分子图的回归任务上的表现优于基线方法,在其他任务上的表现也具有竞争性。

网址: https://arxiv.org/abs/1906.12192

3. Haar Graph Pooling

作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要:深度图神经网络(GNNs)是用于图分类和基于图的回归任务的有效模型。在这些任务中,图池化是GNN适应不同大小和结构的输入图的关键因素。本文提出了一种新的基于压缩Haar变换的图池化操作-HaarPooling。HaarPooling实现了一系列池化操作;它是通过跟随输入图的一系列聚类序列来计算的。HaarPooling层将给定的输入图变换为节点数较小、特征维数相同的输出图;压缩Haar变换在Haar小波域中过滤出细节信息。通过这种方式,所有HaarPooling层一起将任何给定输入图的特征合成为大小一致的特征向量。这种变换提供了数据的稀疏表征,并保留了输入图的结构信息。使用标准图卷积层和HaarPooling层实现的GNN在各种图分类和回归问题上实现了最先进的性能。

网址: https://arxiv.org/abs/1909.11580

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon

摘要:我们提出了Interferometric Graph Transform(IGT),这是一类用于构建图表示的新型深度无监督图卷积神经网络。我们的第一个贡献是提出了一种从欧几里德傅立叶变换的推广得到的通用复数谱图结构。基于一个新颖的贪婪凹目标,我们的学习表示既包括可区分的特征,也包括不变的特征。通过实验可以得到,我们的学习过程利用了谱域的拓扑,这通常是谱方法的一个缺陷,特别是我们的方法可以恢复视觉任务的解析算子。我们在各种具有挑战性的任务上测试了我们的算法,例如图像分类(MNIST,CIFAR-10)、社区检测(Authorship,Facebook graph)和3D骨架视频中的动作识别(SBU,NTU),在谱图非监督环境下展示了一种新的技术水平。

网址:

https://arxiv.org/abs/2006.05722

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连通社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一簇的节点的池化操作。然而,Laplacian的特征分解代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛公式,并训练GNN来计算最小化这一目标的簇分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚类函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://arxiv.org/abs/1907.00481

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:自监督作为一种新兴的技术已被用于训练卷积神经网络(CNNs),以提高图像表示学习的可传递性、泛化能力和鲁棒性。然而,自监督对操作图形数据的图卷积网络(GCNS)的介绍却很少被探索。在这项研究中,我们首次将自监督纳入GCNS的系统探索和评估。我们首先阐述了将自监督纳入GCNS的三种机制,分析了预训练&精调和自训练的局限性,并进而将重点放在多任务学习上。此外,我们还提出了三种新的GCNS自监督学习任务,并进行了理论分析和数值比较。最后,我们进一步将多任务自监督融入到图对抗性训练中。研究结果表明,通过合理设计任务形式和合并机制,自监督有利于GCNS获得更强的泛化能力和鲁棒性。

网址: https://arxiv.org/abs/2006.09136

代码链接: https://github.com/Shen-Lab/SS-GCNs

成为VIP会员查看完整内容
0
34

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】IJCAI(国际人工智能联合会议,International Joint Conferences on Artificial Intelligence)作为人工智能领域最顶级的国际学术会议之一,IJCAI 的举办自然备受瞩目。第29届国际人工智能联合会议和第17届环太平洋国际人工智能会议原定于2020年7月11日在日本横滨召开,但由于疫情影响,将延期半年,至 2021年1月召开。近期,IJCAI 2020 论文集已经放出来。在 4717 份有效投稿中,最终仅有 592 篇被接收,接收率为 12.6%,这也是 IJCAI 史上最低的接收率。我们发现在今年的IJCAI 2020会议上图神经网络相关的论文非常多,今天小编专门整理最新6篇图神经网络(GNN)应用在数据挖掘上的相关论文——多通道GNN、自适应时空图卷积、会话流GNN、双重注意力GNN、域自适应HIN、双线性GNN

IJCAI 2020 Accepted Paper: https://www.ijcai.org/Proceedings/2020/

IJCAI2020GNN_Part1、ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、

1、Multi-Channel Graph Neural Networks

作者:Kaixiong Zhou, Qingquan Song, Xiao Huang, Daochen Zha, Na Zou, Xia Hu

摘要:在许多学科中,图结构数据的分类已变得越来越重要。已经观察到,现实世界图中的隐式或显式分层社区结构可能对下游分类应用有用。利用层次结构的一种直接方法是利用池化算法将节点聚类为固定簇(cluster),然后逐层缩小输入图以学习池化图。但是,池化缩小( pool shrinking)会舍弃图的详细信息,从而难以区分两个非同构图,并且固定簇忽略了节点固有的多重特征。为了补偿缩小损失并了解各个节点的特性,我们提出了多通道图神经网络(MuchGNN)。受卷积神经网络中提出的底层机制的启发,我们定义了定制的图卷积,以学习每一层的一系列图通道,并按层次缩小图以对合并的结构进行编码。真实数据集上的实验结果证明了MuchGNN优于最新方法。

网址: https://www.ijcai.org/Proceedings/2020/0188.pdf

2、GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classification

作者:Ziyu Jia, Youfang Lin, Jing Wang, Ronghao Zhou, Xiaojun Ning, Yuanlai He, Yaoshuai Zhao

摘要:睡眠阶段分类对于睡眠评估和疾病诊断至关重要。但是,如何有效利用大脑的空间特征和睡眠阶段之间的转换信息仍然是一个挑战。特别地,由于对人脑的了解有限,为睡眠阶段分类预定义合适的空间脑连接结构仍然是一个悬而未决的问题。在本文中,我们提出了一种新颖的深度图神经网络,名为GraphSleepNet,用于自动睡眠阶段分类。GraphSleepNet的主要优点是可以自适应地学习以邻接矩阵表示的不同脑电图(EEG)通道之间的内在联系,从而为时空图卷积网络(ST-GCN)提供服务,以进行睡眠阶段分类。同时,ST-GCN由用于提取空间特征的图形卷积和用于捕获睡眠阶段之间的转换规则的时间卷积组成。蒙特利尔睡眠研究档案(MASS)数据集上的实验表明GraphSleepNet优于最新的基线。

网址: https://www.ijcai.org/Proceedings/2020/0184.pdf

3、GraphFlow: Exploiting Conversation Flow with Graph Neural Networks for Conversational Machine Comprehension

作者:Yu Chen, Lingfei Wu, Mohammed J. Zaki

摘要:事实证明,与传统MC相比,会话机器理解(MC)更具挑战性,因为它需要更好地利用会话历史记录。但是,大多数现有方法无法有效地捕获会话历史记录,因此难以处理涉及的指代或省略号的问题。此外,在对段落文本进行推理时,大多数人只是将其视为单词序列,而没有探索单词之间丰富的语义关系。在本文中,我们首先提出一种简单而有效的图结构学习技术,以在每次对话转折时动态构造一个具有问题和会话历史意识的上下文图。然后,我们提出了一种新颖的递归图神经网络,并在此基础上,引入了一种flow机制来对一系列上下文图中的时间依赖性进行建模。与现有的CoQA,QuAC和DoQA基准的最新技术相比,我们所提出的GRAPHFLOW模型可以有效地捕获会话中的对话流,并显示出可竞争的性能。此外,可视化实验表明,我们提出的模型可以为推理过程提供良好的可解释性。

网址: http://www.cs.rpi.edu/~zaki/PaperDir/IJCAI20.pdf

4、GoGNN: Graph of Graphs Neural Network for Predicting Structured Entity Interactions

作者:Hanchen Wang, Defu Lian, Ying Zhang, Lu Qin, Xuemin Lin

摘要:实体交互预测在许多重要应用中至关重要,例如化学,生物学,材料科学和医学。当每个实体由复杂结构(即结构化实体)表示时,该问题变得非常具有挑战性,因为涉及两种类型的图:结构化实体的局部图和捕获结构化实体之间的交互的全局图。我们注意到,现在有关结构化实体交互预测的工作无法正确利用图模型的唯一图。在本文中,我们提出了一种图神经网络图(Graph of Graphs Neural Network,GoGNN),它以分层的方式提取结构化实体图和实体交互图中的特征。我们还提出了双重注意机制,该机制使模型能够在图的两个级别中保留邻居的重要性。在现实世界的数据集上进行的大量实验表明,GoGNN在两个代表性的结构化实体交互预测任务上胜过了最新技术:化学-化学交互预测和药物-药物交互预测。

代码:

https://github.com/Hanchen-Wang/GoGNN

网址: https://www.ijcai.org/Proceedings/2020/0183.pdf

5、Domain Adaptive Classification on Heterogeneous Information Networks

作者:Shuwen Yang, Guojie Song, Yilun Jin, Lun Du

摘要:异构信息网络(HIN)是无处不在的结构,因为它们可以描述复杂的关系数据。由于这些数据的复杂性,很难在HIN上获得足够的标记数据,从而妨碍了HIN的分类。虽然领域适应(DA)技术已在图像和文本中得到广泛利用,但是异构性和复杂的语义对HIN上的领域自适应分类提出了特定的挑战。一方面,HIN涉及多个级别的语义,这要求在它们之间进行域对齐。另一方面,由于域不变性特征是同质的并且对分类没有信息,因此必须精心选择域相似性和可区分性之间的权衡。在本文中,我们提出了多空间域自适应分类(MuSDAC)来解决HIN上的DA问题。具体来说,我们利用多通道共享权重GCN,将HIN中的节点投影到执行成对对齐的多个空间。此外,我们提出了一种启发式采样算法,该算法可以有效地选择具有可区分性的通道组合,并采用移动平均加权投票(moving averaged weighted voting)方案来融合所选通道,从而最大程度地减少传输和分类损失。在成对数据集上进行的大量实验证明了我们模型在HIN领域自适应分类和各个组成部分的贡献方面的表现。

网址: https://www.ijcai.org/Proceedings/2020/0196.pdf

6、Bilinear Graph Neural Network with Neighbor Interactions

作者:Hongmin Zhu, Fuli Feng, Xiangnan He, Xiang Wang, Yan Li, Kai Zheng, Yongdong Zhang

摘要:图神经网络(GNN)是一个功能强大的模型,可用于学习表示形式并对图形数据进行预测。对GNN的现有工作已将图卷积定义为所连接节点的特征的加权和,以形成目标节点的表示形式。然而,加权和的运算假设相邻节点彼此独立,并且忽略它们之间可能的交互。当存在这样的交互时,例如两个邻居节点的同时出现是目标节点特征的强烈信号,现有的GNN模型可能无法捕获该信号。在这项工作中,我们认为在GNN中对相邻节点之间的交互进行建模是十分重要的。我们提出了一种新的图卷积算子,该算子通过邻居节点表示的成对交互来增加加权和。我们将此框架称为双线性图神经网络( Bilinear Graph Neural Network ,BGNN),该框架可通过相邻节点间的双线性交互双线性来提高GNN表示能力。特别是,我们分别基于著名的GCN和GAT指定了两个名为BGCN和BGAT的BGNN模型。关于三个半监督节点分类的公开基准的实证结果证明了BGNN的有效性-BGCN(BGAT)在分类准确度方面比GCN(GAT)高1.6%(1.5%)。

代码: https://github.com/zhuhm1996/bgnn

网址:

https://www.ijcai.org/Proceedings/2020/0202.pdf

成为VIP会员查看完整内容
0
14

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会已于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。ICML官网公布了接受论文列表,小编发现基于Graph相关的paper依然很多,为此,上个月专知小编为大家整理了图神经网络相关的论文,这期小编继续为大家奉上ICML 2020必读的五篇图神经网络(GNN)相关论文-Part 2——贝叶斯GNN、连续GNN、Faster图嵌入、深度GCN、图Pooling、

ICML 2020 Accepted Paper: https://proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、

1. Bayesian Graph Neural Networks with Adaptive Connection Sampling

作者:Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffifield, Krishna Narayanan, Xiaoning Qian

摘要:我们提出了一个用于图神经网络(GNNs)自适应连接采样(connection sampling)的统一框架,该框架概括了现有的用于训练GNN的随机正则化方法。该框架不仅缓解了深层GNNs的过平滑和过拟合趋势,而且使得GNNs在图分析任务中的不确定性学习成为可能。与现有的随机正则化方法那样使用固定的采样率或手动调整它们作为模型超参数不同,我们的自适应连接采样可以与GNN模型参数以全局和局部的方式联合训练。具有自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上的消融实验结果验证了自适应学习采样率是在半监督节点分类任务中提高GNNs性能的关键,使其不容易过平滑和过拟合,具有更稳健的预测能力。

网址: https://proceedings.icml.cc/book/4229.pdf

2.Continuous Graph Neural Networks

作者:Louis-Pascal A. C. Xhonneux, Meng Qu, Jian Tang

摘要:本文建立在图神经网络与传统动力系统之间的联系之上。我们提出了连续图神经网络(Continuous Graph Neural Networks, CGNN),由于CGNN可以看作是一种特定的离散化方案,它进一步推广了现有的具有离散动力学的图神经网络。其核心思想是如何刻画节点表示的连续动力学,即节点表示的导数。受现有的基于图扩散的方法(如社会网络上的PageRank模型和流行病模型)的启发,我们将导数定义为当前节点表示、邻居表示和节点初始值的组合。我们提出并分析了图上的两种可能的动力学--包括节点表示的每一维(也称为特征通道)独立改变或者彼此交互-这两者都有理论上的合理性。所提出的连续图神经网络对过于过平滑具有较强的鲁棒性,因此可以建立更深层次的网络,从而能够捕获节点之间的长期依赖关系。在节点分类任务上的实验结果证明了我们提出的方法在与基线模型竞争上的有效性。

网址: https://proceedings.icml.cc/book/3916.pdf

3.Faster Graph Embeddings via Coarsening

作者:Matthew Fahrbach, Gramoz Goranci, Richard Peng, Sushant Sachdeva, Chi Wang

摘要:图嵌入是一种普遍适用于机器学习任务的工具,如图结构数据上的节点分类和连接预测。然而,即使我们只对相关顶点的一小部分感兴趣,计算大规模图嵌入的效率也是很低的。为了解决这个问题,我们提出了一种基于Schur补(Schur complements)的有效图粗化方法,用于计算相关顶点的嵌入。我们证明了这些嵌入被不相关顶点上通过高斯消去法得到的Schur补图精确地保存。由于计算Schur补的代价很高,我们给出了一个近似线性的时间算法,该算法在每次迭代中在相关顶点上生成一个粗化图,该粗化图在期望上与Schur补相匹配。我们在图上进行的预测任务实验表明,计算嵌入到粗化图上,而不是整个图上,在不牺牲精度的情况下,可以节省大量的时间。

网址: https://proceedings.icml.cc/book/4104.pdf

4. Simple and Deep Graph Convolutional Networks

作者:Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li

摘要:图卷积网络(GCNS)是一种强大的图结构数据深度学习方法。最近,GCNS及其变体在真实数据集上的各个应用领域都显示出了优异的性能。尽管取得了成功,但由于过平滑的问题,目前的大多数GCN模型都很浅。本文研究了深图卷积网络的设计与分析问题。我们提出了GCNII模型,它是对普通GCN模型的扩展,使用了两个简单而有效的技术:初始残差和恒等映射(Identity mapping)。我们提供了理论和实验证据,证明这两种技术有效地缓解了过平滑问题。我们的实验表明,深度GCNII模型在各种半监督和全监督任务上的性能优于最先进的方法。

网址: https://proceedings.icml.cc/book/3586.pdf

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连接社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一集群节点的池化操作。然而,Laplacian特征分解的代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛(continuous relaxation )公式,并训练GNN来计算最小化这一目标的聚类分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚合函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://proceedings.icml.cc/book/3494.pdf

成为VIP会员查看完整内容
0
23

【导读】作为世界数据挖掘领域的最高级别的学术会议,ACM SIGKDD(国际数据挖掘与知识发现大会,简称 KDD)每年都会吸引全球领域众多专业人士参与。今年的 KDD大会计划将于 2020 年 8 月 23 日 ~27 日在美国美国加利福尼亚州圣地亚哥举行。上周,KDD 2020官方发布接收论文,共有1279篇论文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官网公布了接受论文列表,为此,上个月专知小编为大家整理了图神经网络相关的论文,这期小编继续为大家奉上KDD 2020必读的五篇图神经网络(GNN)相关论文-Part 2——多层次GCN、无监督预训练GCN、图Hash、GCN主题模型、采样

KDD 2020 Accepted Paper: https://www.kdd.org/kdd2020/accepted-papers

KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、

1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction

作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial

摘要:跨平台的账号匹配在社交网络分析中发挥着重要作用,并且有利于广泛的应用。然而,现有的方法要么严重依赖于高质量的用户生成内容(包括用户兴趣模型),要么只关注网络拓扑结构,存在数据不足的问题,这使得研究这个方向变得很困难。为了解决这一问题,我们提出了一种新的框架,该框架统一考虑了局部网络结构和超图结构上的多级图卷积。该方法克服了现有工作中数据不足的问题,并且不一定依赖于用户的人口统计信息。此外,为了使所提出的方法能够处理大规模社交网络,我们提出了一种两阶段的空间协调机制,在基于网络分区的并行训练和跨不同社交网络的帐户匹配中对齐嵌入空间。我们在两个大规模的真实社交网络上进行了广泛的实验。实验结果表明,该方法的性能比现有的模型有较大幅度的提高。

网址:

https://arxiv.org/abs/2006.01963

2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang

摘要:图表示学习已经成为解决现实问题的一种强有力的技术。包括节点分类、相似性搜索、图分类和链接预测在内的各种下游图学习任务都受益于它的最新发展。然而,关于图表示学习的现有技术集中于领域特定的问题,并为每个图训练专用模型,这通常不可转移到领域之外的数据。受自然语言处理和计算机视觉在预训练方面的最新进展的启发,我们设计了图对比编码(Graph Contrastive Coding,GCC)一个无监督的图表示学习框架来捕捉跨多个网络的通用网络拓扑属性。我们将GCC的预训练任务设计为网络内部和网络之间的子图级别的实例判断,并利用对比学习来增强模型学习内在的和可迁移的结构表征能力。我们在三个图学习任务和十个图数据集上进行了广泛的实验。结果表明,GCC在一组不同的数据集上进行预训练,可以获得与从头开始的特定任务训练的方法相媲美或更好的性能。这表明,预训练和微调范式对图表示学习具有巨大的潜力。

网址:

https://arxiv.org/abs/2006.09963

代码链接:

https://github.com/THUDM/GCC

3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases

作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun

摘要:图相似搜索的目的是根据给定的邻近度,即图编辑距离(GED),在图形数据库中找到与查询最相似的图。这是一个被广泛研究但仍具有挑战性的问题。大多数研究都是基于剪枝验证框架,该框架首先对非看好的图进行剪枝,然后在较小的候选集上进行验证。现有的方法能够管理具有数千或数万个图的数据库,但由于其精确的剪枝策略,无法扩展到更大的数据库。受到最近基于深度学习的语义哈希(semantic hashing)在图像和文档检索中的成功应用的启发,我们提出了一种新的基于图神经网络(GNN)的语义哈希,即GHash,用于近似剪枝。我们首先用真实的GED结果训练GNN,以便它学习生成嵌入和哈希码,以保持图之间的GED。然后建立哈希索引以实现恒定时间内的图查找。在回答一个查询时,我们使用哈希码和连续嵌入作为两级剪枝来检索最有希望的候选对象,并将这些候选对象发送到精确的求解器进行最终验证。由于我们的图哈希技术利用了近似剪枝策略,与现有方法相比,我们的方法在保持高召回率的同时,实现了显著更快的查询时间。实验表明,该方法的平均速度是目前唯一适用于百万级数据库的基线算法的20倍,这表明GHash算法成功地为解决大规模图形数据库的图搜索问题提供了新的方向。

网址:

http://web.cs.ucla.edu/~yzsun/papers/2020_KDD_GHashing.pdf

4. Graph Structural-topic Neural Network

作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin

摘要:图卷积网络(GCNS)通过有效地收集节点的局部特征,取得了巨大的成功。然而,GCNS通常更多地关注节点特征,而较少关注邻域内的图结构,特别是高阶结构模式。然而,这种局部结构模式被显示为许多领域中的节点属性。此外,由于网络很复杂,每个节点的邻域由各种节点和结构模式的混合组成,不只是单个模式,所有这些模式上的分布都很重要。相应地,在本文中,我们提出了图结构主题神经网络,简称GraphSTONE,这是一种利用图的主题模型的GCN模型,使得结构主题广泛地从概率的角度捕捉指示性的图结构,而不仅仅是几个结构。具体地说,我们使用 anonymous walks和Graph Anchor LDA(一种LDA的变体,首先选择重要的结构模式)在图上建立主题模型,以降低复杂性并高效地生成结构主题。此外,我们设计了多视图GCNS来统一节点特征和结构主题特征,并利用结构主题来指导聚合。我们通过定量和定性实验对我们的模型进行了评估,我们的模型表现出良好的性能、高效率和清晰的可解释性。

网址:

https://arxiv.org/abs/2006.14278

代码链接:

https://github.com/YimiAChack/GraphSTONE/

5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi

摘要:抽样方法(如节点抽样、分层抽样或子图抽样)已成为加速大规模图神经网络(GNNs)训练不可缺少的策略。然而,现有的抽样方法大多基于图的结构信息,忽略了最优化的动态性,导致随机梯度估计的方差较大。高方差问题在非常大的图中可能非常明显,它会导致收敛速度慢和泛化能力差。本文从理论上分析了抽样方法的方差,指出由于经验风险的复合结构,任何抽样方法的方差都可以分解为前向阶段的嵌入近似方差和后向阶段的随机梯度方差,这两种方差都必须减小,才能获得较快的收敛速度。我们提出了一种解耦的方差减小策略,利用(近似)梯度信息自适应地对方差最小的节点进行采样,并显式地减小了嵌入近似引入的方差。理论和实验表明,与现有方法相比,该方法即使在小批量情况下也具有更快的收敛速度和更好的泛化能力。

网址:

https://arxiv.org/abs/2006.13866

成为VIP会员查看完整内容
0
37

【导读】计算语言学协会(the Association for Computational Linguistics, ACL)年度会议作为顶级的国际会议,在计算语言学和自然语言处理领域一直备受关注。其接收的论文覆盖了语义分析、文本挖掘、信息抽取、问答系统、机器翻译、情感分析和意见挖掘等众多自然语言处理领域的研究方向。今年,第58届计算语言学协会(the Association for Computational Linguistics, ACL)年度会议将于2020年7月5日至10日在美国华盛顿西雅图举行。受COVID-19疫情影响,ACL 2020将全部改为线上举行。本次ACL大会共提交了3429篇论文,共有571篇长论文、以及208篇短论文入选。不久之前,专知小编为大家整理了大会的图神经网络(GNN)相关论文,这期小编继续为大家奉上ACL 2020图神经网络(GNN)相关论文-Part 2供参考——多文档摘要、多粒度机器阅读理解、帖子争议检测、GAE。

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Leveraging Graph to Improve Abstractive Multi-Document Summarization

作者:Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, Junping Du

摘要:捕捉文本单元之间关系图对于从多个文档中检测显著信息和生成整体连贯的摘要有很大好处。本文提出了一种神经抽取多文档摘要(MDS)模型,该模型可以利用文档的常见图表示,如相似度图和话语图(discourse graph),来更有效地处理多个输入文档并生成摘要。我们的模型使用图对文档进行编码,以捕获跨文档关系,这对于总结长文档至关重要。我们的模型还可以利用图来指导摘要的生成过程,这有利于生成连贯而简洁的摘要。此外,预训练的语言模型可以很容易地与我们的模型相结合,进一步提高了摘要的性能。在WikiSum和MultiNews数据集上的实验结果表明,所提出的体系结构在几个强大的基线上带来了实质性的改进。

网址: https://arxiv.org/abs/2005.10043

2. Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension

作者:Bo Zheng, Haoyang Wen, Yaobo Liang, Nan Duan, Wanxiang Che, Daxin Jiang, Ming Zhou, Ting Liu

摘要:“自然问题”是一种具有挑战性的新的机器阅读理解基准,其中包含两个答案:长答案(通常是一个段落)和短答案(长答案中的一个或多个实体)。尽管此基准测试的现有方法很有效,但它们在训练期间单独处理这两个子任务,忽略了它们间的依赖关系。为了解决这个问题,我们提出了一种新颖的多粒度机器阅读理解框架,该框架专注于对文档的分层性质进行建模,这些文档具有不同的粒度级别:文档、段落、句子和词。我们利用图注意力网络来获得不同层次的表示,以便它们可以同时学习。长答案和短答案可以分别从段落级表示和词级表示中提取。通过这种方式,我们可以对两个粒度的答案之间的依赖关系进行建模,以便为彼此提供证据。我们联合训练这两个子任务,实验表明,我们的方法在长答案和短答案标准上都明显优于以前的系统。

网址: https://arxiv.org/abs/2005.05806

代码链接:

https://github.com/DancingSoul/NQ_BERT-DM

3. Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection

作者:Lei Zhong, Juan Cao, Qiang Sheng, Junbo Guo, Ziang Wang

摘要:识别社交媒体上有争议的帖子是挖掘公众情绪、评估事件影响、缓解两极分化观点的基础任务。然而,现有的方法不能1)有效地融合来自相关帖子内容的语义信息;2)保留回复关系建模的结构信息;3)正确处理与训练集中主题不同的帖子。为了克服前两个局限性,我们提出了主题-帖子-评论图卷积网络(TPC-GCN),它综合了来自主题、帖子和评论的图结构和内容的信息,用于帖子级别的争议检测。对于第三个限制,我们将模型扩展到分离的TPC-GCN(DTPC-GCN),将主题相关和主题无关的特征分离出来,然后进行动态融合。在两个真实数据集上的大量实验表明,我们的模型优于现有的方法。结果和实例分析表明,该模型能够将语义信息和结构信息有机地结合在一起,具有较强的通用性。

网址: https://arxiv.org/abs/2005.07886

4. Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward

作者:Luyang Huang, Lingfei Wu, Lu Wang

摘要:用于抽取摘要的序列到序列(sequence-to-sequence )模型已经被广泛研究,但是生成的摘要通常受到捏造的内容的影响,并且经常被发现是near-extractive的。我们认为,为了解决这些问题,摘要生成器应通过输入获取语义解释,例如通过结构化表示,以允许生成更多信息的摘要。在本文中,我们提出了一种新的抽取摘要框架--Asgard,它具有图形增强和语义驱动的特点。我们建议使用双重编码器-序列文档编码器和图形结构编码器-来保持实体的全局上下文和局部特征,并且相互补充。我们进一步设计了基于多项选择完形填空测试的奖励,以驱动模型更好地捕捉实体交互。结果表明,我们的模型在纽约时报和CNN/每日邮报的数据集上都比没有知识图作为输入的变体产生了更高的Rouge分数。与从大型预训练的语言模型中优化的系统相比,我们也获得了更好或可比的性能。评委进一步认为我们的模型输出信息更丰富,包含的不实错误更少。

网址: https://arxiv.org/abs/2005.01159

5. A Graph Auto-encoder Model of Derivational Morphology

作者:Valentin Hofmann, Hinrich Schutze, Janet B. Pierrehumberty

摘要:关于派生词的形态良好性(morphological well-formedness, MWF)建模工作在语言学中被认为是一个复杂而困难的问题,并且这方面的研究工作较少。我们提出了一个图自编码器学习嵌入以捕捉派生词中词缀和词干的兼容性信息。自编码器通过将句法和语义信息与来自心理词典的关联信息相结合,很好地模拟了英语中的MWF。

网址: http://www.phon.ox.ac.uk/jpierrehumbert/publications/Hofmann_etal_DGA_ACL2020.pdf

成为VIP会员查看完整内容
0
33

【导读】作为CCF推荐的A类国际学术会议,International ACM SIGIR Conference on Research and Development in Information Retrieval(国际计算机学会信息检索大会,简称 SIGIR)在信息检索领域享有很高的学术声誉,每年都会吸引全球众多专业人士参与。今年的 SIGIR 2020计划将于 2020年7月25日~30日在中国西安举行。本次大会共有555篇长文投稿,仅有147篇长文被录用,录用率约26%。专知小编提前为大家整理了六篇SIGIR 2020 基于图神经网络的推荐(GNN+RS)相关论文,这六篇论文分别出自中科大何向南老师和和昆士兰大学阴红志老师团队,供大家参考——捆绑推荐、Disentangled GCF、服装推荐、多行为推荐、全局属性GNN

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN

1. Bundle Recommendation with Graph Convolutional Networks

作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin

摘要:捆绑推荐(Bundle recommendation )旨在推荐一组商品供用户整体消费。现有的解决方案通过共享模型参数或多任务学习的方式将用户项目交互建模集成到捆绑推荐中,然而,这些方法不能显式建模项目与捆绑包(bundles)之间的隶属关系,不能探索用户选择捆绑包时的决策。在这项工作中,我们提出了一个用于捆绑推荐的图神经网络模型BGCN(Bundle Graph Convolutional Network)。BGCN将用户-项目交互、用户-捆绑包交互和捆绑包-项目从属关系统一到一个异构图中。以项目节点为桥梁,在用户节点和捆绑包节点之间进行图卷积传播,使学习到的表示能够捕捉到项目级的语义。通过基于hard-negative采样器的训练,可以进一步区分用户对相似捆绑包的细粒度偏好。在两个真实数据集上的实验结果表明,BGCN的性能有很高的提升,其性能比最新的基线高出10.77%到23.18%。

网址: https://arxiv.org/abs/2005.03475

2. Disentangled Graph Collaborative Filtering

作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua

摘要:从交互数据中学习用户和项目的信息表示对于协同过滤(CF)至关重要。当前的嵌入函数利用用户-项目关系来丰富表示,从单个用户-项目实例演变为整体交互图。然而,这些方法在很大程度上以统一的方式对关系进行建模,而忽略了用户采用这些项目的意图的多样性,这可能是为了打发时间,为了兴趣,或者为其他人(如家庭)购物。这种统一的对用户兴趣建模的方法很容易导致次优表示,不能对不同的关系建模并在表示中分清用户意图。在这项工作中,我们特别关注用户意图细粒度上的用户-项目关系。因此,我们设计了一种新的模型- Disentangled图协同过滤(Disentangled Graph Collaborative Filtering ,DGCF),来理清这些因素并产生disentangled的表示。具体地说,通过在每个用户-项目交互意图上的分布建模,我们迭代地细化意图感知的交互图和表示。同时,我们鼓励不同的意图独立。这将生成disentangled的表示,有效地提取与每个意图相关的信息。我们在三个基准数据集上进行了广泛的实验,DGCF与NGCF、DisenGCN和MacridV AE这几个最先进的模型相比取得了显著的改进。进一步的分析揭示了DGCF在分解用户意图和表示的可解释性方面的优势。

网址:

http://staff.ustc.edu.cn/~hexn/

代码链接:

https://github.com/xiangwang1223/disentangled_graph_collaborative_filtering.

3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection

作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui

摘要:近年来,推荐系统已经成为所有电子商务平台中不可缺少的功能。推荐系统的审查评级数据通常来自开放平台,这可能会吸引一群恶意用户故意插入虚假反馈,试图使推荐系统偏向于他们。此类攻击的存在可能会违反高质量数据始终可用的建模假设,而这些数据确实会影响用户的兴趣和偏好。因此,构建一个即使在攻击下也能产生稳定推荐的健壮推荐系统具有重要的现实意义。本文提出了一种基于GCN的用户表示学习框架GraphRf,该框架能够统一地进行稳健的推荐和欺诈者检测。在其端到端学习过程中,用户在欺诈者检测模块中被识别为欺诈者的概率自动确定该用户的评级数据在推荐模块中的贡献;而在推荐模块中输出的预测误差作为欺诈者检测模块中的重要特征。因此,这两个组成部分可以相互促进。经过大量的实验,实验结果表明我们的GraphRf在鲁棒评级预测和欺诈者检测这两个任务中具有优势。此外,所提出的GraphRf被验证为对现有推荐系统上的各种攻击具有更强的鲁棒性。

网址:

https://arxiv.org/abs/2005.10150

4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation

作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua

摘要:服装推荐越来越受到网购服务商和时尚界的关注。与向用户推荐单个单品(例如,朋友或图片)的其他场景(例如,社交网络或内容共享)不同,服装推荐预测用户对一组匹配良好的时尚单品的偏好。因此,进行高质量的个性化服装推荐应满足两个要求:1)时尚单品的良好兼容性;2)与用户偏好的一致性。然而,目前的研究主要集中在其中一个需求上,只考虑了用户-全套服装(outfit)或全套服装-项目的关系,从而容易导致次优表示,限制了性能。在这项工作中,我们统一了两个任务,服装兼容性建模和个性化服装推荐。为此,我们开发了一个新的框架,层次时尚图网络(HFGN),用于同时建模用户、商品和成套服装之间的关系。特别地,我们构建了一个基于用户-全套服装交互和全套服装-项目映射的层次结构。然后,我们从最近的图神经网络中得到启发,在这种层次图上使用嵌入传播,从而将项目信息聚合到一个服装表示中,然后通过他/她的历史服装来提炼用户的表示。此外,我们还对这两个任务进行了联合训练,以优化这些表示。为了证明HFGN的有效性,我们在一个基准数据集上进行了广泛的实验,HFGN在NGNN和FHN等最先进的兼容性匹配模型基础上取得了显著的改进。

网址:

https://arxiv.org/abs/2005.12566

代码链接:

https://github.com/xcppy/hierarchical_fashion_graph_network

5. Multi-behavior Recommendation with Graph Convolutional Networks

作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li

摘要:传统的推荐模型通常只使用一种类型的用户-项目交互,面临着严重的数据稀疏或冷启动问题。利用多种类型的用户-项目交互(例如:点击和收藏)的多行为推荐可以作为一种有效的解决方案。早期的多行为推荐研究未能捕捉到行为对目标行为的不同程度的影响。它们也忽略了多行为数据中隐含的行为语义。这两个限制都使得数据不能被充分利用来提高对目标行为的推荐性能。在这项工作中,我们创新性地构造了一个统一的图来表示多行为数据,并提出了一种新的模型--多行为图卷积网络(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通过用户-项目传播层学习行为强度,通过项目-项目传播层捕获行为语义,较好地解决了现有工作的局限性。在两个真实数据集上的实验结果验证了该模型在挖掘多行为数据方面的有效性。我们的模型在两个数据集上的性能分别比最优基线高25.02%和6.51%。对冷启动用户的进一步研究证实了该模型的实用性。

网址:

http://staff.ustc.edu.cn/~hexn/

6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation

作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen

摘要:基于流会话的推荐(Streaming session-based recommendation,SSR)是一项具有挑战性的任务,它要求推荐器系统在流媒体场景(streaming scenario)中进行基于会话的推荐(SR)。在电子商务和社交媒体的现实应用中,在一定时间内产生的一系列用户-项目交互被分组为一个会话,这些会话以流的形式连续到达。最近的SR研究大多集中在静态集合上,即首先获取训练数据,然后使用该集合来训练基于会话的推荐器模型。他们需要对整个数据集进行几个epoch的训练,这在流式设置下是不可行的。此外,由于对用户信息的忽视或简单使用,它们很难很好地捕捉到用户的长期兴趣。虽然最近已经提出了一些流推荐策略,但它们是针对个人交互流而不是会话流而设计的。本文提出了一种求解SSR问题的带有Wasserstein 库的全局属性图(GAG)神经网络模型。一方面,当新的会话到达时,基于当前会话及其关联用户构造具有全局属性的会话图。因此,GAG可以同时考虑全局属性和当前会话,以了解会话和用户的更全面的表示,从而在推荐中产生更好的性能。另一方面,为了适应流会话场景,提出了Wasserstein库来帮助保存历史数据的代表性草图。在两个真实数据集上进行了扩展实验,验证了GAG模型与最新方法相比的优越性。

网址: https://sites.google.com/site/dbhongzhi/

成为VIP会员查看完整内容
0
44

【导读】作为世界数据挖掘领域的最高级别的学术会议,ACM SIGKDD(国际数据挖掘与知识发现大会,简称 KDD)每年都会吸引全球领域众多专业人士参与。今年的 KDD大会计划将于 2020 年 8 月 23 日 ~27 日在美国美国加利福尼亚州圣地亚哥举行。上周,KDD 2020官方发布接收论文,共有1279篇论文提交到Research Track,共216篇被接收,接收率16.8%。近期一些Paper放出来了,为此,专知小编提前为大家整理了五篇KDD 2020 图神经网络(GNN)相关论文,供大家参考。——图结构学习、多元时间序列预测、负采样、多任务多视角图表示学习、多兴趣推荐

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者:Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要:图神经网络(GNNs)是图表示学习的有力工具。但是,最近的研究表明,GNN容易受到精心设计的扰动(称为对抗攻击)的攻击。对抗性攻击很容易欺骗GNN来预测下游任务。对于对抗攻击的脆弱性使人们越来越关注在安全关键型应用中应用GNN。因此,开发稳健的算法来防御对抗攻击具有重要意义。防御对抗攻击的一个自然想法是清理受干扰的图。很明显,真实世界的图共享一些内在属性。例如,许多现实世界的图都是低秩和稀疏的,两个相邻节点的特征往往是相似的。事实上,我们发现对抗攻击很可能会违背这些图的性质。因此,在本文中,我们利用这些特性来防御针对图的对抗攻击。特别是,我们提出了一个通用框架Pro-GNN,该框架可以从受这些特性指导的扰动图中联合学习结构图和鲁棒图神经网络模型。在真实图上的大量实验表明,即使在图受到严重干扰的情况下,我们所提出的框架也比现有的防御方法获得了显著更好的性能。我们将Pro-GNN的实现发布到我们的DeepRobust存储库,以进行对抗性攻击和防御。

网址: https://arxiv.org/pdf/2005.10203.pdf

代码链接: https://github.com/ChandlerBang/Pro-GNN

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者:Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要:多变量时间序列的建模长期以来一直吸引着来自经济、金融和交通等不同领域的研究人员的关注。多变量时间序列预测背后的一个基本假设是其变量之间相互依赖,但现有方法未能充分利用变量对之间的潜在空间相关性。同时,近些年来,图神经网络(GNNs)在处理关系依赖方面表现出了很高的能力。GNN需要定义良好的图结构来进行信息传播,这意味着它们不能直接应用于事先不知道依赖关系的多变量时间序列。本文提出了一种专门针对多变量时间序列数据设计的通用图神经网络框架。该方法通过图学习模块自动提取变量间的单向关系,可以方便地集成变量属性等外部知识。在此基础上,提出了一种新的max-hop传播层和一个dilated inception层来捕捉时间序列中的时间和空间依赖关系。图学习、图卷积和时间卷积模块在端到端框架中联合学习。实验结果表明,我们提出的模型在4个基准数据集中的3个数据上优于最新的基线方法,并且在提供额外结构信息的两个交通数据集上,与其他方法具有同等的性能。

网址: https://shiruipan.github.io/publication/kdd-2020-wu/kdd-2020-wu.pdf

3. Understanding Negative Sampling in Graph Representation Learning

作者:Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要:在最近的几年中,对图表示学习进行了广泛的研究。尽管它有可能为各种网络生成连续的嵌入,但是在大型节点集中得到有效高质量的表示仍然具有挑战性。采样是实现该性能目标的关键点。现有技术通常侧重于正向节点对的采样,而对负向采样的策略探索不够。为了弥补这一差距,我们从目标和风险两个角度系统地分析了负采样的作用,从理论上论证了负采样在确定优化目标和结果方差方面与正采样同等重要。据我们所知,我们是第一个推导该理论并量化负采样分布应与其正采样分布成正相关但亚线性相关的方法。在该理论的指导下,我们提出了MCNS,用自对比度近似法近似正分布,并通过Metropolis-Hastings加速负采样。我们在5个数据集上评估了我们的方法,这些数据集涵盖了19个实验设置,涵盖了广泛的下游图学习任务,包括链接预测,节点分类和个性化推荐。这些相对全面的实验结果证明了其稳健性和优越性。

网址: https://arxiv.org/pdf/2005.09863.pdf

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者:Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要:将图表示学习与多视图数据(边信息)相结合进行推荐是工业上的一种趋势。现有的大多数方法可以归类为多视图表示融合,它们首先构建一个图,然后将多视图数据集成到图中每个节点的单个紧凑表示中。这些方法在工程和算法方面都引起了人们的关注:1)多视图数据在工业中是丰富而且有用的,并且可能超过单个矢量的容量;2)由于多视图数据往往来自不同的分布,可能会引入归纳偏置(inductive bias)。在本文中,我们使用一种多视图表示对齐方法来解决这个问题。特别地,我们提出了一个多任务多视角图表示学习框架(M2GRL)来学习web级推荐系统中的多视角图节点表示。M2GRL为每个单视图数据构造一个图,从多个图中学习多个单独的表示,并执行对齐以建立模型的交叉视图关系。M2GRL选择了一种多任务学习范式来联合学习视图内表示和交叉视图关系。此外,M2GRL在训练过程中利用同方差不确定性自适应地调整任务的损失权重。我们在淘宝部署了M2GRL,并对570亿个实例进行了训练。根据离线指标和在线A/B测试,M2GRL的性能明显优于其他最先进的算法。对淘宝多样性推荐的进一步研究表明,利用M2GRL产生的多种表征是有效的,对于不同侧重点的各种工业推荐任务来说,M2GRL是一个很有前途的方向。

网址:

https://arxiv.org/pdf/2005.10110.pdf

5. Controllable Multi-Interest Framework for Recommendation

作者:Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要:近年来,由于深度学习的快速发展,神经网络在电子商务推荐系统中得到了广泛的应用。我们将推荐系统形式化为一个序列推荐问题,目的是预测可能与用户交互的下一个项目。最近的研究通常从用户的行为序列中给出一个整体的嵌入。然而,统一的用户嵌入不能反映用户在一段时间内的多个兴趣。本文提出了一种新颖的可控多兴趣序列推荐框架,称为ComiRec。我们的多兴趣模块从用户行为序列中捕获多个兴趣,可用于从大规模项目集中检索候选项目。然后将这些项目送入聚合模块以获得总体推荐。聚合模块利用一个可控因素来平衡推荐的准确性和多样性。我们在两个真实的数据集Amazon和Taobao进行序列推荐实验。实验结果表明,我们的框架相对于最新模型取得了重大改进。我们的框架也已成功部署在离线阿里巴巴分布式云平台上。

网址: https://arxiv.org/pdf/2005.09347.pdf

代码链接: https://github.com/cenyk1230/ComiRec

成为VIP会员查看完整内容
0
31

【导读】作为计算机视觉领域的三大国际顶会之一,IEEE国际计算机视觉与模式识别会议 CVPR 每年都会吸引全球领域众多专业人士参与。由于受COVID-19疫情影响,原定于6月16日至20日在华盛顿州西雅图举行的CVPR 2020将全部改为线上举行。今年的CVPR有6656篇有效投稿,最终有1470篇论文被接收,接收率为22%左右。之前小编为大家整理过CVPR 2020 GNN 相关论文,这周小编继续为大家整理了五篇CVPR 2020 图神经网络(GNN)相关论文,供大家参考——行为识别、少样本学习、仿射跳跃连接、多层GCN、3D视频目标检测。

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN

1. Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition

作者:Ziyu Liu, Hongwen Zhang, Zhenghao Chen, Zhiyong Wang, Wanli Ouyang

摘要:基于骨架的动作识别算法广泛使用时空图对人体动作动态进行建模。为了从这些图中捕获鲁棒的运动模式,长范围和多尺度的上下文聚合与时空依赖建模是一个强大的特征提取器的关键方面。然而,现有的方法在实现(1)多尺度算子下的无偏差长范围联合关系建模和(2)用于捕捉复杂时空依赖的通畅的跨时空信息流方面存在局限性。在这项工作中,我们提出了(1)一种简单的分解(disentangle)多尺度图卷积的方法和(2)一种统一的时空图卷积算子G3D。所提出的多尺度聚合方法理清了不同邻域中节点对于有效的远程建模的重要性。所提出的G3D模块利用密集的跨时空边作为跳过连接(skip connections),用于在时空图中直接传播信息。通过耦合上述提议,我们开发了一个名为MS-G3D的强大的特征提取器,在此基础上,我们的模型在三个大规模数据集NTU RGB+D60,NTU RGB+D120和Kinetics Skeleton 400上的性能优于以前的最先进方法。

网址: https://arxiv.org/pdf/2003.14111.pdf

代码链接: github.com/kenziyuliu/ms-g3d

2. DPGN: Distribution Propagation Graph Network for Few-shot Learning

作者:Ling Yang, Liangliang Li, Zilun Zhang, Xinyu Zhou, Erjin Zhou, Yu Liu

摘要:大多数基于图网络的元学习方法都是为实例的instance-level关系进行建模。我们进一步扩展了此思想,以1-vs-N的方式将一个实例与所有其他实例的分布级关系明确建模。我们提出了一种新的少样本学习方法--分布传播图网络(DPGN)。它既表达了每个少样本学习任务中的分布层次关系,又表达了实例层次关系。为了将所有实例的分布层关系和实例层关系结合起来,我们构造了一个由点图和分布图组成的对偶全图网络,其中每个节点代表一个实例。DPGN采用双图结构,在更新时间内将标签信息从带标签的实例传播到未带标签的实例。在少样本学习的大量基准实验中,DPGN在监督设置下以5%∼12%和在半监督设置下以7%∼13%的优势大大超过了最新的结果。

网址: https://arxiv.org/pdf/2003.14247.pdf

代码链接: https://github.com/megvii-research/DPGN

3. Geometrically Principled Connections in Graph Neural Networks

作者:Shunwang Gong, Mehdi Bahri, Michael M. Bronstein, Stefanos Zafeiriou

摘要:图卷积操作为以前认为遥不可及的各种图形和网格处理任务带来了深度学习的优势。随着他们的持续成功,人们希望设计更强大的体系结构,这通常是将现有的深度学习技术应用于非欧几里得数据。在这篇文章中,我们认为几何应该仍然是几何深度学习这一新兴领域创新的主要驱动力。我们将图神经网络与广泛成功的计算机图形和数据近似模型(径向基函数(RBF))相关联。我们推测,与RBF一样,图卷积层将从向功能强大的卷积核中添加简单函数中受益。我们引入了仿射跳跃连接 (affine skip connections),这是一种通过将全连接层与任意图卷积算子相结合而形成的一种新的构建块。通过实验证明了我们的技术的有效性,并表明性能的提高是参数数量增加的结果。采用仿射跳跃连接的算子在形状重建、密集形状对应和图形分类等每一项任务上的表现都明显优于它们的基本性能。我们希望我们简单有效的方法将成为坚实的基准,并有助于简化图神经网络未来的研究。

网址: https://arxiv.org/pdf/2004.02658.pdf

4. L^2-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:图卷积网络(GCN)在许多应用中越来越受欢迎,但在大型图形数据集上的训练仍然是出了名的困难。它们需要递归地计算邻居的节点表示。当前的GCN训练算法要么存在随层数呈指数增长的高计算成本,要么存在加载整个图和节点嵌入的高内存使用率问题。本文提出了一种新的高效的GCN分层训练框架(L-GCN),该框架将训练过程中的特征聚合和特征变换分离开来,从而大大降低了时间和存储复杂度。我们在图同构框架下给出了L-GCN的理论分析,在温和的条件下,与代价更高的传统训练算法相比L-GCN可以产生同样强大的GCN。我们进一步提出了L2-GCN,它为每一层学习一个控制器,该控制器可以自动调整L-GCN中每一层的训练周期。实验表明,L-GCN比现有技术快至少一个数量级,内存使用量的一致性不依赖于数据集的大小,同时保持了还不错的预测性能。通过学习控制器,L2-GCN可以将训练时间进一步减少一半。

网址: https://arxiv.org/pdf/2003.13606.pdf

代码链接: https://github.com/Shen-Lab/L2-GCN

补充材料:

https://slack-files.com/TC7R2EBMJ-F012C60T335-281aabd097

5. LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention

作者:Junbo Yin, Jianbing Shen, Chenye Guan, Dingfu Zhou, Ruigang Yang

摘要:现有的基于LiDAR的3D目标检测算法通常侧重于单帧检测,而忽略了连续点云帧中的时空信息。本文提出了一种基于点云序列的端到端在线3D视频对象检测器。该模型包括空间特征编码部分和时空特征聚合部分。在前一个组件中,我们提出了一种新的柱状消息传递网络(Pillar Message Passing Network,PMPNet)来对每个离散点云帧进行编码。它通过迭代信息传递的方式自适应地从相邻节点收集柱节点的信息,有效地扩大了柱节点特征的感受野。在后一组件中,我们提出了一种注意力时空转换GRU(AST-GRU)来聚合时空信息,通过注意力记忆门控机制增强了传统的ConvGRU。AST-GRU包含一个空间Transformer Attention(STA)模块和一个时间Transformer Attention(TTA)模块,分别用于强调前景对象和对齐动态对象。实验结果表明,所提出的3D视频目标检测器在大规模的nuScenes基准测试中达到了最先进的性能。

网址: https://arxiv.org/pdf/2004.01389.pdf

代码链接: https://github.com/yinjunbo/3DVID

成为VIP会员查看完整内容
0
28

1、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing(MixHop: 通过稀疏邻域混合实现的高阶图卷积结构)

作者:Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan

摘要:现有的基于图神经网络的半监督学习方法(如图卷积网络)不能学习一般的邻域混合关系。为了解决这个缺点,我们提出了一个新的模型,MixHop,它可以通过在不同距离重复混合邻居的特征表示来学习这些关系,包括不同的操作符。MixHop不需要额外的内存或计算复杂度,并且在一些具有挑战性的baseline上性能更好。此外,我们建议使用稀疏正则化,使我们能够可视化网络如何跨不同的图数据集对邻居信息进行优先级排序。我们对所学体系结构的分析表明,每个数据集的邻域混合是不同的。

网址:http://proceedings.mlr.press/v97/abu-el-haija19a.html

代码链接: https://github.com/samihaija/mixhop

2、Compositional Fairness Constraints for Graph Embeddings(图嵌入的组合公平性约束)

作者:Avishek Bose, William Hamilton

摘要:学习高质量的节点嵌入是基于图数据(如社交网络和推荐系统)的机器学习模型的关键步骤。然而,现有的图嵌入技术无法处理公平约束,例如,确保所学习的表示与某些属性(如年龄或性别)不相关。在这里,我们引入一个对抗框架来对图嵌入实施公平性约束。我们的方法是组合的,这意味着它可以灵活地适应推理过程中公平约束的不同组合。例如,在社会推荐的上下文中,我们的框架允许一个用户要求他们的推荐对他们的年龄和性别都是不变的,同时也允许另一个用户只对他们的年龄要求不变。在标准知识图和推荐系统基准测试上的实验突出了我们提出的框架的实用性。

网址:http://proceedings.mlr.press/v97/bose19a.html

代码链接: https://github.com/joeybose/Flexible-Fairness-Constraints

3、Learning Discrete Structures for Graph Neural Networks(学习图神经网络的离散结构)

作者:Luca Franceschi, Mathias Niepert, Massimiliano Pontil, Xiao He

摘要:图神经网络(GNNs)是一种流行的机器学习模型,已成功地应用于一系列问题。它们的主要优势在于能够显式地合并数据点之间的稀疏和离散依赖结构。不幸的是,只有在这种图结构可用时才能使用GNN。然而,在实践中,真实世界中的图常常是嘈杂的、不完整的,或者根本就不可用。在此基础上,我们提出通过近似求解一个学习图边缘离散概率分布的双层程序来共同学习图卷积网络(GCNs)的图结构和参数。这不仅允许在给定图不完整或损坏的场景中应用GCNs,还允许在图不可用的场景中应用GCNs。我们进行了一系列的实验,分析了该方法的行为,并证明了它比相关的方法有显著的优势。

网址:http://proceedings.mlr.press/v97/franceschi19a.html

代码链接: https://github.com/lucfra/LDS

4、Graph U-Nets

作者:Hongyang Gao, Shuiwang Ji

摘要:我们研究了图数据的表示学习问题。卷积神经网络可以很自然地对图像进行操作,但在处理图数据方面存在很大的挑战。由于图像是二维网格上节点图的特殊情况,图的嵌入任务与图像的分割等像素级预测任务具有天然的对应关系。虽然像U-Nets这样的编解码器结构已经成功地应用于许多图像的像素级预测任务,但是类似的方法在图数据上还是很缺乏。这是由于池化操作和上采样操作对图数据不是自然的。为了解决这些挑战,我们提出了新的图池化(gPool)和反池化(gUnpool)操作。gPool层根据节点在可训练投影向量上的标量投影值,自适应地选择节点,形成较小的图。我们进一步提出了gUnpool层作为gPool层的逆操作。gUnpool层使用在相应gPool层中选择的节点位置信息将图恢复到其原始结构。基于我们提出的gPool和gUnpool层,我们开发了一个基于图的编解码器模型,称为Graph U-Nets。我们在节点分类和图分类任务上的实验结果表明,我们的方法比以前的模型具有更好的性能。

网址:http://proceedings.mlr.press/v97/gao19a.html

代码链接: https://github.com/HongyangGao/gunet

5、Graph Neural Network for Music Score Data and Modeling Expressive Piano Performance(图神经网络用于乐谱数据和钢琴演奏表现力的建模)

作者:Dasaem Jeong, Taegyun Kwon, Yoojin Kim, Juhan Nam

摘要:乐谱通常被处理为一维序列数据。与文本文档中的单词不同,乐谱中的音符可以由复调性质同时演奏,并且每个音符都有自己的持续时间。在本文中,我们使用图神经网络表示乐谱的独特形式,并将其应用于从乐谱中渲染表现力的钢琴演奏。具体地,我们设计了使用note-level门控图神经网络和采用迭代反馈方法的双向LSTM测量级层次注意网络的模型。此外,为了对给定输入分数的不同性能风格建模,我们使用了一个变分自编码器。听力测试结果表明,与baseline模型和层次注意网络模型相比,我们提出的模型生成了更多的类人性能,而层次注意网络模型将音乐得分处理为类词序列。

网址:http://proceedings.mlr.press/v97/jeong19a.html

代码链接: https://github.com/jdasam/virtuosoNet

6、Graph Matching Networks for Learning the Similarity of Graph Structured Objects(用于学习图结构物体相似性的图匹配网络)

作者:Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli

摘要:本文针对图结构物体的检索与匹配这一具有挑战性的问题,做了两个关键的贡献。首先,我们演示了如何训练图神经网络(GNN)在向量空间中嵌入图,从而实现高效的相似性推理。其次,提出了一种新的图匹配网络模型,该模型以一对图作为输入,通过一种新的基于注意力的交叉图匹配机制,对图对进行联合推理,计算出图对之间的相似度评分。我们证明了我们的模型在不同领域的有效性,包括具有挑战性的基于控制流图的功能相似性搜索问题,该问题在软件系统漏洞检测中发挥着重要作用。实验分析表明,我们的模型不仅能够在相似性学习的背景下利用结构,而且它们还比那些为这些问题精心手工设计的领域特定baseline系统表现得更好。

网址:http://proceedings.mlr.press/v97/li19d.html

7、Disentangled Graph Convolutional Networks(Disentangled图卷积网络)

作者:Jianxin Ma, Peng Cui, Kun Kuang, Xin Wang, Wenwu Zhu

摘要:真实世界图形的形成通常来自于许多潜在因素之间高度复杂的交互作用。现有的基于图结构数据的深度学习方法忽略了潜在因素的纠缠,使得学习表示不鲁棒,难以解释。然而,在图神经网络的研究中,如何将潜在因素分解出来的学习表示方法面临着巨大的挑战,并且在很大程度上还没有得到探索。本文引入解纠缠(Disentangled)图卷积网络(DisenGCN)来学习disentangled节点表示。特别地,我们提出了一种新的邻域路由机制,它能够动态地识别可能导致节点与其相邻节点之间产生边的潜在因素,并相应地将相邻节点分配到一个提取和卷积特定于该因素的特性的信道。从理论上证明了该路由机制的收敛性。实验结果表明,我们提出的模型可以获得显著的性能提升,特别是当数据表明存在许多纠缠因素时。

网址:http://proceedings.mlr.press/v97/ma19a.html

8、GMNN: Graph Markov Neural Networks(GMNN: 图马尔可夫神经网络)

作者:Meng Qu, Yoshua Bengio, Jian Tang

摘要:本文研究关系数据中的半监督对象分类问题,这是关系数据建模中的一个基本问题。在统计关系学习(如关系马尔可夫网络)和图神经网络(如图卷积网络)的文献中,这一问题得到了广泛的研究。统计关系学习方法可以通过条件随机场对对象标签的依赖关系进行有效的建模,用于集体分类,而图神经网络则通过端到端训练学习有效的对象表示来分类。在本文中,我们提出了一种集两种方法优点于一体的Graph Markov Neural Networks (GMNN)。GMNN利用条件随机场对目标标签的联合分布进行建模,利用变分EM算法对其进行有效训练。在E-step中,一个图神经网络学习有效的对象表示,逼近对象标签的后验分布。在M-step中,利用另一个图神经网络对局部标签依赖关系进行建模。在对象分类、链路分类和无监督节点表示学习等方面的实验表明,GMNN取得了较好的效果。

网址:http://proceedings.mlr.press/v97/qu19a.html

代码链接: https://github.com/DeepGraphLearning/GMNN

9、Simplifying Graph Convolutional Networks(简化图卷积网络)

作者:Felix Wu, Amauri Souza, Tianyi Zhang, Christopher Fifty, Tao Yu, Kilian Weinberger

摘要:图卷积网络(GCNs)及其变体得到了广泛的关注,已成为学习图表示的实际方法。GCNs的灵感主要来自最近的深度学习方法,因此可能会继承不必要的复杂性和冗余计算。在本文中,我们通过连续消除非线性和折叠连续层之间的权重矩阵来减少这种额外的复杂性。我们从理论上分析了得到的线性模型,结果表明它对应于一个固定的低通滤波器,然后是一个线性分类器。值得注意的是,我们的实验评估表明,这些简化不会对许多下游应用程序的准确性产生负面影响。此外,生成的模型可以扩展到更大的数据集,这是自然可解释的,并且比FastGCN的速度提高了两个数量级。

网址:http://proceedings.mlr.press/v97/wu19e.html

代码链接: https://github.com/Tiiiger/SGC

10、Position-aware Graph Neural Networks(位置感知图神经网络)

作者:Jiaxuan You, Rex Ying, Jure Leskovec

摘要:学习节点嵌入,捕捉节点在更广泛的图结构中的位置,对于图上的许多预测任务是至关重要的。然而,现有的图神经网络(GNN)结构在获取给定节点相对于图中所有其他节点的position/location方面的能力有限。本文提出了一种计算位置感知节点嵌入的新型神经网络—Position-aware Graph Neural Networks (P-GNNs)。P-GNN首先对锚节点集进行采样,计算给定目标节点到每个锚集的距离,然后学习锚集上的非线性距离加权聚集方案。通过这种方式,P-GNNs可以捕获节点相对于锚节点的位置。P-GNN有几个优点: 它们具有归纳性,可扩展性,并且可以包含节点特征信息。我们将P-GNNs应用于多个预测任务,包括链路预测和社区检测。我们显示,P-GNNs始终优于最先进的GNNs, 在ROC AUC分数方面提高了66%。

网址:http://proceedings.mlr.press/v97/you19b.html

代码链接: https://github.com/JiaxuanYou/P-GNN

论文下载

百度云链接:https://pan.baidu.com/s/1hOSkrDD2VWRJCTj9_uGrjw

提取码:vcc3

成为VIP会员查看完整内容
0
32

【导读】CIKM 2019 (International Conference on Information and Knowledge Management),今年会议主题是 "AI for Future Life"。CIKM是数据库、数据挖掘与内容检索领域的旗舰会议。CIKM 2019共计收到1030篇长文有效投稿,其中200篇论文被大会录用,总录用率约19.4%。图神经网络(GNN)相关的论文依然很火爆,小编在官网上查看了,CIKM专门有专题,大约10篇长文接受为GNN专题论文。为此,专知小编提前为大家筛选了六篇GNN 长文论文供参考和学习!

  1. Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction

作者:Zekun Li,Zeyu Cui,Shu Wu,Xiaoyu Zhang,Liang Wang;

摘要:点击率(CTR)预测是在线广告和推荐系统等网络应用中的一项重要任务,其特点是多领域的。该任务的关键是对不同特征field之间的特征交互进行建模。最近提出的基于深度学习的模型遵循了一种通用的范式:首先将原始的稀疏输入multi-filed特征映射到密集的field嵌入向量中,然后简单地将其连接到深度神经网络(DNN)或其他专门设计的网络中,以学习高阶特征交互。然而,特征field的简单非结构化组合将不可避免地限制以足够灵活和显式的方式建模不同field之间复杂交互的能力。 在这项工作中,我们提出在一个图结构中直观地表示multi-field的特征,其中每个节点对应一个特征field,不同的field可以通过边进行交互。因此,建模特征交互的任务可以转换为对相应图上的节点交互进行建模。为此,我们设计了一个新的模型-Feature Interaction Graph Neural Networks (Fi-GNN)。利用图的强表征性,我们的模型不仅可以灵活、明确地对复杂的特征交互进行建模,而且可以为CTR预测提供良好的模型解释。在两个真实数据集上的实验结果显示了它的优越性。

网址: https://www.zhuanzhi.ai/paper/4d6897c6a057a33539d3e6758c223a9c

2、Graph Convolutional Networks with Motif-based Attention

作者:John Boaz Lee,Ryan A. Rossi,Xiangnan Kong,Sungchul Kim,Eunyee Koh,Anup Rao;

摘要:深度卷积神经网络在计算机视觉和语音识别领域的成功,使得研究人员开始研究该体系结构对图结构数据的泛化。最近提出的一种称为图卷积网络的方法能够在节点分类方面取得最新的成果。然而,由于所提出的方法依赖于spectral图卷积的局部一阶近似,因此无法捕获图中节点间的高阶相互作用。在这项工作中,我们提出了一个motif-based的图注意力模型,称为Motif Convolutional Networks,它通过使用加权多跳motif邻接矩阵来捕获高阶邻域,从而泛华了过去的方法。一个新的注意力机制被用来允许每个单独的节点选择最相关的邻居来应用它的过滤器。我们在不同领域(社会网络和生物信息学)的图上评估了我们的方法,结果表明它能够在半监督节点分类任务上胜过一组有竞争力的基准方法。其他结果证明了attention的有用性,表明不同的节点对不同的高阶邻域进行了优先排序。

网址: https://www.zhuanzhi.ai/paper/ecff4bfc2cc3a0a44307556c0cee2443

  1. Gravity-Inspired Graph Autoencoders for Directed Link Prediction

作者:Guillaume Salha,Stratis Limnios,Romain Hennequin,Viet Anh Tran,Michalis Vazirgian;

摘要:图自编码器(AE)和变分自编码器(VAE)是近年来出现的强有力的节点嵌入方法。特别是利用图AE和VAE成功地解决了具有挑战性的链路预测问题,目的是找出图上的一些节点对是否被未观察到的边所连接。然而,这些模型侧重于无向图,因此忽略了链接的潜在方向,这限制了许多实际应用程序。在本文中,我们扩展了graph AE和VAE框架来解决有向图中的链路预测问题。我们提出了一种新的gravity-inspired的解码器方案,可以有效地从节点嵌入中重建有向图。我们对标准graph AE和VAE表现较差的三种不同定向链路预测任务进行了实证评价。我们在三个真实世界的图上获得了具有竞争力的结果,超过了几个流行的baseline。

网址: https://www.zhuanzhi.ai/paper/7ac17bf2659eff0cfb0458ded56dcbb4

4、Hashing Graph Convolution for Node Classification

作者:Wenting Zhao, Zhen Cui, Chunyan Xu, Chengzheng Li, Tong Zhang,Jian Yang;

摘要:图数据卷积在non-gridded数据中的应用引起了人们的极大兴趣。为了克服相邻节点的排序和数量的影响,在以往的研究中,往往对局部接受域进行summing/average diffusion/aggregation。然而,这种压缩成一个节点的方法容易造成节点间的signal entanglement,导致次优特征信息,降低了节点的可分辨性。针对这一问题,本文提出了一种简单而有效的哈希图卷积(HGC)方法,该方法通过在节点聚合中使用全局哈希和局部投影来进行节点分类。与传统的完全collision聚合相比,hash-projection可以大大降低相邻节点聚合时的collision概率。我们认为基于hash-projection的方法可以更好地保持甚至增加局部区域的原始差异,并得到进一步的改进。hash-projection的另一个附带效果是将每个节点的接受域归一化为一个共同大小的bucket空间,不仅避免了大小不同的邻居节点及其顺序的麻烦,而且使图卷积运行起来就像标准的shape-girded卷积一样。考虑到训练样本较小,我们在HGC中引入预测一致性正则化项来约束图中未标记节点的得分一致性。HGC在transductive和inductive实验环境下进行评估。在节点分类任务上的大量实验表明,hash-projection确实可以提高性能,我们的HGC在所有实验数据集上都取得了最新最好的结果。

网址: https://easychair.org/publications/preprint/lhT3

5、Learning to Identify High Betweenness Centrality Nodes from Scratch: A Novel Graph Neural Network Approach

作者:Changjun Fan,Li Zeng,Yuhui Ding,Muhao Chen,Yizhou Sun,Zhong Liu;

摘要: Betweenness centrality (BC)是网络分析中广泛使用的一种中心性度量,它试图通过最短路径的比例来描述网络中节点的重要性。它是许多有价值的应用的关键,包括社区检测和网络拆除。由于时间复杂度高,在大型网络上计算BC分数在计算上具有挑战性。许多基于采样的近似算法被提出以加速BC的估计。然而,这些方法在大规模网络上仍然需要相当长的运行时间,并且它们的结果对网络的微小扰动都很敏感。 在这篇论文中,我们主要研究如何有效识别图中BC最高的top k节点,这是许多网络应用程序所必须完成的任务。与以往的启发式方法不同,我们将该问题转化为一个学习问题,并设计了一个基于encoder-decoder的框架作为解决方案。具体来说,encoder利用网络结构将每个节点表示为一个嵌入向量,该嵌入向量捕获节点的重要结构信息。decoder将每个嵌入向量转换成一个标量,该标量根据节点的BC来标识节点的相对rank。我们使用pairwise ranking损失来训练模型,以识别节点的BC顺序。通过对小规模网络的训练,该模型能够为较大网络的节点分配相对BC分数,从而识别出高排名的节点。在合成网络和真实世界网络上的实验表明,与现有的baseline相比,我们的模型在没有显著牺牲准确性的情况下大大加快了预测速度,甚至在几个大型真实世界网络的准确性方面超过了最先进的水平。

网址: https://www.zhuanzhi.ai/paper/7bde1414600ac4f4c33493994e3f80fc

6、Relation-Aware Graph Convolutional Networks for Agent-Initiated Social E-Commerce Recommendation

作者:Fengli Xu,Jianxun Lian,Zhenyu Han,Yong Li,Yujian Xu,Xing Xie;

摘要:近年来,agent-initiated社交电子商务模式取得了巨大的成功,这种模式鼓励用户成为销售代理商,通过他们的社交关系来推广商品。这种类型的社交电子商务中的复杂交互可以表述为异构信息网络(HIN),其中三种节点之间的关系有多种类型,分别为用户、销售代理和商品。学习高质量的节点嵌入是研究的重点,图卷积网络(GCNs)是近年来发展起来的最先进的表示学习方法。然而,现有的GCN模型在建模异构关系和有效地从大量邻域中采样相关接收域方面都存在基本的局限性。为了解决这些问题,我们提出了RecoGCN(a RElation-aware CO-attentive GCN model)来有效地聚合HIN中的异构特征。它弥补了目前GCN在使用关系感知聚合器建模异构关系方面的局限性,并利用语义感知元路径为每个节点开辟简洁和相关的接受域。为了有效地融合从不同元路径中学习到的嵌入,我们进一步提出了一种co-attentive机制,通过关注用户、销售代理和商品之间的三种交互来动态地为不同的元路径分配重要性权重。在真实数据集上的大量实验表明,RecoGCN能够学习HIN中有意义的节点嵌入,并且在推荐任务中始终优于baseline方法。

网址: https://www.zhuanzhi.ai/vip/4e1f4ba54086e64b3cb8e47b0c7f9ca3

成为VIP会员查看完整内容
0
21
小贴士
相关论文
Simon S. Du,Kangcheng Hou,Barnabás Póczos,Ruslan Salakhutdinov,Ruosong Wang,Keyulu Xu
6+阅读 · 2019年11月4日
Graph Analysis and Graph Pooling in the Spatial Domain
Mostafa Rahmani,Ping Li
3+阅读 · 2019年10月3日
Saurabh Verma,Zhi-Li Zhang
3+阅读 · 2019年9月25日
Structured Query Construction via Knowledge Graph Embedding
Ruijie Wang,Meng Wang,Jun Liu,Michael Cochez,Stefan Decker
5+阅读 · 2019年9月6日
NEAR: Neighborhood Edge AggregatoR for Graph Classification
Cheolhyeong Kim,Haeseong Moon,Hyung Ju Hwang
4+阅读 · 2019年9月6日
Self-Attention Graph Pooling
Junhyun Lee,Inyeop Lee,Jaewoo Kang
6+阅读 · 2019年6月13日
Yue Yu,Jie Chen,Tian Gao,Mo Yu
4+阅读 · 2019年4月22日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
11+阅读 · 2019年3月28日
Music Transformer
Cheng-Zhi Anna Huang,Ashish Vaswani,Jakob Uszkoreit,Noam Shazeer,Ian Simon,Curtis Hawthorne,Andrew M. Dai,Matthew D. Hoffman,Monica Dinculescu,Douglas Eck
3+阅读 · 2018年12月12日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
4+阅读 · 2018年2月4日
Top