近期必读的5篇 WSDM 2020【图神经网络(GNN)】相关论文

2019 年 11 月 19 日 专知
近期必读的5篇 WSDM 2020【图神经网络(GNN)】相关论文

【导读】数据挖掘领域的国际会议WSDM将于2020年2月3日-2月7日在美国休斯敦召开,WSDM 2020全称为第13届国际互联网搜索与数据挖掘会议(The 13th International Conference on Web Search and Data Mining, WSDM 2020)。WSDM是CCF推荐的B类国际学术会议,由SIGIR、SIGKDD、SIGMOD和SIGWEB四个专委会协调筹办,在互联网搜索、数据挖掘领域享有较高学术声誉。这次会议共收到来自615篇长文投稿,仅有91篇长文被录用,录用率约15%。


为此小编特意整理了近期五篇图神经网络(GNN)相关的接收论文,让大家先睹为快


CIKM2019GNNICLR2020GNNEMNLP2019GNNICCV2019GNN_Part2ICCV2019GNN_Part1NIPS2019GNNIJCAI2019GNN_Part1IJCAI2019GNN_Part2、 KDD2019GNNACL2019GNNCVPR2019GNNICML2019GNN



1. A Structural Graph Representation Learning Framework


作者:Ryan A. Rossi, Nesreen K. Ahmed, Eunyee Koh, Sungchul Kim, Anup Rao and Yasin Abbasi-Yadkori;

摘要:许多基于图的机器学习任务的成功在很大程度上取决于从图数据中学习到的适当表示。大多数工作都集中在于学习保留邻近性的节点嵌入,而不是保留节点之间结构相似性的基于结构的嵌入。这些方法无法捕获对基于结构的应用程序(如web日志中的visitor stitching)至关重要的高阶结构依赖和连接模式。在这项工作中,我们阐述了高阶网络表示学习,并提出了一个称为HONE的通用框架,用于通过节点邻域中的子图模式(network motifs, graphlet orbits/positions)从网络中学习这种结构性节点嵌入。HONE引入了一种通用的diffusion机制和一种节省空间的方法,该方法避免了使用k-step线性算子来显式构造k-step motif-based矩阵。此外,HONE被证明是快速和有效的,最坏情况下的时间复杂度几乎是线性的。实验结果表明,该算法能有效地处理大量的网络日志数据,包括链接预测和visitor stitching。

网址:

http://ryanrossi.com/pubs/WSDM20-structural-node-embedding-framework.pdf

2. Initialization for Network Embedding: A Graph Partition Approach

作者:Wenqing Lin, Feng He, Faqiang Zhang, Xu Cheng and Hongyun Cai;

摘要:网络嵌入已经在文献中得到了深入的研究,并广泛用于各种应用中,如链接预测和节点分类。尽管先前的工作集中在新算法的设计上或针对各种问题设置进行了量身定制,但常常忽略了学习过程中对初始化策略的讨论。在这项工作中,我们解决了这个重要的网络嵌入初始化问题,它可以显著地提高算法的有效性和效率。具体来说,我们首先利用graph partition技术将图划分为几个不相交的子集,然后基于这些partition构造一个abstract graph。我们通过计算abstract graph上的网络嵌入,得到图中每个节点的嵌入初始化,abstract graph上的网络嵌入比输入图小得多,然后将嵌入传播到输入图的节点中。通过对各种数据集的大量实验,我们证明了我们的初始化技术显著提高了最先进算法在链接预测和节点分类方面的性能,分别提高了7.76%和8.74%。此外,我们证明了初始化技术至少减少了20%的运行时间。

网址:

https://arxiv.org/abs/1908.10697

3. Dynamic graph representation learning via self-attention networks

作者:Aravind Sankar, Yanhong Wu, Liang Gou, Wei Zhang and Hao Yang;

摘要:学习图中节点的潜在表示是一项重要且普遍存在的任务,在链接预测、节点分类和图可视化等领域有着广泛的应用。以往的图表示学习方法主要集中在静态图上,而现实世界中的很多图都是动态的、随时间变化的。在这篇论文中,我们提出了Dynamic Self-Attention Network (DySAT),这是一种新型的神经架构,它操作在动态图上,并学习节点表示,以捕捉结构特性和时间演化模式。具体来说,DySAT通过在两个维度(结构邻域和时间动态)上联合使用self-attention层来计算节点表示。我们对两类图进行了链接预测实验:通信网络和二分评级网络。我们的实验结果表明,DySAT在几种不同的最先进的图嵌入baseline上有显著的性能提升。

网址:

https://arxiv.org/abs/1812.09430

https://www.zhuanzhi.ai/paper/55d2d91d5aca95983842deb7c7138252

4. Relation Learning on Social Networks with Multi-Modal Graph Edge Variational Autoencoders

作者:Carl Yang, Jieyu Zhang, Haonan Wang, Sha Li, Myungwan Kim, MaŠ Walker, Yiou Xiao and Jiawei Han;

摘要:尽管节点语义已在社交网络中得到了广泛的探索,但对边缘语义即社会关系的研究很少受到关注。理想的边缘语义不仅应该显示两个用户是连接的,而且还应该说明他么为什么彼此认识以及共享什么。然而,由于嘈杂的多模态信号和有限的用户生成的ground-truth标签,社交网络中的关系往往很难分析。

在这项工作中,我们的目标是开发一个统一的且有原则的框架,通过在有噪声和不完整数据存在的情况下整合多模态信号,将用户关系描述为社交网络中的边缘语义。我们的框架对于半监督或无监督的情况也是灵活的。具体地说,我们假定每个用户链接下的多个关系的潜在分布,并使用多模态图边缘变分自动编码器来学习它们。我们用一个图卷积网络对网络数据进行编码,用多个重构网络对任意信号进行解码。在两个公开的DBLP author network和两个internal LinkedIn member network上的大量实验和案例研究证明了我们提出的模型的优越性和有效性。

网址:

https://arxiv.org/abs/1911.05465

5. Robust Graph Neural Network Against Poisoning Attacks via Transfer Learning

作者:Xianfeng Tang, Yandong Li, Yiwei Sun, Huaxiu Yao, Prasenjit Mitra and Suhang Wang;

摘要:图神经网络(GNNs)有着广泛的应用。然而,他们在对抗攻击的鲁棒性方面是不行的。先前的研究表明,对图拓扑或节点特征使用不明显的修改会大大降低GNN的性能。设计强大的图神经网络以防止poisoning attack是一项非常具有挑战性的工作。现有工作的目标是仅使用poisoned图来减少adversarial edge的负面影响,这是次优的,因为它们无法区分adversarial edge和normal edge。另一方面,来自与目标poisoned图类似领域的clean图在现实世界中通常是可用的。通过扰动这些clean图,我们创建了监督知识来训练检测adversarial edge的能力,从而提高了GNN的鲁棒性。然而,现有的工作忽略了这种clean图的潜力。为此,我们研究了一个新的问题,通过研究clean图来提高GNNs对poisoning attack的鲁棒性。具体而言,我们提出了PA-GNN,它基于一种惩罚性聚合机制,通过分配较低的注意力系数来直接限制adversarial edge的负面影响。为了优化一个poisoned图的PA-GNN,我们设计了一种meta-optimization算法,训练PA-GNN使用clean图和其adversarial图惩罚扰动,并将这种能力迁移到poisoned图上,以提高PA-GNN的鲁棒性。在四个真实数据集上的实验结果证明了PA-GNN对图数据poisoning attack的鲁棒性。

网址:

https://arxiv.org/abs/1908.07558

https://www.zhuanzhi.ai/paper/08e8bfe5855f69f5be83efe2aa41aac5


请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“WSDM2019GNN” 就可以获取《5篇论文的下载链接~ 

附注:更多图神经网络资料请上,专知网站查看,

https://www.zhuanzhi.ai/topic/2001785662228213/paper



-END-
专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询
请加专知小助手微信(扫一扫如下二维码添加),获取专知VIP会员码,加入专知人工智能主题群,咨询技术商务合作~
点击“阅读原文”,了解注册成为专知会员,查看5000+AI主题知识资料
登录查看更多
60

相关内容

网络搜索和数据挖掘国际会议(WSDM)是关于Web上的搜索和数据挖掘研究的主要会议之一。WSDM在Web和社会Web上发布与搜索和数据挖掘相关的原始的、高质量的论文,着重于搜索和数据挖掘实用而有原则的新模型、算法设计和分析、经济影响,以及对准确性和性能的深入实验分析。 官网地址:http://dblp.uni-trier.de/db/conf/wsdm/

【导读】作为世界数据挖掘领域的最高级别的学术会议,ACM SIGKDD(国际数据挖掘与知识发现大会,简称 KDD)每年都会吸引全球领域众多专业人士参与。今年的 KDD大会计划将于 2020 年 8 月 23 日 ~27 日在美国美国加利福尼亚州圣地亚哥举行。上周,KDD 2020官方发布接收论文,共有1279篇论文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官网公布了接受论文列表,为此,上个月专知小编为大家整理了图神经网络相关的论文,这期小编继续为大家奉上KDD 2020必读的五篇图神经网络(GNN)相关论文-Part 2——多层次GCN、无监督预训练GCN、图Hash、GCN主题模型、采样

KDD 2020 Accepted Paper: https://www.kdd.org/kdd2020/accepted-papers

KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、

1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction

作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial

摘要:跨平台的账号匹配在社交网络分析中发挥着重要作用,并且有利于广泛的应用。然而,现有的方法要么严重依赖于高质量的用户生成内容(包括用户兴趣模型),要么只关注网络拓扑结构,存在数据不足的问题,这使得研究这个方向变得很困难。为了解决这一问题,我们提出了一种新的框架,该框架统一考虑了局部网络结构和超图结构上的多级图卷积。该方法克服了现有工作中数据不足的问题,并且不一定依赖于用户的人口统计信息。此外,为了使所提出的方法能够处理大规模社交网络,我们提出了一种两阶段的空间协调机制,在基于网络分区的并行训练和跨不同社交网络的帐户匹配中对齐嵌入空间。我们在两个大规模的真实社交网络上进行了广泛的实验。实验结果表明,该方法的性能比现有的模型有较大幅度的提高。

网址:

https://arxiv.org/abs/2006.01963

2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang

摘要:图表示学习已经成为解决现实问题的一种强有力的技术。包括节点分类、相似性搜索、图分类和链接预测在内的各种下游图学习任务都受益于它的最新发展。然而,关于图表示学习的现有技术集中于领域特定的问题,并为每个图训练专用模型,这通常不可转移到领域之外的数据。受自然语言处理和计算机视觉在预训练方面的最新进展的启发,我们设计了图对比编码(Graph Contrastive Coding,GCC)一个无监督的图表示学习框架来捕捉跨多个网络的通用网络拓扑属性。我们将GCC的预训练任务设计为网络内部和网络之间的子图级别的实例判断,并利用对比学习来增强模型学习内在的和可迁移的结构表征能力。我们在三个图学习任务和十个图数据集上进行了广泛的实验。结果表明,GCC在一组不同的数据集上进行预训练,可以获得与从头开始的特定任务训练的方法相媲美或更好的性能。这表明,预训练和微调范式对图表示学习具有巨大的潜力。

网址:

https://arxiv.org/abs/2006.09963

代码链接:

https://github.com/THUDM/GCC

3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases

作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun

摘要:图相似搜索的目的是根据给定的邻近度,即图编辑距离(GED),在图形数据库中找到与查询最相似的图。这是一个被广泛研究但仍具有挑战性的问题。大多数研究都是基于剪枝验证框架,该框架首先对非看好的图进行剪枝,然后在较小的候选集上进行验证。现有的方法能够管理具有数千或数万个图的数据库,但由于其精确的剪枝策略,无法扩展到更大的数据库。受到最近基于深度学习的语义哈希(semantic hashing)在图像和文档检索中的成功应用的启发,我们提出了一种新的基于图神经网络(GNN)的语义哈希,即GHash,用于近似剪枝。我们首先用真实的GED结果训练GNN,以便它学习生成嵌入和哈希码,以保持图之间的GED。然后建立哈希索引以实现恒定时间内的图查找。在回答一个查询时,我们使用哈希码和连续嵌入作为两级剪枝来检索最有希望的候选对象,并将这些候选对象发送到精确的求解器进行最终验证。由于我们的图哈希技术利用了近似剪枝策略,与现有方法相比,我们的方法在保持高召回率的同时,实现了显著更快的查询时间。实验表明,该方法的平均速度是目前唯一适用于百万级数据库的基线算法的20倍,这表明GHash算法成功地为解决大规模图形数据库的图搜索问题提供了新的方向。

网址:

http://web.cs.ucla.edu/~yzsun/papers/2020_KDD_GHashing.pdf

4. Graph Structural-topic Neural Network

作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin

摘要:图卷积网络(GCNS)通过有效地收集节点的局部特征,取得了巨大的成功。然而,GCNS通常更多地关注节点特征,而较少关注邻域内的图结构,特别是高阶结构模式。然而,这种局部结构模式被显示为许多领域中的节点属性。此外,由于网络很复杂,每个节点的邻域由各种节点和结构模式的混合组成,不只是单个模式,所有这些模式上的分布都很重要。相应地,在本文中,我们提出了图结构主题神经网络,简称GraphSTONE,这是一种利用图的主题模型的GCN模型,使得结构主题广泛地从概率的角度捕捉指示性的图结构,而不仅仅是几个结构。具体地说,我们使用 anonymous walks和Graph Anchor LDA(一种LDA的变体,首先选择重要的结构模式)在图上建立主题模型,以降低复杂性并高效地生成结构主题。此外,我们设计了多视图GCNS来统一节点特征和结构主题特征,并利用结构主题来指导聚合。我们通过定量和定性实验对我们的模型进行了评估,我们的模型表现出良好的性能、高效率和清晰的可解释性。

网址:

https://arxiv.org/abs/2006.14278

代码链接:

https://github.com/YimiAChack/GraphSTONE/

5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi

摘要:抽样方法(如节点抽样、分层抽样或子图抽样)已成为加速大规模图神经网络(GNNs)训练不可缺少的策略。然而,现有的抽样方法大多基于图的结构信息,忽略了最优化的动态性,导致随机梯度估计的方差较大。高方差问题在非常大的图中可能非常明显,它会导致收敛速度慢和泛化能力差。本文从理论上分析了抽样方法的方差,指出由于经验风险的复合结构,任何抽样方法的方差都可以分解为前向阶段的嵌入近似方差和后向阶段的随机梯度方差,这两种方差都必须减小,才能获得较快的收敛速度。我们提出了一种解耦的方差减小策略,利用(近似)梯度信息自适应地对方差最小的节点进行采样,并显式地减小了嵌入近似引入的方差。理论和实验表明,与现有方法相比,该方法即使在小批量情况下也具有更快的收敛速度和更好的泛化能力。

网址:

https://arxiv.org/abs/2006.13866

成为VIP会员查看完整内容
0
111

【导读】作为CCF推荐的A类国际学术会议,International ACM SIGIR Conference on Research and Development in Information Retrieval(国际计算机学会信息检索大会,简称 SIGIR)在信息检索领域享有很高的学术声誉,每年都会吸引全球众多专业人士参与。今年的 SIGIR 2020计划将于 2020年7月25日~30日在中国西安举行。本次大会共有555篇长文投稿,仅有147篇长文被录用,录用率约26%。专知小编提前为大家整理了六篇SIGIR 2020 基于图神经网络的推荐(GNN+RS)相关论文,这六篇论文分别出自中科大何向南老师和和昆士兰大学阴红志老师团队,供大家参考——捆绑推荐、Disentangled GCF、服装推荐、多行为推荐、全局属性GNN

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN

1. Bundle Recommendation with Graph Convolutional Networks

作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin

摘要:捆绑推荐(Bundle recommendation )旨在推荐一组商品供用户整体消费。现有的解决方案通过共享模型参数或多任务学习的方式将用户项目交互建模集成到捆绑推荐中,然而,这些方法不能显式建模项目与捆绑包(bundles)之间的隶属关系,不能探索用户选择捆绑包时的决策。在这项工作中,我们提出了一个用于捆绑推荐的图神经网络模型BGCN(Bundle Graph Convolutional Network)。BGCN将用户-项目交互、用户-捆绑包交互和捆绑包-项目从属关系统一到一个异构图中。以项目节点为桥梁,在用户节点和捆绑包节点之间进行图卷积传播,使学习到的表示能够捕捉到项目级的语义。通过基于hard-negative采样器的训练,可以进一步区分用户对相似捆绑包的细粒度偏好。在两个真实数据集上的实验结果表明,BGCN的性能有很高的提升,其性能比最新的基线高出10.77%到23.18%。

网址: https://arxiv.org/abs/2005.03475

2. Disentangled Graph Collaborative Filtering

作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua

摘要:从交互数据中学习用户和项目的信息表示对于协同过滤(CF)至关重要。当前的嵌入函数利用用户-项目关系来丰富表示,从单个用户-项目实例演变为整体交互图。然而,这些方法在很大程度上以统一的方式对关系进行建模,而忽略了用户采用这些项目的意图的多样性,这可能是为了打发时间,为了兴趣,或者为其他人(如家庭)购物。这种统一的对用户兴趣建模的方法很容易导致次优表示,不能对不同的关系建模并在表示中分清用户意图。在这项工作中,我们特别关注用户意图细粒度上的用户-项目关系。因此,我们设计了一种新的模型- Disentangled图协同过滤(Disentangled Graph Collaborative Filtering ,DGCF),来理清这些因素并产生disentangled的表示。具体地说,通过在每个用户-项目交互意图上的分布建模,我们迭代地细化意图感知的交互图和表示。同时,我们鼓励不同的意图独立。这将生成disentangled的表示,有效地提取与每个意图相关的信息。我们在三个基准数据集上进行了广泛的实验,DGCF与NGCF、DisenGCN和MacridV AE这几个最先进的模型相比取得了显著的改进。进一步的分析揭示了DGCF在分解用户意图和表示的可解释性方面的优势。

网址:

http://staff.ustc.edu.cn/~hexn/

代码链接:

https://github.com/xiangwang1223/disentangled_graph_collaborative_filtering.

3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection

作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui

摘要:近年来,推荐系统已经成为所有电子商务平台中不可缺少的功能。推荐系统的审查评级数据通常来自开放平台,这可能会吸引一群恶意用户故意插入虚假反馈,试图使推荐系统偏向于他们。此类攻击的存在可能会违反高质量数据始终可用的建模假设,而这些数据确实会影响用户的兴趣和偏好。因此,构建一个即使在攻击下也能产生稳定推荐的健壮推荐系统具有重要的现实意义。本文提出了一种基于GCN的用户表示学习框架GraphRf,该框架能够统一地进行稳健的推荐和欺诈者检测。在其端到端学习过程中,用户在欺诈者检测模块中被识别为欺诈者的概率自动确定该用户的评级数据在推荐模块中的贡献;而在推荐模块中输出的预测误差作为欺诈者检测模块中的重要特征。因此,这两个组成部分可以相互促进。经过大量的实验,实验结果表明我们的GraphRf在鲁棒评级预测和欺诈者检测这两个任务中具有优势。此外,所提出的GraphRf被验证为对现有推荐系统上的各种攻击具有更强的鲁棒性。

网址:

https://arxiv.org/abs/2005.10150

4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation

作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua

摘要:服装推荐越来越受到网购服务商和时尚界的关注。与向用户推荐单个单品(例如,朋友或图片)的其他场景(例如,社交网络或内容共享)不同,服装推荐预测用户对一组匹配良好的时尚单品的偏好。因此,进行高质量的个性化服装推荐应满足两个要求:1)时尚单品的良好兼容性;2)与用户偏好的一致性。然而,目前的研究主要集中在其中一个需求上,只考虑了用户-全套服装(outfit)或全套服装-项目的关系,从而容易导致次优表示,限制了性能。在这项工作中,我们统一了两个任务,服装兼容性建模和个性化服装推荐。为此,我们开发了一个新的框架,层次时尚图网络(HFGN),用于同时建模用户、商品和成套服装之间的关系。特别地,我们构建了一个基于用户-全套服装交互和全套服装-项目映射的层次结构。然后,我们从最近的图神经网络中得到启发,在这种层次图上使用嵌入传播,从而将项目信息聚合到一个服装表示中,然后通过他/她的历史服装来提炼用户的表示。此外,我们还对这两个任务进行了联合训练,以优化这些表示。为了证明HFGN的有效性,我们在一个基准数据集上进行了广泛的实验,HFGN在NGNN和FHN等最先进的兼容性匹配模型基础上取得了显著的改进。

网址:

https://arxiv.org/abs/2005.12566

代码链接:

https://github.com/xcppy/hierarchical_fashion_graph_network

5. Multi-behavior Recommendation with Graph Convolutional Networks

作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li

摘要:传统的推荐模型通常只使用一种类型的用户-项目交互,面临着严重的数据稀疏或冷启动问题。利用多种类型的用户-项目交互(例如:点击和收藏)的多行为推荐可以作为一种有效的解决方案。早期的多行为推荐研究未能捕捉到行为对目标行为的不同程度的影响。它们也忽略了多行为数据中隐含的行为语义。这两个限制都使得数据不能被充分利用来提高对目标行为的推荐性能。在这项工作中,我们创新性地构造了一个统一的图来表示多行为数据,并提出了一种新的模型--多行为图卷积网络(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通过用户-项目传播层学习行为强度,通过项目-项目传播层捕获行为语义,较好地解决了现有工作的局限性。在两个真实数据集上的实验结果验证了该模型在挖掘多行为数据方面的有效性。我们的模型在两个数据集上的性能分别比最优基线高25.02%和6.51%。对冷启动用户的进一步研究证实了该模型的实用性。

网址:

http://staff.ustc.edu.cn/~hexn/

6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation

作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen

摘要:基于流会话的推荐(Streaming session-based recommendation,SSR)是一项具有挑战性的任务,它要求推荐器系统在流媒体场景(streaming scenario)中进行基于会话的推荐(SR)。在电子商务和社交媒体的现实应用中,在一定时间内产生的一系列用户-项目交互被分组为一个会话,这些会话以流的形式连续到达。最近的SR研究大多集中在静态集合上,即首先获取训练数据,然后使用该集合来训练基于会话的推荐器模型。他们需要对整个数据集进行几个epoch的训练,这在流式设置下是不可行的。此外,由于对用户信息的忽视或简单使用,它们很难很好地捕捉到用户的长期兴趣。虽然最近已经提出了一些流推荐策略,但它们是针对个人交互流而不是会话流而设计的。本文提出了一种求解SSR问题的带有Wasserstein 库的全局属性图(GAG)神经网络模型。一方面,当新的会话到达时,基于当前会话及其关联用户构造具有全局属性的会话图。因此,GAG可以同时考虑全局属性和当前会话,以了解会话和用户的更全面的表示,从而在推荐中产生更好的性能。另一方面,为了适应流会话场景,提出了Wasserstein库来帮助保存历史数据的代表性草图。在两个真实数据集上进行了扩展实验,验证了GAG模型与最新方法相比的优越性。

网址: https://sites.google.com/site/dbhongzhi/

成为VIP会员查看完整内容
0
116

【导读】作为世界数据挖掘领域的最高级别的学术会议,ACM SIGKDD(国际数据挖掘与知识发现大会,简称 KDD)每年都会吸引全球领域众多专业人士参与。今年的 KDD大会计划将于 2020 年 8 月 23 日 ~27 日在美国美国加利福尼亚州圣地亚哥举行。上周,KDD 2020官方发布接收论文,共有1279篇论文提交到Research Track,共216篇被接收,接收率16.8%。近期一些Paper放出来了,为此,专知小编提前为大家整理了五篇KDD 2020 图神经网络(GNN)相关论文,供大家参考。——图结构学习、多元时间序列预测、负采样、多任务多视角图表示学习、多兴趣推荐

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者:Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要:图神经网络(GNNs)是图表示学习的有力工具。但是,最近的研究表明,GNN容易受到精心设计的扰动(称为对抗攻击)的攻击。对抗性攻击很容易欺骗GNN来预测下游任务。对于对抗攻击的脆弱性使人们越来越关注在安全关键型应用中应用GNN。因此,开发稳健的算法来防御对抗攻击具有重要意义。防御对抗攻击的一个自然想法是清理受干扰的图。很明显,真实世界的图共享一些内在属性。例如,许多现实世界的图都是低秩和稀疏的,两个相邻节点的特征往往是相似的。事实上,我们发现对抗攻击很可能会违背这些图的性质。因此,在本文中,我们利用这些特性来防御针对图的对抗攻击。特别是,我们提出了一个通用框架Pro-GNN,该框架可以从受这些特性指导的扰动图中联合学习结构图和鲁棒图神经网络模型。在真实图上的大量实验表明,即使在图受到严重干扰的情况下,我们所提出的框架也比现有的防御方法获得了显著更好的性能。我们将Pro-GNN的实现发布到我们的DeepRobust存储库,以进行对抗性攻击和防御。

网址: https://arxiv.org/pdf/2005.10203.pdf

代码链接: https://github.com/ChandlerBang/Pro-GNN

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者:Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要:多变量时间序列的建模长期以来一直吸引着来自经济、金融和交通等不同领域的研究人员的关注。多变量时间序列预测背后的一个基本假设是其变量之间相互依赖,但现有方法未能充分利用变量对之间的潜在空间相关性。同时,近些年来,图神经网络(GNNs)在处理关系依赖方面表现出了很高的能力。GNN需要定义良好的图结构来进行信息传播,这意味着它们不能直接应用于事先不知道依赖关系的多变量时间序列。本文提出了一种专门针对多变量时间序列数据设计的通用图神经网络框架。该方法通过图学习模块自动提取变量间的单向关系,可以方便地集成变量属性等外部知识。在此基础上,提出了一种新的max-hop传播层和一个dilated inception层来捕捉时间序列中的时间和空间依赖关系。图学习、图卷积和时间卷积模块在端到端框架中联合学习。实验结果表明,我们提出的模型在4个基准数据集中的3个数据上优于最新的基线方法,并且在提供额外结构信息的两个交通数据集上,与其他方法具有同等的性能。

网址: https://shiruipan.github.io/publication/kdd-2020-wu/kdd-2020-wu.pdf

3. Understanding Negative Sampling in Graph Representation Learning

作者:Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要:在最近的几年中,对图表示学习进行了广泛的研究。尽管它有可能为各种网络生成连续的嵌入,但是在大型节点集中得到有效高质量的表示仍然具有挑战性。采样是实现该性能目标的关键点。现有技术通常侧重于正向节点对的采样,而对负向采样的策略探索不够。为了弥补这一差距,我们从目标和风险两个角度系统地分析了负采样的作用,从理论上论证了负采样在确定优化目标和结果方差方面与正采样同等重要。据我们所知,我们是第一个推导该理论并量化负采样分布应与其正采样分布成正相关但亚线性相关的方法。在该理论的指导下,我们提出了MCNS,用自对比度近似法近似正分布,并通过Metropolis-Hastings加速负采样。我们在5个数据集上评估了我们的方法,这些数据集涵盖了19个实验设置,涵盖了广泛的下游图学习任务,包括链接预测,节点分类和个性化推荐。这些相对全面的实验结果证明了其稳健性和优越性。

网址: https://arxiv.org/pdf/2005.09863.pdf

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者:Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要:将图表示学习与多视图数据(边信息)相结合进行推荐是工业上的一种趋势。现有的大多数方法可以归类为多视图表示融合,它们首先构建一个图,然后将多视图数据集成到图中每个节点的单个紧凑表示中。这些方法在工程和算法方面都引起了人们的关注:1)多视图数据在工业中是丰富而且有用的,并且可能超过单个矢量的容量;2)由于多视图数据往往来自不同的分布,可能会引入归纳偏置(inductive bias)。在本文中,我们使用一种多视图表示对齐方法来解决这个问题。特别地,我们提出了一个多任务多视角图表示学习框架(M2GRL)来学习web级推荐系统中的多视角图节点表示。M2GRL为每个单视图数据构造一个图,从多个图中学习多个单独的表示,并执行对齐以建立模型的交叉视图关系。M2GRL选择了一种多任务学习范式来联合学习视图内表示和交叉视图关系。此外,M2GRL在训练过程中利用同方差不确定性自适应地调整任务的损失权重。我们在淘宝部署了M2GRL,并对570亿个实例进行了训练。根据离线指标和在线A/B测试,M2GRL的性能明显优于其他最先进的算法。对淘宝多样性推荐的进一步研究表明,利用M2GRL产生的多种表征是有效的,对于不同侧重点的各种工业推荐任务来说,M2GRL是一个很有前途的方向。

网址:

https://arxiv.org/pdf/2005.10110.pdf

5. Controllable Multi-Interest Framework for Recommendation

作者:Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要:近年来,由于深度学习的快速发展,神经网络在电子商务推荐系统中得到了广泛的应用。我们将推荐系统形式化为一个序列推荐问题,目的是预测可能与用户交互的下一个项目。最近的研究通常从用户的行为序列中给出一个整体的嵌入。然而,统一的用户嵌入不能反映用户在一段时间内的多个兴趣。本文提出了一种新颖的可控多兴趣序列推荐框架,称为ComiRec。我们的多兴趣模块从用户行为序列中捕获多个兴趣,可用于从大规模项目集中检索候选项目。然后将这些项目送入聚合模块以获得总体推荐。聚合模块利用一个可控因素来平衡推荐的准确性和多样性。我们在两个真实的数据集Amazon和Taobao进行序列推荐实验。实验结果表明,我们的框架相对于最新模型取得了重大改进。我们的框架也已成功部署在离线阿里巴巴分布式云平台上。

网址: https://arxiv.org/pdf/2005.09347.pdf

代码链接: https://github.com/cenyk1230/ComiRec

成为VIP会员查看完整内容
0
70

【导读】作为计算机视觉领域的三大国际顶会之一,IEEE国际计算机视觉与模式识别会议 CVPR 每年都会吸引全球领域众多专业人士参与。由于受COVID-19疫情影响,原定于6月16日至20日在华盛顿州西雅图举行的CVPR 2020将全部改为线上举行。今年的CVPR有6656篇有效投稿,最终有1470篇论文被接收,接收率为22%左右。之前小编为大家整理过CVPR 2020 GNN 相关论文,这周小编继续为大家整理了五篇CVPR 2020 图神经网络(GNN)相关论文,供大家参考——行为识别、少样本学习、仿射跳跃连接、多层GCN、3D视频目标检测。

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN

1. Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition

作者:Ziyu Liu, Hongwen Zhang, Zhenghao Chen, Zhiyong Wang, Wanli Ouyang

摘要:基于骨架的动作识别算法广泛使用时空图对人体动作动态进行建模。为了从这些图中捕获鲁棒的运动模式,长范围和多尺度的上下文聚合与时空依赖建模是一个强大的特征提取器的关键方面。然而,现有的方法在实现(1)多尺度算子下的无偏差长范围联合关系建模和(2)用于捕捉复杂时空依赖的通畅的跨时空信息流方面存在局限性。在这项工作中,我们提出了(1)一种简单的分解(disentangle)多尺度图卷积的方法和(2)一种统一的时空图卷积算子G3D。所提出的多尺度聚合方法理清了不同邻域中节点对于有效的远程建模的重要性。所提出的G3D模块利用密集的跨时空边作为跳过连接(skip connections),用于在时空图中直接传播信息。通过耦合上述提议,我们开发了一个名为MS-G3D的强大的特征提取器,在此基础上,我们的模型在三个大规模数据集NTU RGB+D60,NTU RGB+D120和Kinetics Skeleton 400上的性能优于以前的最先进方法。

网址: https://arxiv.org/pdf/2003.14111.pdf

代码链接: github.com/kenziyuliu/ms-g3d

2. DPGN: Distribution Propagation Graph Network for Few-shot Learning

作者:Ling Yang, Liangliang Li, Zilun Zhang, Xinyu Zhou, Erjin Zhou, Yu Liu

摘要:大多数基于图网络的元学习方法都是为实例的instance-level关系进行建模。我们进一步扩展了此思想,以1-vs-N的方式将一个实例与所有其他实例的分布级关系明确建模。我们提出了一种新的少样本学习方法--分布传播图网络(DPGN)。它既表达了每个少样本学习任务中的分布层次关系,又表达了实例层次关系。为了将所有实例的分布层关系和实例层关系结合起来,我们构造了一个由点图和分布图组成的对偶全图网络,其中每个节点代表一个实例。DPGN采用双图结构,在更新时间内将标签信息从带标签的实例传播到未带标签的实例。在少样本学习的大量基准实验中,DPGN在监督设置下以5%∼12%和在半监督设置下以7%∼13%的优势大大超过了最新的结果。

网址: https://arxiv.org/pdf/2003.14247.pdf

代码链接: https://github.com/megvii-research/DPGN

3. Geometrically Principled Connections in Graph Neural Networks

作者:Shunwang Gong, Mehdi Bahri, Michael M. Bronstein, Stefanos Zafeiriou

摘要:图卷积操作为以前认为遥不可及的各种图形和网格处理任务带来了深度学习的优势。随着他们的持续成功,人们希望设计更强大的体系结构,这通常是将现有的深度学习技术应用于非欧几里得数据。在这篇文章中,我们认为几何应该仍然是几何深度学习这一新兴领域创新的主要驱动力。我们将图神经网络与广泛成功的计算机图形和数据近似模型(径向基函数(RBF))相关联。我们推测,与RBF一样,图卷积层将从向功能强大的卷积核中添加简单函数中受益。我们引入了仿射跳跃连接 (affine skip connections),这是一种通过将全连接层与任意图卷积算子相结合而形成的一种新的构建块。通过实验证明了我们的技术的有效性,并表明性能的提高是参数数量增加的结果。采用仿射跳跃连接的算子在形状重建、密集形状对应和图形分类等每一项任务上的表现都明显优于它们的基本性能。我们希望我们简单有效的方法将成为坚实的基准,并有助于简化图神经网络未来的研究。

网址: https://arxiv.org/pdf/2004.02658.pdf

4. L^2-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:图卷积网络(GCN)在许多应用中越来越受欢迎,但在大型图形数据集上的训练仍然是出了名的困难。它们需要递归地计算邻居的节点表示。当前的GCN训练算法要么存在随层数呈指数增长的高计算成本,要么存在加载整个图和节点嵌入的高内存使用率问题。本文提出了一种新的高效的GCN分层训练框架(L-GCN),该框架将训练过程中的特征聚合和特征变换分离开来,从而大大降低了时间和存储复杂度。我们在图同构框架下给出了L-GCN的理论分析,在温和的条件下,与代价更高的传统训练算法相比L-GCN可以产生同样强大的GCN。我们进一步提出了L2-GCN,它为每一层学习一个控制器,该控制器可以自动调整L-GCN中每一层的训练周期。实验表明,L-GCN比现有技术快至少一个数量级,内存使用量的一致性不依赖于数据集的大小,同时保持了还不错的预测性能。通过学习控制器,L2-GCN可以将训练时间进一步减少一半。

网址: https://arxiv.org/pdf/2003.13606.pdf

代码链接: https://github.com/Shen-Lab/L2-GCN

补充材料:

https://slack-files.com/TC7R2EBMJ-F012C60T335-281aabd097

5. LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention

作者:Junbo Yin, Jianbing Shen, Chenye Guan, Dingfu Zhou, Ruigang Yang

摘要:现有的基于LiDAR的3D目标检测算法通常侧重于单帧检测,而忽略了连续点云帧中的时空信息。本文提出了一种基于点云序列的端到端在线3D视频对象检测器。该模型包括空间特征编码部分和时空特征聚合部分。在前一个组件中,我们提出了一种新的柱状消息传递网络(Pillar Message Passing Network,PMPNet)来对每个离散点云帧进行编码。它通过迭代信息传递的方式自适应地从相邻节点收集柱节点的信息,有效地扩大了柱节点特征的感受野。在后一组件中,我们提出了一种注意力时空转换GRU(AST-GRU)来聚合时空信息,通过注意力记忆门控机制增强了传统的ConvGRU。AST-GRU包含一个空间Transformer Attention(STA)模块和一个时间Transformer Attention(TTA)模块,分别用于强调前景对象和对齐动态对象。实验结果表明,所提出的3D视频目标检测器在大规模的nuScenes基准测试中达到了最先进的性能。

网址: https://arxiv.org/pdf/2004.01389.pdf

代码链接: https://github.com/yinjunbo/3DVID

成为VIP会员查看完整内容
0
62

人工智能领域的顶会AAAI 2020将在2020年2月7日-12日在美国纽约举行。据官方统计消息,AAAI 2020今年共收到的有效论文投稿超过 8800 篇,其中 7737 篇论文进入评审环节,最终收录数量为 1591 篇,接收率 20.6%。开会在即,专知小编提前整理了AAAI 2020图神经网络(GNN)相关的接收论文,让大家先睹为快——跨模态、部分标签学习、交通流预测、少样本学习、贝叶斯图神经网络。

  1. Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification

作者:Renchun You, Zhiyao Guo, Lei Cui, Xiang Long, Yingze Bao, Shilei Wen

摘要:多标签图像和视频分类是计算机视觉中最基本也是最具挑战性的任务。主要的挑战在于捕获标签之间的空间或时间依赖关系,以及发现每个类的区别性特征的位置。为了克服这些挑战,我们提出将语义图嵌入的跨模态注意力机制用于多标签分类。基于所构造的标签图,我们提出了一种基于邻接关系的相似图嵌入方法来学习语义标签嵌入,该方法显式地利用了标签之间的关系。在学习标签嵌入的指导下,生成我们新颖的跨模态注意力图。在两个多标签图像分类数据集(MS-COCO和NUS-WIDE)上的实验表明,我们的方法优于其他现有的方法。此外,我们在一个大的多标签视频分类数据集(YouTube-8M Segments)上验证了我们的方法,评估结果证明了我们的方法的泛化能力。

网址: https://arxiv.org/abs/1912.07872

  1. General Partial Label Learning via Dual Bipartite Graph Autoencoder

作者:Brian Chen, Bo Wu, Alireza Zareian, Hanwang Zhang, Shih-Fu Chang

摘要:我们提出了一个实际但有挑战性的问题: 通用部分标签学习(General Partial Label Learning,GPLL)。相比传统的部分标签学习(Partial Label Learning,PLL)问题, GPLL将监督假设从从实例级别(标签集部分标记一个实例)放到了组级别: 1)标签集部分标签了一组实例, 其中组内 instance-label link annotations 丢失, 2)组间的link是允许的——组中的实例可以部分链接到另一个组中的标签集。这种模糊的组级监督在实际场景中更实用,因为不再需要实例级的附加标注,例如,在视频中组由一个帧中的人脸组成,并在相应的标题中使用名称集进行标记,因此不再需要对实例级进行命名。本文提出了一种新的图卷积网络(GCN)——Dual Bipartite Graph Autoencoder (DB-GAE)来解决GPLL的标签模糊问题。首先,我们利用组间的相互关系将实例组表示为dual bipartite图:组内图和组间图,它们相互补充以解决链接的歧义。其次,我们设计了一个GCN自动编码器来对它们进行编码和解码,其中的解码被认为是经过改进的结果。值得注意的是DB-GAE是自监督和转导的,因为它只使用组级的监督,而没有单独的offline训练阶段。对两个真实数据集的大量实验表明,DB-GAEG跟最佳baseline相比有着绝对的提升,0.159 的F1 score和24.8%的accuracy。我们还进一步分析了标签歧义的各个层次。

网址:

https://arxiv.org/abs/2001.01290

  1. GMAN: A Graph Multi-Attention Network for Traffic Prediction

作者:Chuanpan Zheng, Xiaoliang Fan, Cheng Wang, Jianzhong Qi

摘要:由于交通系统的复杂性和影响因素的不断变化,长期的交通预测具有很大的挑战性。在本文中,我们以时空因素为研究对象,提出了一种多注意力图网络(graph multi-attention network ,GMAN)来预测道路网络图中不同位置的时间步长的交通状况。GMAN采用了一种encoder-decoder结构,其中编码器和解码器都由多个时空注意力块组成,以模拟时空因素对交通条件的影响。编码器对输入流量特征进行编码,解码器对输出序列进行预测。在编码器和解码器之间,应用转换注意力层来转换已编码的流量特征,以生成未来时间步长的序列表示作为解码器的输入。转换注意力机制模拟了历史时间步长与未来时间步长之间的直接关系,有助于缓解预测时间步长之间的误差传播问题。在两个现实世界中的交通预测任务(即交通量预测和交通速度预测)上的实验结果证明了GMAN的优越性。特别地,在提前1个小时的预测中,GMAN的MAE指标提高了4%,优于最新技术。源代码可在https://github.com/zhengchuanpan/GMAN找到。

网址:

https://arxiv.org/abs/1911.08415

  1. Graph Few-shot Learning via Knowledge Transfer

作者:Huaxiu Yao, Chuxu Zhang, Ying Wei, Meng Jiang, SuhangWang, Junzhou Huang, Nitesh V. Chawla, Zhenhui Li

摘要:对于具有挑战性的半监督节点分类问题,已经进行了广泛的研究。图神经网络(GNNs)作为一个前沿领域,近年来引起了人们极大的兴趣。然而,大多数GNN具有较浅的层,接收域有限,并且可能无法获得令人满意的性能,特别是在标记节点数量很少的情况下。为了解决这一问题,我们创新性地提出了一种基于辅助图的先验知识的graph few-shot learning (GFL)算法,以提高目标图的分类精度。具体来说,辅助图与目标之间共享一个可迁移的度量空间,该空间以节点嵌入和特定于图的原型嵌入函数为特征,便于结构知识的传递。对四个真实世界图数据集的大量实验和消融研究证明了我们提出的模型的有效性以及每个组件的贡献。

网址:

https://arxiv.org/abs/1910.03053

  1. Learning Cross-Modal Context Graph for Visual Grounding

作者:Yongfei Liu, Bo Wan, Xiaodan Zhu, Xuming He

摘要:Visual grounding是许多视觉语言任务中普遍存在的一个基本单元,但由于grounding实体的视觉和语言特征的巨大差异、强大的语境效应以及由此产生的语义歧义,visual grounding仍然具有挑战性。以前的研究主要集中在学习单个短语在有限的语境信息下的表达。针对其局限性,本文提出了一种languageguided graph representation表示方法来捕获grounding实体的全局上下文及其关系,并针对多短语visual grounding任务开发了一种跨模态图匹配策略。特别地,我们引入一个模块化图神经网络,通过消息传播分别计算短语和目标建议的上下文感知表示,然后引入一个基于图的匹配模块来生成全局一致的基础短语定位。我们在两阶段策略中联合训练整个图神经网络,并在Flickr30K Entities基准上对其进行评估。大量的实验表明,我们的方法比之前的技术有相当大的优势,证明了我们的基础框架的有效性。代码可以在https://github.com/youngfly11/LCMCG-PyTorch 找到。

网址:

https://arxiv.org/abs/1911.09042

  1. Learning from the Past: Continual Meta-Learning with Bayesian Graph Neural Networks

作者:Yadan Luo, Zi Huang, Zheng Zhang, Ziwei Wang, Mahsa Baktashmotlagh, Yang Yang

摘要:元学习(Meta-learning)用于few-shot learning,允许机器利用以前获得的知识作为优先级,从而在只有少量数据的情况下提高新任务的性能。然而,大多数主流模型都存在灾难性遗忘和鲁棒性不足的问题,因此不能充分保留或利用长期知识,同时容易导致严重的错误累积。本文提出了一种新的基于贝叶斯图神经网络(CML-BGNN)的连续元学习方法。通过将每个任务形成一个图,可以通过消息传递和历史迁移很好地保存任务内部和任务间的相关性。为了解决图初始化过程中的拓扑不确定性问题,我们使用了Bayes by Backprop算法,该算法利用amortized推理网络逼近任务参数的后验分布,并将其无缝地集成到端到端边缘学习中。在miniImageNet和tieredImageNet数据集上进行的大量实验证明了该方法的有效性和效率,与最先进的miniImageNet 5-way 1-shot分类任务相比,性能提高了42:8%。

网址:

https://arxiv.org/abs/1911.04695

  1. Neural Graph Embedding for Neural Architecture Search

作者:Wei Li, Shaogang Gong, Xiatian Zhu

摘要:现有的神经体系结构搜索((NAS))方法往往直接在离散空间或连续空间中进行搜索,忽略了神经网络的图形拓扑知识。考虑到神经网络本质上是有向无环图(DAG),这会导致搜索性能和效率欠佳。在这项工作中,我们通过引入一种新的神经图嵌入(NGE)思想来解决这个限制。具体来说,我们用神经DAG表示神经网络的构建块(即cell),并利用图卷积网络来传播和建模网络结构的固有拓扑信息。这导致可与现有的不同NAS框架集成的通用神经网络表示。大量实验表明,在图像分类和语义分割方面,NGE优于最新方法。

网址:

https://xiatian-zhu.github.io/papers/LiEtAl_AAAI2020.pdf

  1. RoadTagger: Robust Road Attribute Inference with Graph Neural Networks

作者:Songtao He, Favyen Bastani, Satvat Jagwani, Edward Park, Sofiane Abbar, Mohammad Alizadeh, Hari Balakrishnan, Sanjay Chawla, Samuel Madden, Mohammad Amin Sadeghi

摘要:从卫星图像中推断道路属性(例如车道数和道路类型)是一项挑战。通常,由于卫星图像的遮挡和道路属性的空间相关性,仅当考虑道路的较远路段时,道路上某个位置的道路属性才可能是显而易见的。因此,为了鲁棒地推断道路属性,模型必须整合分散的信息,并捕捉道路沿线特征的空间相关性。现有的解决方案依赖于图像分类器,无法捕获这种相关性,导致准确性较差。我们发现这种失败是由于一个基本的限制–图像分类器的有效接受范围有限。

为了克服这一局限性,我们提出了一种结合卷积神经网络(CNNs)和图神经网络(GNNs)来推断道路属性的端到端体系结构RoadTagger。使用GNN允许信息在路网图上传播,消除了图像分类器的接收域限制。我们在一个覆盖美国20个城市688平方公里面积的大型真实数据集和一个综合数据集上对RoadTagger进行了评估。在评估中,与基于CNN图像分类器的方法相比,RoadTagger提高了推理的准确性。此外,RoadTagger对卫星图像的中断具有较强的鲁棒性,能够学习复杂的inductive rule来聚合道路网络上分散的信息。

网址:

https://arxiv.org/abs/1912.12408

成为VIP会员查看完整内容
0
68

最近,数据挖掘领域国际最高级别会议KDD 2019 于 2019 年 8 月 4 日- 8 日在美国阿拉斯加州安克雷奇市举行。今年的 KDD 包括两个track:Research Track和 Applied Data Science track。据了解,Research Track 共收到约 1200 篇投稿,其中约 110 篇 接收为oral 论文,60 篇 接收为poster 论文,接收率仅为 14%。专知小编发现关于图神经网络的相关论文在今年的KDD上非常多,所以今天小编专门整理最新12篇图神经网络(GNN)相关论文——聚类-GCN、条件随机场-GCN、Degree-GNN、GCN-MF、GCN-Pooling、GRN、异构GNN、强化学习-GNN、对抗攻击-GCN。

  1. Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks

作者:Wei-Lin Chiang; Xuanqing Liu; Si Si; Yang Li; Samy Bengio; Cho-Jui Hsieh;

摘要:图卷积网络(GCN)已成功地应用于许多基于图的应用中; 然而,训练一个大规模的GCN仍然是具有挑战性的。现有的基于SGD的算法要么计算成本高,且随着GCN层数的增加呈指数级增长,要么需要很大的空间来保存整个图以及在内存中嵌入每个节点。本文利用图的聚类结构,提出了一种新的适合于基于SGD的训练的GCN算法Cluster-GCN。Cluster-GCN的工作原理如下: 在每一步中,它对与图聚类算法标识的密集子图相关联的节点块进行采样,并限制在该子图中进行邻域搜索。这种简单而有效的策略能够显著提高内存和计算效率,同时能够达到与以前算法相当的测试精度。为了测试算法的可扩展性,我们创建了一个新的Amazon2M数据集,包含200万个节点和6100万条边,比之前最大的公共可用数据集(Reddit)大5倍以上。对于在此数据集上训练3层GCN, Cluster-GCN比之前最先进的VR-GCN(1523秒vs. 1961秒)更快,并且使用更少的内存(2.2GB vs. 11.2GB)。此外,对于该数据集的4层GCN的训练,我们的算法可以在36分钟左右完成,而现有的GCN训练算法都因为内存不足而无法训练。此外,Cluster-GCN允许我们在不需要太多时间和内存开销的情况下训练更深层的GCN,从而提高了预测精度——使用5层Cluster-GCN,我们在PPI数据集上实现了最先进的测试结果,F1 score为99.36,而之前最好的结果是98.71。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/cluster-gcn-an-efficient-algorithm-for-training-deep-and-large-graph-convol

  1. Conditional Random Field Enhanced Graph Convolutional Neural Networks

作者:Hongchang Gao; Jian Pei; Heng Huang;

摘要:图卷积神经网络近年来受到越来越多的关注。与标准卷积神经网络不同,图卷积神经网络对图数据进行卷积运算。与一般数据相比,图数据具有不同节点间的相似性信息。因此,在图卷积神经网络的隐层中保存这种相似性信息是非常重要的。然而,现有的工作没有做到这一点。另一方面,为了保持相似关系,对隐藏层的增强是一个挑战。为了解决这一问题,我们提出了一种新的CRF层用于图卷积神经网络,以使得相似节点具有相似的隐藏特征。这样,可以显式地保存相似性信息。此外,我们提出的CRF层易于计算和优化。因此,它可以很容易地插入到现有的图卷积神经网络中,提高其性能。最后,大量的实验结果验证了我们提出的CRF层的有效性。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/conditional-random-field-enhanced-graph-convolutional-neural-networks

  1. DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification

作者:Jun Wu; Jingrui He; Jiejun Xu;

摘要:图数据广泛存在于许多具有高影响力的应用中。受网格结构数据深度学习成功的启发,研究者提出了一种学习强大的节点级或图级表示的图神经网络模型。然而,现有的图神经网络大多存在以下局限性:(1)对图卷积的seed-oriented、degree-aware、order-free等特性的分析比较有限; (2) 在区分结构感知节点邻域时,没有将节点的degree-specific图结构显式表示为图卷积; (3)图级pooling机制的理论解释尚不明确。为了解决这些问题,我们提出了一种基于Weisfeiler- Lehman图同构测试的通用degree-specific图神经网络DEMO-Net。为了显式地捕获与节点属性集成的图的拓扑结构,我们认为图卷积应该具有三个属性:seed-oriented, degree-aware 和order-free。为此,我们提出了多任务图卷积,其中每个任务表示具有specific degree value的节点的节点表示学习,从而保持了degree-specific的图结构。特别地,我们设计了两种多任务学习方法:degree-specific权重法和图卷积的哈希函数法。此外,我们还提出了一种新的图级pooling/readout方案,用于学习图形表示,可证明位于degree-specific的Hilbert kernel空间中。在多个节点和图分类基准数据集上的实验结果表明,我们提出的DEMO-Net相对于最先进的图神经网络模型的有效性和高效性。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/demo-net-degree-specific-graph-neural-networks-for-node-and-graph-classific

  1. GCN-MF: Disease-Gene Association Identification By Graph Convolutional Networks and Matrix Factorization

作者:Peng Han; Peng Yang; Peilin Zhao; Shuo Shang; Yong Liu; Jiayu Zhou; Xin Gao; Panos Kalnis;

摘要:发现疾病基因关联是一项基础性和关键性的生物医学任务,它有助于生物学家和医生发现症候的致病机制。基于网络的半监督学习(NSSL)是这些研究中常用的一种方法,它利用各种临床生物标志物来测量基因和疾病表型之间的相似性,来解决这个类平衡的大规模数据问题。然而,大多数现有的NSSL方法都是基于线性模型的,存在两个主要限制:1)它们隐式地考虑每个候选对象的局部结构表示; 2)他们无法捕捉疾病和基因之间的非线性联系。本文将图卷积网络(GCN)和矩阵因子分解相结合,提出了一种新的疾病基因关联任务框架GCN-MF。在GCN的帮助下,我们可以捕获非线性相互作用,并利用测量到的相似性。此外,我们定义了一个边际控制损失函数,以减少稀疏性的影响。实验结果表明,所提出的深度学习算法在大多数指标上都优于其他最先进的方法。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/cluster-gcn-an-efficient-algorithm-for-training-deep-and-large-graph-convol

  1. Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks

作者:Namyong Park; Andrey Kan; Xin Luna Dong; Tong Zhao; Christos Faloutsos;

摘要:如何估计知识图谱(KG)中节点的重要性? KG是一个多关系图,它被证明对于许多任务(包括问题回答和语义搜索)都很有价值。在本文中,我们提出了GENI,一种解决KG中节点重要性估计问题的方法,该方法支持商品推荐和资源分配等多种下游应用。虽然已经有了一些方法来解决一般图的这个问题,但是它们没有充分利用KG中可用的信息,或者缺乏建模实体与其重要性之间复杂关系所需的灵活性。为了解决这些限制,我们探索了有监督的机器学习算法。特别是,基于图神经网络(GNN)的最新进展,我们开发了GENI,这是一种基于GNN的方法,旨在应对预测KG中节点重要性所涉及的独特挑战。我们的方法通过predicate-aware注意力机制和灵活的中心性调整来执行重要性分数的聚合,而不是聚合节点嵌入。在我们对GENI和现有方法的评估中,GENI在预测具有不同特征的真实KG中节点重要性方面比现有方法高出5-17%。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/estimating-node-importance-in-knowledge-graphs-using-graph-neural-networks

  1. Graph Convolutional Networks with EigenPooling

作者:Yao Ma; Suhang Wang; Charu Aggarwal; Jiliang Tang;

摘要:图神经网络将深度神经网络模型推广到图结构数据中,近年来受到越来越多的关注。它们通常通过转换、传播和聚合节点特征来学习节点表示,并被证明可以提高许多与图相关的任务的性能,如节点分类和链接预测。将图神经网络应用于图分类任务,需要从节点表示生成图表示的方法。一种常见的方法是全局组合节点表示。然而,丰富的结构信息被忽略了。因此,在图表示学习过程中,需要一个层次的pooling过程来保持图的结构。最近有一些关于层次学习图表示的工作类似于传统卷积神经网络(CNN)中的pooling步骤。然而,在汇聚过程中,局部结构信息在很大程度上仍然被忽略。本文介绍了一种基于图的傅里叶变换的pooling操作EigenPooling,它可以利用pooling过程中的节点特征和局部结构。然后基于pooling算子设计pooling层,并与传统的GCN卷积层进一步结合,形成一个用于图分类的图神经网络框架EigenGCN。从局部和全局的角度对EigenGCN进行了理论分析。图分类任务在6个常用benchmark上的实验结果表明了该框架的有效性。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/graph-convolutional-networks-with-eigenpooling

  1. Graph Recurrent Networks with Attributed Random Walks

作者:Xiao Huang; Qingquan Song; Yuening Li; Xia Hu;

摘要:随机游走被广泛应用于从网络嵌入到标签传播的各种网络分析任务中。它可以捕获并将几何结构转换为结构化序列,同时解决了稀疏性和维数的灾难性问题。虽然对纯网络上的随机游走进行了深入的研究,但在实际系统中,节点往往不是纯顶点,而是具有不同的特征,并由与之相关的丰富数据集来描述。这些节点属性包含丰富的信息,这些信息通常是网络的补充,并为基于随机游走的分析带来了机会。然而,目前还不清楚如何为attributed网络开发随机游走来实现有效的联合信息提取。节点属性使得节点之间的交互更加复杂,拓扑结构也更加异构。

为了弥补这一不足,我们研究了在attributed网络上进行联合随机游动,并利用它们来提高深度节点表示学习。提出的框架GraphRNA由两个主要组件组成,即,一种协作游走机制—AttriWalk,以及一种为随机游走量身定制的深度嵌入体系结构,称为图递归网络(graph recurrent networks ,GRN)。AttriWalk将节点属性看作是一个二分网络,并利用它来促进节点间的离散化,减少节点间向高中心汇聚的趋势。AttriWalk使我们能够将突出的深度网络嵌入模型-图卷积网络推向一个更有效的架构——GRN。GRN赋予节点表示以与原始attributed网络中的节点交互相同的方式进行交互。在真实数据集上的实验结果表明,与目前最先进的嵌入算法相比,GraphRNA算法很有效。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/graph-recurrent-networks-with-attributed-random-walks

  1. HetGNN: Heterogeneous Graph Neural Network

作者:Chuxu Zhang; Dongjin Song; Chao Huang; Ananthram Swami; Nitesh V. Chawla;

摘要:异构图表示学习的目的是为每个节点寻求一个有意义的向量表示,以便于后续应用,如链接预测、个性化推荐、节点分类等。然而,该任务具有挑战性,不仅因为需要合并异构由多种类型的节点和边组成的结构(图)信息,但也需要考虑与每个节点相关联的异构属性或内容(例如,文本或图像)。尽管在同构(或异构)图嵌入、属性图嵌入以及图神经网络等方面都做了大量的工作,但很少有图神经网络能够有效地联合考虑图的异构结构(图)信息以及各节点的异构内容信息。为此,我们提出了一种异构图神经网络模型HetGNN。具体来说,我们首先引入一个具有重启策略的随机游走,为每个节点抽取一个固定大小的强相关异构邻居,并根据节点类型对它们进行分组。接下来,我们设计了一个包含两个模块的神经网络结构来聚合这些采样的相邻节点的特征信息。第一个模块对异构内容的“深度”特性交互进行编码,并为每个节点生成内容嵌入。第二个模块聚合不同邻近组(类型)的内容(属性)嵌入,并通过考虑不同组的影响来进一步组合它们,以获得最终的节点嵌入。最后,我们利用图context loss和一个mini-batch梯度下降过程以端到端方式训练模型。在多个数据集上的大量实验表明,HetGNN在各种图挖掘任务(比如链路预测、推荐、节点分类聚类、归纳节点分类聚类)中都能超越最先进的baseline。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/hetgnn-heterogeneous-graph-neural-network

  1. Learning Dynamic Context Graphs for Predicting Social Events

作者:Songgaojun Deng; Huzefa Rangwala; Yue Ning;

摘要:以建模上下文信息为目标的事件预测是自动分析生成和资源分配等应用程序的一项重要任务。为感兴趣的事件捕获上下文信息可以帮助分析人员理解与该事件相关的因素。然而,由于以下几个因素,在事件预测中获取上下文信息是具有挑战性的: (i)上下文结构和形成的不确定性,(ii)高维特征,以及(iii)特征随时间的适应性。最近,图表示学习在交通预测、社会影响预测和可视化问题回答系统等应用中取得了成功。在本文中,我们研究了社会事件建模中的图表示,以识别事件上下文的动态属性作为social indicators。

受图神经网络的启发,我们提出了一种新的图卷积网络来预测未来的事件(例如,国内动乱运动)。我们从历史/以前的事件文档中提取和学习图表示。该模型利用隐藏的单词图特征预测未来事件的发生,并将动态图序列识别为事件上下文。在多个真实数据集上的实验结果表明,该方法与各种先进的社会事件预测方法相比具有较强的竞争力。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/learning-dynamic-context-graphs-for-predicting-social-events

  1. Automating Feature Subspace Exploration via Multi-Agent Reinforcement Learning

作者:Kunpeng Liu; Yanjie Fu; Pengfei Wang; Le Wu; Rui Bo; Xiaolin Li;

摘要:特征选择是机器学习的预处理步骤,它试图为后续的预测任务选择最相关的特征。有效的特征选择可以降低维数,提高预测精度,提高结果的可理解性。从子集空间中寻找最优特征子集是一个非常具有挑战性的问题,因为子集空间可能非常大。在已有研究的基础上,增强学习为搜索策略的全局化提供了新的视角。针对特征选择问题,提出了一种多智能体增强学习框架。具体来说,我们首先用一个增强学习框架来重新制定特征选择,将每个特征视为一个智能体。然后,通过三种方法得到环境状态,即为了使算法更好地理解学习过程,本文采用了统计描述、自动编码器和图卷积网络(GCN)。我们展示了如何以一种基于图的方式学习状态表示,这种方法不仅可以处理边的变化,还可以处理节点逐步变化的情况。此外,我们还研究了如何通过更合理的奖励方案来改善不同特征之间的协调。该方法具有全局搜索特征子集的能力,并且由于增强学习的性质,可以很容易地适应实时情况(实时特征选择)。此外,我们还提出了一种有效的加速多智能体强化学习收敛的策略。最后,大量的实验结果表明,该方法比传统方法有显著的改进。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/automating-feature-subspace-exploration-via-multi-agent-reinforcement-learn

  1. Robust Graph Convolutional Networks Against Adversarial Attacks

作者:Dingyuan Zhu; Ziwei Zhang; Peng Cui; Wenwu Zhu;

摘要:图卷积网络(GCNs)是一种新兴的基于图的神经网络模型,在节点分类任务中取得了最先进的性能。然而,近年来的研究表明,GCN容易受到恶意攻击,即在图结构和节点属性上的小扰动,这给GCN网络在实际应用中带来了很大的挑战。如何提高GCN的鲁棒性仍然是一个关键的开放性问题。

为了解决这一问题,我们提出了Robust GCN (RGCN),这是一种新的模型,它“加强”了GCN的对抗攻击能力。具体来说,我们的方法不是将节点表示为向量,而是采用高斯分布作为每个卷积层中节点的隐藏表示。这样,当图受到攻击时,我们的模型可以自动吸收高斯分布方差变化的不利影响。此外,为了弥补对抗性攻击在GCN中的传播,我们提出了一种基于方差的注意力机制,即在执行卷积时根据节点邻域的方差分配不同的权值。大量的实验结果表明,我们提出的方法可以有效地提高GCN的鲁棒性。在三个基准图上,与最先进的GCN方法相比,我们的RGCN在各种对抗攻击策略下的节点分类精度有了显著提高。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/robust-graph-convolutional-networks-against-adversarial-attacks

  1. Stability and Generalization of Graph Convolutional Neural Networks

作者:Saurabh Verma; Zhi-Li Zhang;

摘要:图卷积神经网络(GCNNs)是受卷积神经网络在一维和二维数据上的启发而发展起来的一种用于各种图数据学习任务的神经网络,在实际数据集上表现出了良好的性能。尽管GCNN模型取得了一定的成功,但是对于GCNN模型的泛化性质等理论探索却十分缺乏。本文通过分析单层GCNN模型的稳定性,推导出其在半监督图学习环境下的泛化保证,为深入理解GCNN模型迈出了第一步。特别地,我们证明了GCNN模型的算法稳定性依赖于其图卷积滤波器的最大绝对特征值。此外,为了确保提供强泛化保证所需的均匀稳定性,最大绝对特征值必须与图的大小无关。我们的结果为设计新的和改进的具有算法稳定性的图卷积滤波器提供了新的见解。我们对各种真实世界图数据集的泛华差距和稳定性进行了评价,实证结果确实支持了我们的理论发现。据我们所知,我们是第一个在半监督设置下研究图学习的稳定性边界,并推导出GCNN模型的泛化边界。

网址:

https://www.kdd.org/kdd2019/accepted-papers/view/stability-and-generalization-of-graph-convolutional-neural-networks

下载链接:https://pan.baidu.com/s/1mrFRXhS1Uajs9uLUxrUMAg 提取码:zbkg

成为VIP会员查看完整内容
0
53

论文题目: A Structural Graph Representation Learning Framework

论文摘要: 许多基于图的机器学习任务的成功在很大程度上取决于从图数据中学习到的适当表示。大多数工作都集中在于学习保留邻近性的节点嵌入,而不是保留节点之间结构相似性的基于结构的嵌入。这些方法无法捕获对基于结构的应用程序(如web日志中的visitor stitching)至关重要的高阶结构依赖和连接模式。在这项工作中,我们阐述了高阶网络表示学习,并提出了一个称为HONE的通用框架,用于通过节点邻域中的子图模式(network motifs, graphlet orbits/positions)从网络中学习这种结构性节点嵌入。HONE引入了一种通用的diffusion机制和一种节省空间的方法,该方法避免了使用k-step线性算子来显式构造k-step motif-based矩阵。此外,HONE被证明是快速和有效的,最坏情况下的时间复杂度几乎是线性的。实验结果表明,该算法能有效地处理大量的网络日志数据,包括链接预测和visitor stitching。

作者简介:

Ryan A. Rossi,目前在Adobe Research工作,研究领域是机器学习;涉及社会和物理现象中的大型复杂关系(网络/图形)数据的理论、算法和应用。在普渡大学获得了计算机科学博士和硕士学位。

Nesreen K. Ahmed,英特尔实验室的高级研究员。我在普渡大学计算机科学系获得博士学位,在普渡大学获得统计学和计算机科学硕士学位。研究方向是机器学习和数据挖掘,涵盖了大规模图挖掘、统计机器学习的理论和算法,以及它们在社会和信息网络中的应用。

成为VIP会员查看完整内容
0
57
小贴士
相关论文
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
Ruochi Zhang,Yuesong Zou,Jian Ma
12+阅读 · 2019年11月6日
Signed Graph Attention Networks
Junjie Huang,Huawei Shen,Liang Hou,Xueqi Cheng
6+阅读 · 2019年9月5日
HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs
Naganand Yadati,Madhav Nimishakavi,Prateek Yadav,Vikram Nitin,Anand Louis,Partha Talukdar
9+阅读 · 2019年5月22日
Deep Graph Infomax
Petar Veličković,William Fedus,William L. Hamilton,Pietro Liò,Yoshua Bengio,R Devon Hjelm
8+阅读 · 2018年12月21日
Sambaran Bandyopadhyay,Lokesh N,M. N. Murty
4+阅读 · 2018年11月19日
HyperGCN: Hypergraph Convolutional Networks for Semi-Supervised Classification
Naganand Yadati,Madhav Nimishakavi,Prateek Yadav,Anand Louis,Partha Talukdar
10+阅读 · 2018年9月7日
Meta-Learning with Latent Embedding Optimization
Andrei A. Rusu,Dushyant Rao,Jakub Sygnowski,Oriol Vinyals,Razvan Pascanu,Simon Osindero,Raia Hadsell
6+阅读 · 2018年7月16日
Matthias Rost,Stefan Schmid
4+阅读 · 2018年3月12日
Aleksandar Bojchevski,Stephan Günnemann
4+阅读 · 2018年2月27日
Ryan A. Rossi,Nesreen K. Ahmed,Eunyee Koh
10+阅读 · 2018年1月28日
Top