在ICML2020 图表示学习论坛上,NUS Xavier Bresson副教授做了关于《图神经网络基准》的报告,非常干活!

论文 :Benchmarking Graph Neural Networks

作者:Vijay Prakash Dwivedi、Chaitanya K. Joshi、Yoshua Bengio 等

论文链接:https://arxiv.org/pdf/2003.00982.pdf

摘要:近期的大量研究已经让我们看到了图神经网络模型(GNN)的强大潜力,很多研究团队都在不断改进和构建基础模块。但大多数研究使用的数据集都很小,如 Cora 和 TU。在这种情况下,即使是非图神经网络的性能也是可观的。如果进行进一步的比较,使用中等大小的数据集,图神经网络的优势才能显现出来。

在斯坦福图神经网络大牛 Jure 等人发布《Open Graph Benchmark》之后,又一个旨在构建「图神经网络的 ImageNet」的研究出现了。近日,来自南洋理工大学、洛约拉马利蒙特大学、蒙特利尔大学和 MILA 等机构的论文被提交到了论文预印版平台上,在该研究中,作者一次引入了六个中等大小的基准数据集(12k-70k 图,8-500 节点),并对一些有代表性的图神经网络进行了测试。除了只用节点特征的基准线模型之外,图神经网络分成带或不带对边对注意力两大类。GNN 研究社区一直在寻求一个共同的基准以对新模型的能力进行评测,这一工具或许可以让我们实现目标。

成为VIP会员查看完整内容
0
49

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

近期的大量研究已经让我们看到了图神经网络模型(GNN)的强大潜力,很多研究团队都在不断改进和构建基础模块。但大多数研究使用的数据集都很小,如 Cora 和 TU。在这种情况下,即使是非图神经网络的性能也是可观的。如果进行进一步的比较,使用中等大小的数据集,图神经网络的优势才能显现出来。

在斯坦福图神经网络大牛 Jure 等人发布《Open Graph Benchmark》之后,又一个旨在构建「图神经网络的 ImageNet」的研究出现了。近日,来自南洋理工大学、洛约拉马利蒙特大学、蒙特利尔大学和 MILA 等机构的论文被提交到了论文预印版平台上,在该研究中,作者一次引入了六个中等大小的基准数据集(12k-70k 图,8-500 节点),并对一些有代表性的图神经网络进行了测试。除了只用节点特征的基准线模型之外,图神经网络分成带或不带对边对注意力两大类。GNN 研究社区一直在寻求一个共同的基准以对新模型的能力进行评测,这一工具或许可以让我们实现目标。

成为VIP会员查看完整内容
0
21

摘要:

图神经网络(GNNs)最近变得越来越受欢迎,因为它们能够学习复杂的关系系统,这些关系产生于从生物学和粒子物理学到社会网络和推荐系统的广泛问题。尽管在图上进行深度学习的不同模型太多了,但迄今为止,很少有人提出方法来处理呈现某种动态性质的图(例如,随着时间的推移而进化的特征或连通性)。在本文中,作者提出了时序图网络(TGNs),一个通用的,有效的框架,用于深度学习动态图表示为时间事件序列。在内存模块和基于图的操作符中,TGNs能够显著优于以前的方法,同时计算效率也更高。作者进一步表明,以前的几个学习动态图的模型可以转换为TGN框架的具体实例。他们对TGN框架的不同组件进行了详细的消融研究,并设计了最佳配置,在动态图的几个转导和归纳预测任务上实现了最先进的性能。

讨论的问题:

  • 理解动态图的需要和目前静态GNN方法的局限
  • TGN内存模块和时间依赖嵌入模块
  • TGN先进的训练策略

结论

  • 时序图网络是动态时间图的广义GNN形式
  • 内存模块为每个节点介绍,并用于存储内存的数据动态
  • 图嵌入可以基于内存状态和下游时间的任务进行计算
  • 节点内存也可以更新测试时间
  • 作者介绍了计算内存的一般框架,但每个内存函数(消息、聚合和更新)可以根据手头的问题进行修改

地址: https://ai.science/e/tgn-temporal-graph-networks-for-deep-learning-on-dynamic-graphs--eqAnR859q8wk2jfcGnbx

成为VIP会员查看完整内容
0
84

谱聚类(SC)是一种常用的聚类方法,该方法能够根据特征值分解找到联系密切的communities.谱聚类如果用到图网络上,一种自然而然的想法是对联系紧密的communities进行pooling,然后进行下一步的操作。但是谱分解涉及到拉普拉斯矩阵的分解,复杂度非常的高,另外如果pooling完,我们还要继续pooling,需要重新计算一次分解,这个过程是不可导的。另外谱聚类的方法没有用到节点的特征,只是根据拉普拉斯矩阵进行分解的。这篇论文非常巧妙地提出了一种minCUT的方法,可以求导,并且不需要进行谱分解,代码已经公开。

具体来看,本文提出了一种最小割的loss作为regularization,也就是下面的公式,其中L_c根据minCUT学习一个assignment matrix,使得联系紧密的communities内部更加紧凑,L_o是一个约束,约束这些assignment matrix之间不要都一样了(正交),不然所有的点都聚在一起了,这里不做过多介绍,有兴趣请查看原文,公众号后期会做进一步详细的解析,尽请关注。

https://www.zhuanzhi.ai/paper/662405fed0b0ccd3c1a375864ab42e8b

成为VIP会员查看完整内容
0
37

【导读】Yann Lecun在纽约大学开设的2020春季《深度学习》课程,干货满满。最新的一期是来自新加坡南洋理工大学的Xavier Bresson教授的图卷积神经网络课程,共76页PPT,非常硬核干货,讲述了GCN近年来的研究进展,包括经典卷积网络、谱图卷积网、 空间域图卷积网、GCN基准等。

图卷积网络

目录:

  • 第一部分传统卷积网
    • 架构
    • 图域
    • 卷积
  • 谱域图卷积网
  • 谱卷积
  • 谱GCN
  • 空间域图卷积网
    • 模板匹配
    • 各向同性 GCNs
    • 各向异性 GCNs
    • GatedGCNs
  • 图神经网络基准
  • 结论

成为VIP会员查看完整内容
0
122

【导读】图神经网络依然是研究焦点之一。最近在WWW2020的DL4G@WWW2020论坛,斯坦福大学Jure Leskovec副教授介绍了图神经网络研究最新进展,包括GNN表现力、预训练和公开图神经网络基准等。值得关注。

近年来,深度学习领域关于图神经网络(Graph Neural Networks,GNN)的研究热情日益高涨,图网络已经成为各大深度学习顶会的研究热点。GNN 处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。但是,大部分的图网络框架的建立都是基于研究者的先验或启发性知识,缺少清晰的理论支撑。

https://www.aminer.cn/dl4g_www2020

Jure Leskovec

图网络领域的大牛Jure Leskovec,是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。在谷歌学术搜索(Google Scholar)上,Jure拥有接近4.5万的论文引用数量,H指数为84。

下载链接: 链接: https://pan.baidu.com/s/1gg9qvsjZVp3nGB-0TSkv_w 提取码: mtth

成为VIP会员查看完整内容
0
98

摘要 近年来,使用结构化数据建模的图神经网络(GNNs)取得了巨大的成功。然而,大多数的GNN都是针对同构图设计的,在同构图中,所有的节点和边都属于同一种类型,使得它们无法表示异构结构。在这篇论文中,我们提出了一种异构图 Transformer(HGT)结构来对web级的异构图进行建模。为了对异构性进行建模,我们设计了节点类型和边类型的相关参数来描述每个边上的异构注意力程度,从而使HGT能够维护不同类型节点和边的特定表示。为了处理动态异构图,我们在HGT中引入了相对时间编码技术,该技术能够捕获具有任意持续时间的动态结构依赖关系。针对网络规模图数据的处理问题,设计了高效、可扩展的小批量图数据采样算法HGSampling。在拥有1.79亿个节点和20亿个边的开放学术图上进行的大量实验表明,所提出的HGT模型在各种下游任务上的性能始终比所有最先进的GNN基线高9-21%。

关键词:图神经网络;异构信息网络;表示学习;图嵌入;图注意力

介绍

异构图通常对复杂的系统进行抽象和建模,其中不同类型的对象以各种方式相互交互。此类系统的一些常见实例包括学术图、Facebook实体图、LinkedIn经济图,以及广泛的物联网网络。例如,图1中的开放学术图(OAG)[28]包含五种类型的节点:论文、作者、机构、场所(期刊、会议或预印本)和字段,以及它们之间不同类型的关系。

在过去的十年中,人们对异构图[17]的挖掘进行了大量的研究。其中一个经典的范例就是定义和使用元路径来对异类结构进行建模,例如PathSim[18]和变元ath2vec[3]。最近,鉴于图神经网络(GNNs)的成功[7,9,22],[14,23,26,27]尝试采用GNNs来学习异构网络。然而,这些工作面临着几个问题:首先,它们大多涉及到为每种类型的异构图设计元路径,这需要特定的领域知识;其次,它们要么简单地假设不同类型的节点/边共享相同的特征和表示空间,要么为节点类型或单独的边类型保留不同的非共享权值,使它们不足以捕获异类图的属性;三是大多忽略了每一个(异构)图的动态性;最后,它们固有的设计和实现使得它们无法对web规模的异构图进行建模。

以OAG为例:首先,OAG中的节点和边可能具有不同的特征分布,如论文具有文本特征,而机构可能具有来自附属学者的特征,共同作者明显不同于引文链接;OAG一直在不断发展,例如:1)出版物的数量每12年翻一倍[4];2)KDD会议在1990年代更多地与数据库相关,而近年来更多地与机器学习相关;最后,OAG包含数亿个节点和数十亿个关系,使得现有的异构GNN无法扩展来处理它。

针对这些限制和挑战,我们建议研究异构图神经网络,其目标是维护节点和边类型依赖表示、捕获网络动态、避免自定义元路径和可扩展到web级图。在这项工作中,我们提出了异构图 Transformer(HGT)架构来处理所有这些问题。

为了处理图的异构性,我们引入了节点类型和边类型依赖注意力机制。HGT中的相互注意不是对每一个类型边参数化,而是根据其元关系三元组e=(s,t),即 s为节点类型,s与t之间的e的边类型,t的节点类型。图1展示了异构学术图的元关系。具体来说,我们使用这些元关系来对权重矩阵参数化,以计算每条边上的注意力。因此,允许不同类型的节点和边维护其特定的表示空间。同时,不同类型的连接节点仍然可以交互、传递和聚合消息,而不受其分布差异的限制。由于其架构的性质,HGT可以通过跨层传递消息来整合来自不同类型的高阶邻居的信息,这可以看作是软元路径。也就是说,即使HGT只将其单跳边作为输入,而不需要手动设计元路径,所提出的注意力机制也可以自动、隐式地学习和提取对不同下游任务重要的元路径。

为了处理图数据的动态特性,我们提出了相对时间编码(RTE)策略来增强HGT。我们不打算将输入图分割成不同的时间戳,而是建议将发生在不同时间的所有边作为一个整体进行维护,并设计RTE策略来对任何持续时间长度的结构性时间依赖关系进行建模,甚至包括不可见的和未来的时间戳。通过端到端训练,RTE使HGT能够自动学习异构图的时间依赖性和演化。

为了处理网络规模的图形数据,我们设计了第一个用于小批量GNN训练的异构子图采样算法HGSampling。它的主要思想是样本异构子图中不同类型的节点与类似的比例,由于直接使用现有的(均匀)GNN抽样方法,如GraphSage [7], FastGCN[1],和LADIES[29],结果在高度不平衡的关于节点和边缘的类型。此外,它还被设计成保持采样子图的密度以最小化信息的丢失。通过HGSampling,所有的GNN模型,包括我们提出的HGT,都可以在任意大小的异构图上进行训练和推断。

我们证明了所提出的异构图Transformer在网络规模开放学术图上的有效性和效率,该开放学术图由1.79亿个节点和20亿个边组成,时间跨度从1900年到2019年,这是迄今为止在异构图上进行的规模最大、跨度最长的表示学习。此外,我们还检查领域特定的图表:计算机科学和医学学术图表。实验结果表明,与最先进的GNNs和专用的异构模型相比,在下游任务中HGT可以显著提高9-21%。我们进一步进行了案例研究,表明了所提出的方法确实能够自动捕获不同任务的隐式元路径的重要性。

成为VIP会员查看完整内容
0
107

Person re-identification (re-id) is a critical problem in video analytics applications such as security and surveillance. The public release of several datasets and code for vision algorithms has facilitated rapid progress in this area over the last few years. However, directly comparing re-id algorithms reported in the literature has become difficult since a wide variety of features, experimental protocols, and evaluation metrics are employed. In order to address this need, we present an extensive review and performance evaluation of single- and multi-shot re-id algorithms. The experimental protocol incorporates the most recent advances in both feature extraction and metric learning. To ensure a fair comparison, all of the approaches were implemented using a unified code library that includes 11 feature extraction algorithms and 22 metric learning and ranking techniques. All approaches were evaluated using a new large-scale dataset that closely mimics a real-world problem setting, in addition to 16 other publicly available datasets: VIPeR, GRID, CAVIAR, DukeMTMC4ReID, 3DPeS, PRID, V47, WARD, SAIVT-SoftBio, CUHK01, CHUK02, CUHK03, RAiD, iLIDSVID, HDA+ and Market1501. The evaluation codebase and results will be made publicly available for community use.

0
5
下载
预览
小贴士
相关论文
TResNet: High Performance GPU-Dedicated Architecture
Tal Ridnik,Hussam Lawen,Asaf Noy,Itamar Friedman
5+阅读 · 2020年3月30日
SPM-Tracker: Series-Parallel Matching for Real-Time Visual Object Tracking
Guangting Wang,Chong Luo,Zhiwei Xiong,Wenjun Zeng
3+阅读 · 2019年4月9日
Progressive Pose Attention Transfer for Person Image Generation
Zhen Zhu,Tengteng Huang,Baoguang Shi,Miao Yu,Bofei Wang,Xiang Bai
4+阅读 · 2019年4月9日
Efficient Parameter-free Clustering Using First Neighbor Relations
M. Saquib Sarfraz,Vivek Sharma,Rainer Stiefelhagen
3+阅读 · 2019年2月28日
Xiaobin Chang,Timothy M. Hospedales,Tao Xiang
4+阅读 · 2018年4月17日
Qin Zhou,Heng Fan,Shibao Zheng,Hang Su,Xinzhe Li,Shuang Wu,Haibin Ling
5+阅读 · 2018年4月1日
Ergys Ristani,Carlo Tomasi
7+阅读 · 2018年3月28日
Ju Dai,Pingping Zhang,Huchuan Lu,Hongyu Wang
5+阅读 · 2018年2月22日
Srikrishna Karanam,Mengran Gou,Ziyan Wu,Angels Rates-Borras,Octavia Camps,Richard J. Radke
5+阅读 · 2018年2月14日
Chengyuan Zhang,Lin Wu,Yang Wang
10+阅读 · 2018年1月4日
Top