在ICML2020 图表示学习论坛上,NUS Xavier Bresson副教授做了关于《图神经网络基准》的报告,非常干活!

论文 :Benchmarking Graph Neural Networks

作者:Vijay Prakash Dwivedi、Chaitanya K. Joshi、Yoshua Bengio 等

论文链接:https://arxiv.org/pdf/2003.00982.pdf

摘要:近期的大量研究已经让我们看到了图神经网络模型(GNN)的强大潜力,很多研究团队都在不断改进和构建基础模块。但大多数研究使用的数据集都很小,如 Cora 和 TU。在这种情况下,即使是非图神经网络的性能也是可观的。如果进行进一步的比较,使用中等大小的数据集,图神经网络的优势才能显现出来。

在斯坦福图神经网络大牛 Jure 等人发布《Open Graph Benchmark》之后,又一个旨在构建「图神经网络的 ImageNet」的研究出现了。近日,来自南洋理工大学、洛约拉马利蒙特大学、蒙特利尔大学和 MILA 等机构的论文被提交到了论文预印版平台上,在该研究中,作者一次引入了六个中等大小的基准数据集(12k-70k 图,8-500 节点),并对一些有代表性的图神经网络进行了测试。除了只用节点特征的基准线模型之外,图神经网络分成带或不带对边对注意力两大类。GNN 研究社区一直在寻求一个共同的基准以对新模型的能力进行评测,这一工具或许可以让我们实现目标。

成为VIP会员查看完整内容
0
37

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】南洋理工大学 Xavier Bresson 博士在ICLR2020上做了关于图神经网络与图像处理,微分方程的报告 ,目标是利用图像处理中的非线性DEs来定义一个图神经网络架构。

成为VIP会员查看完整内容
0
20

【导读】Yann Lecun在纽约大学开设的2020春季《深度学习》课程,干货满满。最新的一期是来自新加坡南洋理工大学的Xavier Bresson教授的图卷积神经网络课程,共76页PPT,非常硬核干货,讲述了GCN近年来的研究进展,包括经典卷积网络、谱图卷积网、 空间域图卷积网、GCN基准等。

图卷积网络

目录:

  • 第一部分传统卷积网
    • 架构
    • 图域
    • 卷积
  • 谱域图卷积网
  • 谱卷积
  • 谱GCN
  • 空间域图卷积网
    • 模板匹配
    • 各向同性 GCNs
    • 各向异性 GCNs
    • GatedGCNs
  • 图神经网络基准
  • 结论

成为VIP会员查看完整内容
0
86

芬兰阿尔托大学CSE4890深度学习课程第7讲:图神经网络,由Alexander Ilin主讲,全面详细地介绍了GNN的背景动机、GCN、循环关系网络、通用网络。

成为VIP会员查看完整内容
0
77

【导读】国际万维网大会(The Web Conference,简称WWW会议)是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。这周会议已经虚拟召开。图深度学习研讨会(DL4G)展示结构化数据的嵌入和表示学习以及图深度学习的最新进展。来自DeepMind的研究科学家Petar Veličković给了关于《图表示学习算法推理》的报告,共46页ppt,详述了神经图算法推理的前沿研究进展,涵盖GNN基准、泛化、多任务学习和算法发现。

图表示学习算法推理是个新的和令人兴奋的方向,寻求理解和使用GNNs的表达能力建模经典算法。其潜在的影响是巨大的: 为元学习和搜索等任务提供可扩展的解决方案,帮助理论计算机科学中的新发现,以及严格地对GNNs进行基准测试。

Petar Veličković 是DeepMind研究科学家。他拥有剑桥大学博士学位。他目前的研究兴趣广泛地涉及设计操作复杂结构数据(如图)的神经网络架构,以及它们在算法推理和计算生物学中的应用。他在机器学习领域(ICLR、NeurIPS-W、ICML-W)和生物医学领域和期刊(生物信息学、PLOS One、JCB、PervasiveHealth)发表了他的研究成果。特别是,他是Graph Attention Networks(一种流行的图卷积层)和Deep Graph Infomax(一种用于图形的可伸缩的本地/全局无监督学习管道)的第一作者。他的研究已经在ZDNet等媒体上发表。此外,他还在ICLR 2019年和NeurIPS 2019年联合组织了关于图形表示学习的研讨会。

https://petar-v.com/

成为VIP会员查看完整内容
0
51

【导读】图神经网络依然是当下的研究热点。来自新加坡南洋理工大学Xavier Bresson和Bengio联合发布了一篇论文《Benchmarking Graph Neural Networks》,如何构建强大的GNN成为了核心问题。什么类型的架构、第一原则或机制是通用的、可推广的、可伸缩的,可以用于大型图数据集和大型图数据集? 另一个重要的问题是如何研究和量化理论发展对GNNs的影响?基准测试为回答这些基本问题提供了一个强有力的范例。作者发现,准确地说,图卷积、各向异性扩散、剩余连接和归一化层是开发健壮的、可伸缩的GNN的通用构件

图神经网络(GNNs)已经成为分析和学习图数据的标准工具。它们已经成功地应用于无数的领域,包括化学、物理、社会科学、知识图谱、推荐和神经科学。随着这个领域的发展,识别架构和关键机制变得至关重要,这些架构和关键机制可以泛化图的大小,使我们能够处理更大、更复杂的数据集和域。不幸的是,在缺乏具有一致的实验设置和大型数据集的标准基准的情况下,评估新GNN的有效性和比较模型变得越来越困难。在这篇论文中,我们提出了一个可复制的GNN基准测试框架,为研究人员方便地添加新的数据集和模型提供了便利。我们将该基准测试框架应用于数学建模、计算机视觉、化学和组合问题等新型中型图数据集,以建立设计有效GNNs时的关键操作。准确地说,图卷积、各向异性扩散、剩余连接和归一化层是开发健壮的、可伸缩的GNN的通用构件。

自(Scarselli et al., 2009; Bruna et al., 2013; Defferrard et al., 2016; Sukhbaatar et al., 2016; Kipf & Welling, 2017; Hamilton et al., 2017)图神经网络(GNNs)近年来引起了人们极大的兴趣,开发出了很有前途的方法。随着这个领域的发展,如何构建强大的GNN成为了核心问题。什么类型的架构、第一原则或机制是通用的、可推广的、可伸缩的,可以用于大型图数据集和大型图数据集? 另一个重要的问题是如何研究和量化理论发展对GNNs的影响?基准测试为回答这些基本问题提供了一个强有力的范例。它已被证明是有益的,在几个领域的科学推动进步,确定基本的想法,并解决领域特定的问题(Weber et al., 2019)。最近,著名的2012年ImageNet (Deng et al.,2009)挑战提供了触发深度学习革命的基准数据集(Krizhevsky et al., 2012; Malik, 2017)。国际团队竞相在大型数据集上生成最佳的图像分类预测模型。自从在ImageNet上取得突破性成果以来,计算机视觉社区已经开辟了一条道路,以识别健壮的体系结构和训练深度神经网络的技术(Zeiler & Fergus, 2014; Girshick et al., 2014; Long et al., 2015; He et al., 2016)。

但是,设计成功的基准测试是非常具有挑战性的:它需要定义适当的数据集、健壮的编码接口和用于公平比较的公共实验设置,所有这些都是可重复的。这样的需求面临几个问题。首先,如何定义合适的数据集?它可能很难收集有代表性的,现实的和大规模的数据集。这是GNNs最重要的问题之一。大多数发表的论文都集中在非常小的数据集,如CORA和TU数据集(Kipf & Welling, 2017; Ying et al., 2018; Velickovi ˇ c et al. ´ , 2018; Xinyi & Chen, 2019; Xu et al., 2019; Lee et al., 2019),其中所有的gnn执行几乎相同的统计。有些与直觉相反的是,没有考虑图结构的基线表现得和GNNs一样好,有时甚至更好(Errica et al., 2019)。这就提出了开发新的、更复杂的GNN架构的必要性问题,甚至提出了使用GNNs的必要性问题(Chen et al., 2019)。例如,在Hoang & Maehara(2019)和Chen等人(2019)的近期著作中,作者分析了GNNs的容量和组成,以揭示模型在小数据集上的局限性。他们声称这些数据集不适合设计复杂的结构归纳学习架构。

GNN文献中的另一个主要问题是定义常见的实验设置。正如Errica等人(2019)所指出的,最近关于TU数据集的论文在训练、验证和测试分割以及评估协议方面没有达成共识,这使得比较新思想和架构的性能变得不公平。目前还不清楚如何执行良好的数据分割,除了随机分割之外,后者已知会提供过于乐观的预测(Lohr, 2009)。此外,不同的超参数、损失函数和学习速率时间表使得很难识别架构中的新进展。

本文的贡献如下:

  • 我们发布了一个基于PyTorch (Paszke et al., 2019)和DGL (Wang et al., 2019)库的基于GitHub的GNNs开放基准基础架构。我们专注于新用户的易用性,使新数据集和GNN模型的基准测试变得容易。

  • 我们的目标是超越流行的小型CORA和TU数据集,引入中等规模的数据集,其中包含12k-70k图,节点大小为9-500个。提出的数据集包括数学建模(随机块模型)、计算机视觉(超级像素)、组合优化(旅行商问题)和化学(分子溶解度)。

  • 我们通过建议的基准测试基础设施来确定重要的GNN构建块。图卷积、非istropic扩散、残差连接和归一化层对设计高效的GNN非常有用。

  • 我们的目标不是对已发布的GNN进行排名。为特定的任务寻找最佳模型在计算上是昂贵的(并且超出了我们的资源),因为它需要使用交叉验证对超参数值进行彻底的搜索。相反,我们为所有模型确定了一个参数预算,并分析性能趋势,以确定重要的GNN机制。

  • 数值结果完全可重复。通过运行脚本,我们可以简单地重现报告的结果。此外,基准基础设施的安装和执行在GitHub存储库中有详细的说明。

成为VIP会员查看完整内容
0
41

简介: 机器学习在处理结构化数据集(例如表格数据)方面历来是成功的。 随着最近的进步,特别是在深度学习方面的进步,现在还存在用于处理图像,文本和语音数据的完善且强大的方法。 但是,许多现实世界的数据并不属于这些类别。 这种数据重要的一种是网络或图形数据,可用于对诸如社交网络,交易流,计算机网络甚至分子相互作用之类的概念进行建模。 使用图,我们可以轻松地表示和捕获对象之间的复杂交互和依赖关系,但同时也提出了一个问题:我们如何将机器学习应用于结构化数据图?

嘉宾介绍: Xavier Bresson,NTU计算机科学副教授。 他是图深度学习领域的领先研究人员,图深度学习是一个新的框架,该框架结合了图和深度学习技术,可以处理多个领域的复杂数据。 演讲的目的是介绍基于图的卷积神经网络体系结构,以及此类问题的应用。

大纲:

  • Motivation
  • Graph Deep Learning
  • Applications
  • DGL
  • Tutorials
  • Trainings
成为VIP会员查看完整内容
0
71

课程介绍: 最近,图神经网络 (GNN) 在各个领域越来越受到欢迎,包括社交网络、知识图谱、推荐系统,甚至生命科学。GNN 在对图形中节点间的依赖关系进行建模方面能力强大,使得图分析相关的研究领域取得了突破性进展。本次课程对比传统的卷积神经网络以及图谱图卷积与空间图卷积,从理论知识入手,并结合相关论文进行详细讲解。

主讲人: Xavier Bresson,人工智能/深度学习方面的顶级研究员,培训师和顾问。在“图深度学习”上的NeurIPS'17和CVPR'17(2019年顶级人工智能会议排名)上的演讲者,在剑桥,加州大学洛杉矶分校,布朗,清华,庞加莱,海德堡等地进行了30多次国际演讲。

课程大纲:

  • 传统卷积神经网络
  • 谱图图卷积
  • 空间图卷积
  • 总结
成为VIP会员查看完整内容
0
163
小贴士
相关论文
Heterogeneous Graph Transformer
Ziniu Hu,Yuxiao Dong,Kuansan Wang,Yizhou Sun
9+阅读 · 3月3日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
55+阅读 · 2019年12月19日
Heterogeneous Deep Graph Infomax
Yuxiang Ren,Bo Liu,Chao Huang,Peng Dai,Liefeng Bo,Jiawei Zhang
6+阅读 · 2019年11月19日
Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network
Deming Ye,Yankai Lin,Zhenghao Liu,Zhiyuan Liu,Maosong Sun
13+阅读 · 2019年11月6日
Omni-directional Feature Learning for Person Re-identification
Di Wu,Hong-Wei Yang,De-Shuang Huang
3+阅读 · 2018年12月13日
Ruo-Pei Guo,Chun-Guang Li,Yonghua Li,Jiaru Lin
4+阅读 · 2018年5月20日
Bhuwan Dhingra,Danish Pruthi,Dheeraj Rajagopal
4+阅读 · 2018年4月2日
Ju Dai,Pingping Zhang,Huchuan Lu,Hongyu Wang
5+阅读 · 2018年2月22日
Srikrishna Karanam,Mengran Gou,Ziyan Wu,Angels Rates-Borras,Octavia Camps,Richard J. Radke
5+阅读 · 2018年2月14日
Matthias Plappert,Rein Houthooft,Prafulla Dhariwal,Szymon Sidor,Richard Y. Chen,Xi Chen,Tamim Asfour,Pieter Abbeel,Marcin Andrychowicz
3+阅读 · 2018年1月31日
Top