从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录:

  • 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 图神经网络介绍
  • 09:00 am – 09:40 am: Robustness of Graph Neural Networks 图神经网络鲁棒性
  • 09:40 am – 10:00 am: Break
  • 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 图神经网络自监督学习
  • 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 图神经网络可扩展学习
  • 11:20 am – 00:15 pm: Graph Structure Learning & NLP 图结构学习
成为VIP会员查看完整内容
0
38

相关内容

图神经网络(GNNs)是针对图信号的信息处理体系结构。它们已经被开发出来,并在本课程中作为卷积神经网络(CNNs)的推广来介绍,它被用来在时间和空间上处理信号。这句话听起来可能有些奇怪,这取决于你对神经网络(NNs)和深度学习的了解程度。CNN不就是NN的特例吗?GNN不也是这样吗?从严格意义上说,它们是存在的,但我们这门课的重点是涉及高维信号的大规模问题。在这些设置中,神经网络无法伸缩。CNN为信号在时间和空间上提供可扩展的学习。GNNS支持图信号的可扩展学习。

在本课程中,我们将在学习单特征和多特征GNN之前,介绍图卷积滤波器和图滤波器组。我们还将介绍相关的架构,如经常性的GNN。特别的重点将放在研究GNN的排列的等方差和图变形的稳定性。这些特性提供了一个解释的措施,可以观察到的良好性能的GNNs经验。我们还将在大量节点的极限范围内研究GNN,以解释不同节点数量的网络间GNN的可迁移性。

https://gnn.seas.upenn.edu/

Lecture 1: Machine Learning on Graphs 图机器学习

图神经网络(GNNs)是一种具有广泛适用性和非常有趣的特性的工具。可以用它们做很多事情,也有很多东西需要学习。在第一节课中,我们将回顾本课程的目标并解释为什么我们应该关注GNN。我们还提供了未来的预览。我们讨论了在可扩展学习中利用结构的重要性,以及卷积是如何在欧几里得空间中实现这一点的。我们进一步解释如何将卷积推广到图,以及随后将卷积神经网络推广到图(卷积)神经网络。

1.1 – Graph Neural Networks 图神经网络

在这门课程中,我希望我们能够共同完成两个目标。您将学习如何在实际应用程序中使用GNNs。也就是说,您将开发使用图神经网络在图上表述机器学习问题的能力。你将学会训练他们。你将学会评估它们。但你也会学到,你不能盲目地使用它们。你将学习到解释他们良好的实证表现的基本原理。这些知识将允许您确定GNN适用或不适用的情况。

1.2 Machine Learning on Graphs: The Why 图机器学习

我们关心GNN是因为它们使机器能够在图上学习。但我们为什么要关注图机器学习呢?我们在这里详述图机器学习的原因。它为什么有趣?我们为什么要关心这个?我们关心的原因很简单:因为图表在信息处理中无处不在。

1.3 – Machine Learning on Graphs: The How

在讨论了原因之后,我们来处理如何做。我们如何在图上进行机器学习?这个问题的答案很简单:我们应该使用神经网络。我们应该这样做,因为我们有丰富的经验和理论证据证明神经网络的价值。理解这些证据是本课程的目标之一。但在我们准备这么做之前,有一个潜在的阻碍因素:神经网络必须利用结构来实现可扩展。

成为VIP会员查看完整内容
0
25

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录: 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 图神经网络简介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表达性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs训练 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可扩展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(无)监督学习 04:15 pm – 04:35 pm: GNN in Social Networks 社交网络GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs图像处理与未来方向 04:55 pm – 05:00 pm: Q&A

成为VIP会员查看完整内容
0
63

图神经网络教程 Graph Convolutional Networks Graph Sampling Methods Application and PyTorch Implementation

成为VIP会员查看完整内容
0
46

近年来, 随着海量数据的涌现, 可以表示对象之间复杂关系的图结构数据越来越受到重视并给已有的算法带来了极大的挑战. 图神经网络作为可以揭示深层拓扑信息的模型, 已开始广泛应用于诸多领域,如通信、生命科学和经济金融等. 本文对近几年来提出的图神经网络模型和应用进行综述, 主要分为以下几类:基于空间方法的图神经网络模型、基于谱方法的图神经网络模型和基于生成方法的图神经网络模型等,并提出可供未来进一步研究的问题.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

图是对对象及其相互关系的一种简洁抽象的直观数学表达. 具有相互关系的数据—图结构数据在众多领域普遍存在, 并得到广泛应用. 随着大量数据的涌现, 传统的图算法在解决一些深层次的重要问题, 如节点分类和链路预测等方面有很大的局限性. 图神经网络模型考虑了输入数据的规模、异质性和深层拓扑信息等, 在挖掘深层次有效拓扑信息、 提取数据的关键复杂特征和 实现对海量数据的快速处理等方面, 例如, 预测化学分子的特性 [1]、文本的关系提取 [2,3]、图形图像的结构推理 [4,5]、社交网络的链路预测和节点聚类 [6]、缺失信息的网络补全 [7]和药物的相互作用预测 [8], 显示了令人信服的可靠性能.

图神经网络的概念最早于 2005 年由 Gori 等 [9]提出, 他借鉴神经网络领域的研究成果, 设计了一种用于处理图结构数据的模型. 2009 年, Scarselli 等 [10]对此模型进行了详细阐述. 此后, 陆续有关于图神经网络的新模型及应用研究被提出. 近年来, 随着对图结构数据研究兴趣的不断增加, 图神经网络研究论文数量呈现出快速上涨的趋势, 图神经网络的研究方向和应用领域都得到了很大的拓展.

目前已有一些文献对图神经网络进行了综述. 文献 [11]对图结构数据和流形数据领域的深度学习方法进行了综述, 侧重于将所述各种方法置于一个称为几何深度学习的统一框架之内; 文献[12]将图神经网络方法分为三类: 半监督学习、无监督学习和最新进展, 并根据发展历史对各种方法进行介绍、分析和对比; 文献[13]介绍了图神经网络原始模型、变体和一般框架, 并将图神经网络的应用划分为结构场景、非结构场景和其他场景; 文献[14]提出了一种新的图神经网络分类方法, 重点介绍了图卷积网络, 并总结了图神经网络方法在不同学习任务中的开源代码和基准.

本文将对图神经网络模型的理论及应用进行综述, 并讨论未来的方向和挑战性问题. 与其他综述文献的不同之处在于, 我们给出新的分类标准, 并且介绍图神经网络丰富的应用成果. 本文具体结构如下: 首先介绍三类主要的图神经网络模型, 分别是基于空间方法的图神经网络、基于谱方法的图神经网络和基于生成方法的图神经网络等; 然后介绍模型在节点分类、链路预测和图生成等方面的应用; 最后提出未来的研究方向.

成为VIP会员查看完整内容
图神经网络.pdf
0
73

芬兰阿尔托大学CSE4890深度学习课程第7讲:图神经网络,由Alexander Ilin主讲,全面详细地介绍了GNN的背景动机、GCN、循环关系网络、通用网络。

成为VIP会员查看完整内容
0
96

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。由于疫情影响,这次会议在线上举行,本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。小编推荐一份图深度学习-图神经网络教程,预览版可以查看。

从图数据和关系数据中学习在许多应用中起着重要的作用,包括社交网络分析、市场营销、电子商务、信息检索、知识建模、医学和生物科学、工程等。在过去的几年里,图神经网络(GNNs)已经成为一种很有前途的新型监督学习框架,能够将深度表示学习的能力引入到图和关系数据中。越来越多的研究表明,GNNs在链路预测、欺诈检测、目标配体结合活性预测、知识图谱补全和产品推荐等方面的性能达到了最新水平。

本教程的目标有两个。首先,它将概述GNN背后的理论,讨论GNN非常适合的问题类型,并介绍一些最广泛使用的GNN模型体系结构和设计用来解决的问题/应用程序。其次,它将引入深度图库(Deep Graph Library, DGL),这是一种新的软件框架,简化了高效的基于GNN的训练和推理程序的开发。为了使事情更具体,本教程将提供使用DGL的实践会话。这个实践部分将涵盖基本的图形应用程序(例如,节点分类和链接预测),以及更高级的主题,包括在大型图和分布式设置中训练GNN。此外,它还将提供使用GNNs和DGL进行实际应用(如推荐和欺诈检测)的实践教程。

  • 第1节:图神经网络概述。本节描述了图神经网络是如何运作的,它们的基本理论,以及它们相对于其他图学习方法的优势。此外,它还描述了图形上的各种学习问题,并展示了如何使用GNNs来解决这些问题。

  • 第2节:深度图库(DGL)概述。本节描述DGL提供的不同的抽象和api,这些抽象和api旨在简化GNN模型的实现,并解释DGL如何与MXNet、Pytorch和TensorFlow进行接口。然后介绍DGL的消息传递API,该API可用于开发任意复杂的GNNs和它提供的预定义GNN nn模块。

  • 第3节:基本图任务的GNN模型。本节演示如何使用GNNs解决四个关键的图数据学习任务:节点分类、链接预测、图数据分类和网络嵌入前训练。它将展示如何使用DGL的nn模块实现一个流行的GNN模型GraphSage,并展示如何在不同类型的下游任务中使用由GraphSage计算出的节点嵌入。此外,本文还将演示使用DGL的消息传递接口实现定制的GNN模型。

  • 第4节:大型图的GNN训练。本节使用第3节中描述的一些模型来演示DGL中的微型批处理训练、多GPU训练和分布式训练。它首先描述了mini-batch训练的概念如何应用于GNN,以及如何通过使用各种抽样技术来加速mini-batch计算。接下来将举例说明一种称为邻接抽样的抽样技术,如何使用木星笔记本在DGL中实现。然后将该笔记本扩展为多GPU训练和分布式训练。

  • 第5节:实际应用的GNN模型。本节使用前面几节中描述的技术,展示如何使用GNNs开发用于推荐和欺诈检测的可伸缩解决方案。在推荐方面,本文提出了一种基于最近邻的项目推荐方法,该方法通过采用端到端的学习方法,利用GNN模型学习项目嵌入。对于欺诈检测,它扩展了上一节中的节点分类模型,以处理异构图,并解决了标记样本很少的情况。

成为VIP会员查看完整内容
0
104

【导读】新加坡国立大学的Xiang Wang、Tat-Seng Chua,以及来自中国科学技术大学的Xiangnan He在WSDM 2020会议上通过教程《Learning and Reasoning on Graph for Recommendation》介绍了基于图学习和推理的推荐系统,涵盖了基于随机游走的推荐系统、基于网络嵌入的推荐系统,基于图神经网络的推荐系统等内容。

Tutorial摘要:

推荐方法构建预测模型来估计用户-项目交互的可能性。之前的模型在很大程度上遵循了一种通用的监督学习范式——将每个交互视为一个单独的数据实例,并基于“信息孤岛”进行预测。但是,这些方法忽略了数据实例之间的关系,这可能导致性能不佳,特别是在稀疏场景中。此外,建立在单独数据实例上的模型很难展示推荐背后的原因,这使得推荐过程难以理解。

在本教程中,我们将从图学习的角度重新讨论推荐问题。用于推荐的公共数据源可以组织成图,例如用户-项目交互(二部图)、社交网络、项目知识图(异构图)等。这种基于图的组织将孤立的数据实例连接起来,为开发高阶连接带来了好处,这些连接为协作过滤、基于内容的过滤、社会影响建模和知识感知推理编码有意义的模式。随着最近图形神经网络(GNNs)的成功,基于图形的模型显示了成为下一代推荐系统技术的潜力。本教程对基于图的推荐学习方法进行了回顾,重点介绍了GNNs的最新发展和先进的推荐知识。通过在教程中介绍这一新兴而有前景的领域,我们希望观众能够对空间有更深刻的理解和准确的洞察,激发更多的想法和讨论,促进技术的发展。

Tutorial大纲:

成为VIP会员查看完整内容
0
90

来自密歇根州立大学的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu与 Tengfei Ma在AAAI2020做了关于图神经网络的Tutorial报告,总共305页ppt,涵盖使用GNNs对图结构数据的表示学习、GNNs的健壮性、GNNs的可伸缩性以及基于GNNs的应用,非常值得学习。

摘要

图结构数据如社交网络和分子图在现实世界中无处不在。设计先进的图数据表示学习算法以方便后续任务的实现,具有重要的研究意义。图神经网络(GNNs)将深度神经网络模型推广到图结构数据,为从节点层或图层有效学习图结构数据的表示开辟了新的途径。由于其强大的表示学习能力,GNNs在从推荐、自然语言处理到医疗保健的各种应用中都具有实际意义。它已经成为一个热门的研究课题,近年来越来越受到机器学习和数据挖掘界的关注。这篇关于GNNs的教程对于AAAI 2020来说是非常及时的,涵盖了相关的和有趣的主题,包括使用GNNs对图结构数据的表示学习、GNNs的健壮性、GNNs的可伸缩性以及基于GNNs的应用。

目录

  1. 引言 Introduction
  • 图与图结构数据 Graphs and Graph Structured Data
  • 图结构数据任务 Tasks on Graph Structured Data
  • 图神经网络 Graph neural networks
  1. 基础理论Foundations
  • Basic Graph Theory
  • Graph Fourier Transform
  1. 模型 Models
  • Spectral-based GNN layers
  • Spatial-based GNN layers
  • Pooling Schemes for Graph-level Representation Learning
  • Graph Neural Networks Based Encoder-Decoder models
  • Scalable Learning for Graph Neural Networks
  • Attacks and Robustness of Graph Neural Networks
  1. 应用 Applications
  • Natural Language Processing
  • Recommendation
  • Healthcare

百度网盘直接下载: 链接: https://pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取码: xrkz

讲者介绍

Yao Ma是密歇根州立大学计算机科学与工程专业的博士生。他还在数据科学与工程实验室(DSE实验室)担任研究助理,该实验室由Tang Jiliang博士领导。他的研究兴趣包括网络嵌入和图神经网络在图结构数据上的表示学习。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等顶级会议上发表创新工作。在加入密歇根州立大学之前,他在Eindhoven理工大学获得硕士学位,在浙江大学获得学士学位。

http://cse.msu.edu/~mayao4/

Wei Jin是密歇根州立大学计算机科学与工程专业的一年级博士生,导师是Tang Jiliang博士。他的兴趣在于图表示学习。现从事图神经网络的理论基础、模型鲁棒性和应用研究。

https://chandlerbang.github.io/

Jiliang Tang 自2016年秋季以来一直是密歇根州立大学计算机科学与工程系的助理教授。在此之前,他是雅虎研究院的一名研究科学家,2015年在亚利桑那州立大学获得博士学位。他的研究兴趣包括社会计算、数据挖掘和机器学习,以及它们在教育中的应用。他是2019年NSF Career奖、2015年KDD最佳论文亚军和6个最佳论文奖(或亚军)的获得者,包括WSDM2018和KDD2016。他担任会议组织者(如KDD、WSDM和SDM)和期刊编辑(如TKDD)。他在高排名的期刊和顶级会议上发表多项研究成果,获得了成千上万的引用和广泛的媒体报道。

Lingfei Wu是IBM AI foundation Labs的研究人员,IBM T. J. Watson研究中心的推理小组。

https://sites.google.com/a/email.wm.edu/teddy-lfwu/

Tengfei Ma现任美国纽约IBM沃森研究中心研究员。

https://sites.google.com/site/matf0123/home

成为VIP会员查看完整内容
0
247
小贴士
相关主题
相关VIP内容
相关论文
A Collective Learning Framework to Boost GNN Expressiveness
Mengyue Hang,Jennifer Neville,Bruno Ribeiro
13+阅读 · 3月26日
Ning Ma,Jiajun Bu,Jieyu Yang,Zhen Zhang,Chengwei Yao,Zhi Yu
14+阅读 · 3月18日
Heterogeneous Deep Graph Infomax
Yuxiang Ren,Bo Liu,Chao Huang,Peng Dai,Liefeng Bo,Jiawei Zhang
7+阅读 · 2019年11月19日
Fengwen Chen,Shirui Pan,Jing Jiang,Huan Huo,Guodong Long
10+阅读 · 2019年4月4日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
6+阅读 · 2019年2月19日
dynnode2vec: Scalable Dynamic Network Embedding
Sedigheh Mahdavi,Shima Khoshraftar,Aijun An
6+阅读 · 2018年12月6日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
9+阅读 · 2018年10月24日
Rex Ying,Ruining He,Kaifeng Chen,Pong Eksombatchai,William L. Hamilton,Jure Leskovec
8+阅读 · 2018年6月6日
Ruoyu Li,Sheng Wang,Feiyun Zhu,Junzhou Huang
4+阅读 · 2018年1月10日
Alessandro Bay,Biswa Sengupta
7+阅读 · 2018年1月5日
Top