社交网络和分子图等结构化的图形数据在现实世界中随处可见。设计先进的图结构数据表示学习算法,促进下游任务的完成,具有重要的研究意义。图神经网络(GNNs)将深度神经网络模型推广到图结构数据,为从节点级或图级有效学习图结构数据表示开辟了一条新途径。由于其强大的表示学习能力,GNN在从推荐、自然语言处理到医疗保健等各种应用中获得了实际意义。近年来,它已成为一个热门的研究课题,越来越受到机器学习和数据挖掘界的关注。本教程涵盖了相关和有趣的主题,包括使用GNNs在图结构数据上的表示学习、GNNs的鲁棒性、GNNs的可扩展性和基于GNNs的应用程序。

目录内容: 引言 Introduction 基础 Foundations 模型 Models 应用 Applications

http://cse.msu.edu/~mayao4/tutorials/aaai2021/

成为VIP会员查看完整内容
0
51

相关内容

元学习可以让机器学习新的算法。这是一个新兴且快速发展的机器学习研究领域,对所有人工智能研究都有影响。最近的成功案例包括自动模型发现、少枪学习、多任务学习、元强化学习,以及教机器阅读、学习和推理。正如人类不会从头开始学习新任务,而是利用之前所学的知识一样,元学习是高效和稳健学习的关键。本教程将介绍该领域及其应用的重要数学基础,包括这个领域中当前技术水平的关键方法,该领域对众多AAAI参与者来说越来越重要。

https://sites.google.com/mit.edu/aaai2021metalearningtutorial

内容目录:

  • 元学习导论
  • 多任务学习
  • 元学习
  • 自动机器学习
  • 应用
成为VIP会员查看完整内容
0
33

图神经网络(GNN)已经成为图表示学习的事实标准,它通过递归地聚集图邻域的信息来获得有效的节点表示。尽管 GNN 可以从头开始训练,但近来一些研究表明:对 GNN 进行预训练以学习可用于下游任务的可迁移知识能够提升 SOTA 性能。但是,传统的 GNN 预训练方法遵循以下两个步骤:

在大量未标注数据上进行预训练; 在下游标注数据上进行模型微调。 由于这两个步骤的优化目标不同,因此二者存在很大的差距。

在本文中,我们分析了预训练和微调之间的差异,并为了缓解这种分歧,我们提出了一种用于GNNs的自监督预训练策略L2P-GNN。方法的关键是L2P-GNN试图以可转移的先验知识的形式学习如何在预训练过程中进行微调。为了将局部信息和全局信息都编码到先验信息中,我们在节点级和图级设计了一种双重自适应机制。最后,我们对不同GNN模型的预训练进行了系统的实证研究,使用了一个蛋白质数据集和一个文献引用数据集进行了预训练。实验结果表明,L2P-GNN能够学习有效且可转移的先验知识,为后续任务提供好的表示信息。我们在https://github.com/rootlu/L2P-GNN公开了模型代码,同时开源了一个大规模图数据集,可用于GNN预训练或图分类等。

总体来说,本文的贡献如下:

  • 首次探索学习预训练 GNNs,缓解了预训练与微调目标之间的差异,并为预训练 GNN 提供了新的研究思路。
  • 针对节点与图级表示,该研究提出完全自监督的 GNN 预训练策略。
  • 针对预训练 GNN,该研究建立了一个新型大规模书目图数据,并且在两个不同领域的数据集上进行了大量实验。实验表明,该研究提出的方法显著优于 SOTA 方法。

成为VIP会员查看完整内容
0
27

https://www.aminer.cn/grla_ecmlpkdd2020

图表示学习为挖掘和学习网络数据提供了一个革命性的范例。在本教程中,我们将系统地介绍网络上的表示学习。我们将以阿里巴巴、AMiner、Microsoft Academic、微信和XueTangX的行业案例作为教程的开始,来解释网络分析和网络图挖掘如何从表示学习中受益。然后,我们将全面介绍图表示学习的历史和最新进展,如网络嵌入、图神经网络及其预训练策略。独特的是,本教程旨在向读者提供图形表示学习的基本理论,以及我们在将这方面的研究转化为工业应用中的实际应用方面的经验。最后,我们将为开放和可重现的图表示学习研究发布公共数据集和基准。

成为VIP会员查看完整内容
0
57

图神经网络(GNNs)是针对图信号的信息处理体系结构。它们已经被开发出来,并在本课程中作为卷积神经网络(CNNs)的推广来介绍,它被用来在时间和空间上处理信号。这句话听起来可能有些奇怪,这取决于你对神经网络(NNs)和深度学习的了解程度。CNN不就是NN的特例吗?GNN不也是这样吗?从严格意义上说,它们是存在的,但我们这门课的重点是涉及高维信号的大规模问题。在这些设置中,神经网络无法伸缩。CNN为信号在时间和空间上提供可扩展的学习。GNNS支持图信号的可扩展学习。

在本课程中,我们将在学习单特征和多特征GNN之前,介绍图卷积滤波器和图滤波器组。我们还将介绍相关的架构,如经常性的GNN。特别的重点将放在研究GNN的排列的等方差和图变形的稳定性。这些特性提供了一个解释的措施,可以观察到的良好性能的GNNs经验。我们还将在大量节点的极限范围内研究GNN,以解释不同节点数量的网络间GNN的可迁移性。

https://gnn.seas.upenn.edu/

Lecture 1: Machine Learning on Graphs 图机器学习

图神经网络(GNNs)是一种具有广泛适用性和非常有趣的特性的工具。可以用它们做很多事情,也有很多东西需要学习。在第一节课中,我们将回顾本课程的目标并解释为什么我们应该关注GNN。我们还提供了未来的预览。我们讨论了在可扩展学习中利用结构的重要性,以及卷积是如何在欧几里得空间中实现这一点的。我们进一步解释如何将卷积推广到图,以及随后将卷积神经网络推广到图(卷积)神经网络。

1.1 – Graph Neural Networks 图神经网络

在这门课程中,我希望我们能够共同完成两个目标。您将学习如何在实际应用程序中使用GNNs。也就是说,您将开发使用图神经网络在图上表述机器学习问题的能力。你将学会训练他们。你将学会评估它们。但你也会学到,你不能盲目地使用它们。你将学习到解释他们良好的实证表现的基本原理。这些知识将允许您确定GNN适用或不适用的情况。

1.2 Machine Learning on Graphs: The Why 图机器学习

我们关心GNN是因为它们使机器能够在图上学习。但我们为什么要关注图机器学习呢?我们在这里详述图机器学习的原因。它为什么有趣?我们为什么要关心这个?我们关心的原因很简单:因为图表在信息处理中无处不在。

1.3 – Machine Learning on Graphs: The How

在讨论了原因之后,我们来处理如何做。我们如何在图上进行机器学习?这个问题的答案很简单:我们应该使用神经网络。我们应该这样做,因为我们有丰富的经验和理论证据证明神经网络的价值。理解这些证据是本课程的目标之一。但在我们准备这么做之前,有一个潜在的阻碍因素:神经网络必须利用结构来实现可扩展。

成为VIP会员查看完整内容
0
49

可解释的机器学习模型和算法是越来越受到研究、应用和管理人员关注的重要课题。许多先进的深度神经网络(DNNs)经常被认为是黑盒。研究人员希望能够解释DNN已经学到的东西,以便识别偏差和失败模型,并改进模型。在本教程中,我们将全面介绍分析深度神经网络的方法,并深入了解这些XAI方法如何帮助我们理解时间序列数据。

http://xai.kaist.ac.kr/Tutorial/2020/

成为VIP会员查看完整内容
0
115

近年来, 随着海量数据的涌现, 可以表示对象之间复杂关系的图结构数据越来越受到重视并给已有的算法带来了极大的挑战. 图神经网络作为可以揭示深层拓扑信息的模型, 已开始广泛应用于诸多领域,如通信、生命科学和经济金融等. 本文对近几年来提出的图神经网络模型和应用进行综述, 主要分为以下几类:基于空间方法的图神经网络模型、基于谱方法的图神经网络模型和基于生成方法的图神经网络模型等,并提出可供未来进一步研究的问题.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

图是对对象及其相互关系的一种简洁抽象的直观数学表达. 具有相互关系的数据—图结构数据在众多领域普遍存在, 并得到广泛应用. 随着大量数据的涌现, 传统的图算法在解决一些深层次的重要问题, 如节点分类和链路预测等方面有很大的局限性. 图神经网络模型考虑了输入数据的规模、异质性和深层拓扑信息等, 在挖掘深层次有效拓扑信息、 提取数据的关键复杂特征和 实现对海量数据的快速处理等方面, 例如, 预测化学分子的特性 [1]、文本的关系提取 [2,3]、图形图像的结构推理 [4,5]、社交网络的链路预测和节点聚类 [6]、缺失信息的网络补全 [7]和药物的相互作用预测 [8], 显示了令人信服的可靠性能.

图神经网络的概念最早于 2005 年由 Gori 等 [9]提出, 他借鉴神经网络领域的研究成果, 设计了一种用于处理图结构数据的模型. 2009 年, Scarselli 等 [10]对此模型进行了详细阐述. 此后, 陆续有关于图神经网络的新模型及应用研究被提出. 近年来, 随着对图结构数据研究兴趣的不断增加, 图神经网络研究论文数量呈现出快速上涨的趋势, 图神经网络的研究方向和应用领域都得到了很大的拓展.

目前已有一些文献对图神经网络进行了综述. 文献 [11]对图结构数据和流形数据领域的深度学习方法进行了综述, 侧重于将所述各种方法置于一个称为几何深度学习的统一框架之内; 文献[12]将图神经网络方法分为三类: 半监督学习、无监督学习和最新进展, 并根据发展历史对各种方法进行介绍、分析和对比; 文献[13]介绍了图神经网络原始模型、变体和一般框架, 并将图神经网络的应用划分为结构场景、非结构场景和其他场景; 文献[14]提出了一种新的图神经网络分类方法, 重点介绍了图卷积网络, 并总结了图神经网络方法在不同学习任务中的开源代码和基准.

本文将对图神经网络模型的理论及应用进行综述, 并讨论未来的方向和挑战性问题. 与其他综述文献的不同之处在于, 我们给出新的分类标准, 并且介绍图神经网络丰富的应用成果. 本文具体结构如下: 首先介绍三类主要的图神经网络模型, 分别是基于空间方法的图神经网络、基于谱方法的图神经网络和基于生成方法的图神经网络等; 然后介绍模型在节点分类、链路预测和图生成等方面的应用; 最后提出未来的研究方向.

成为VIP会员查看完整内容
图神经网络.pdf
0
136

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。近年来,将传统的处理效果估计方法(如匹配估计器)和先进的表示学习方法(如深度神经网络)相结合的一个新兴的研究方向在广阔的人工智能领域引起了越来越多的关注。来自Georgia、Buffalo、阿里巴巴与Virginia的学者做了因果推理表示学习报告,在本教程中,介绍用于治疗效果估计的传统和最先进的表示学习算法。关于因果推论,反事实和匹配估计的背景也将被包括。我们还将展示这些方法在不同应用领域的应用前景。

摘要

因果推理在医疗保健、市场营销、医疗保健、政治科学和在线广告等许多领域都有大量的实际应用。治疗效果估计作为因果推理中的一个基本问题,在统计学上已被广泛研究了几十年。然而,传统的处理效果估计方法不能很好地处理大规模、高维的异构数据。近年来,将传统的处理效果估计方法(如匹配估计器)和先进的表示学习方法(如深度神经网络)相结合的一个新兴的研究方向在广阔的人工智能领域引起了越来越多的关注。在本教程中,我们将介绍用于治疗效果估计的传统和最先进的表示学习算法。关于因果推论,反事实和匹配估计的背景也将被包括。我们还将展示这些方法在不同应用领域的应用前景。

成为VIP会员查看完整内容
0
121

来自密歇根州立大学的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu与 Tengfei Ma在AAAI2020做了关于图神经网络的Tutorial报告,总共305页ppt,涵盖使用GNNs对图结构数据的表示学习、GNNs的健壮性、GNNs的可伸缩性以及基于GNNs的应用,非常值得学习。

摘要

图结构数据如社交网络和分子图在现实世界中无处不在。设计先进的图数据表示学习算法以方便后续任务的实现,具有重要的研究意义。图神经网络(GNNs)将深度神经网络模型推广到图结构数据,为从节点层或图层有效学习图结构数据的表示开辟了新的途径。由于其强大的表示学习能力,GNNs在从推荐、自然语言处理到医疗保健的各种应用中都具有实际意义。它已经成为一个热门的研究课题,近年来越来越受到机器学习和数据挖掘界的关注。这篇关于GNNs的教程对于AAAI 2020来说是非常及时的,涵盖了相关的和有趣的主题,包括使用GNNs对图结构数据的表示学习、GNNs的健壮性、GNNs的可伸缩性以及基于GNNs的应用。

目录

  1. 引言 Introduction
  • 图与图结构数据 Graphs and Graph Structured Data
  • 图结构数据任务 Tasks on Graph Structured Data
  • 图神经网络 Graph neural networks
  1. 基础理论Foundations
  • Basic Graph Theory
  • Graph Fourier Transform
  1. 模型 Models
  • Spectral-based GNN layers
  • Spatial-based GNN layers
  • Pooling Schemes for Graph-level Representation Learning
  • Graph Neural Networks Based Encoder-Decoder models
  • Scalable Learning for Graph Neural Networks
  • Attacks and Robustness of Graph Neural Networks
  1. 应用 Applications
  • Natural Language Processing
  • Recommendation
  • Healthcare

百度网盘直接下载: 链接: https://pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取码: xrkz

讲者介绍

Yao Ma是密歇根州立大学计算机科学与工程专业的博士生。他还在数据科学与工程实验室(DSE实验室)担任研究助理,该实验室由Tang Jiliang博士领导。他的研究兴趣包括网络嵌入和图神经网络在图结构数据上的表示学习。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等顶级会议上发表创新工作。在加入密歇根州立大学之前,他在Eindhoven理工大学获得硕士学位,在浙江大学获得学士学位。

http://cse.msu.edu/~mayao4/

Wei Jin是密歇根州立大学计算机科学与工程专业的一年级博士生,导师是Tang Jiliang博士。他的兴趣在于图表示学习。现从事图神经网络的理论基础、模型鲁棒性和应用研究。

https://chandlerbang.github.io/

Jiliang Tang 自2016年秋季以来一直是密歇根州立大学计算机科学与工程系的助理教授。在此之前,他是雅虎研究院的一名研究科学家,2015年在亚利桑那州立大学获得博士学位。他的研究兴趣包括社会计算、数据挖掘和机器学习,以及它们在教育中的应用。他是2019年NSF Career奖、2015年KDD最佳论文亚军和6个最佳论文奖(或亚军)的获得者,包括WSDM2018和KDD2016。他担任会议组织者(如KDD、WSDM和SDM)和期刊编辑(如TKDD)。他在高排名的期刊和顶级会议上发表多项研究成果,获得了成千上万的引用和广泛的媒体报道。

Lingfei Wu是IBM AI foundation Labs的研究人员,IBM T. J. Watson研究中心的推理小组。

https://sites.google.com/a/email.wm.edu/teddy-lfwu/

Tengfei Ma现任美国纽约IBM沃森研究中心研究员。

https://sites.google.com/site/matf0123/home

成为VIP会员查看完整内容
0
268
小贴士
相关主题
相关VIP内容
专知会员服务
27+阅读 · 1月28日
专知会员服务
57+阅读 · 2020年10月18日
专知会员服务
88+阅读 · 2020年8月30日
专知会员服务
40+阅读 · 2020年8月30日
专知会员服务
115+阅读 · 2020年8月26日
最新《图神经网络模型与应用》综述论文
专知会员服务
136+阅读 · 2020年8月2日
相关论文
Ru Huang,Ruipeng Li,Yuanzhe Xi
0+阅读 · 2月24日
Nam Nguyen,J. Morris Chang
0+阅读 · 2月21日
Yiwu Zhong,Liwei Wang,Jianshu Chen,Dong Yu,Yin Li
7+阅读 · 2020年7月23日
Diverse Video Captioning Through Latent Variable Expansion with Conditional GAN
Huanhou Xiao,Jinglun Shi
3+阅读 · 2020年3月5日
Hongwei Wang,Fuzheng Zhang,Mengdi Zhang,Jure Leskovec,Miao Zhao,Wenjie Li,Zhongyuan Wang
8+阅读 · 2019年6月13日
Zhihao Jia,Sina Lin,Rex Ying,Jiaxuan You,Jure Leskovec,Alex Aiken
3+阅读 · 2019年6月9日
Factor Graph Attention
Idan Schwartz,Seunghak Yu,Tamir Hazan,Alexander Schwing
5+阅读 · 2019年4月11日
Jing Yu,Yuhang Lu,Zengchang Qin,Yanbing Liu,Jianlong Tan,Li Guo,Weifeng Zhang
3+阅读 · 2018年2月13日
Jian Du,Shanghang Zhang,Guanhang Wu,Jose M. F. Moura,Soummya Kar
3+阅读 · 2018年2月11日
Top