【导读】来自斯坦福大学的尤佳轩博士在CS520上讲述《图神经网络导论》,包含图神经网络的动机、概念、应用等。值得关注。

尤佳轩,斯坦福大学CS在读四年级博士生,师从Jure Leskovec教授。本科就读于清华大学,自动化与经济学双学位,期间曾跟随朱军、Stefano Ermon、David Lobell等知名学者进行学术研究,在经济学、社会科学、智能交通、机器学习等领域均曾以第一作者发表文章,如经济学领域的"从法币到金圆券——试论货币信用的核心作用"、"我国新能源汽车产业环保现状分析——基于实地调研及定量计算方法"等,以及两篇顶会论文(ITSC 2016与AAAI 2017)。

他的主要研究内容为开发用于图/关系结构数据的机器学习算法。他认为,在关系数据中,理解和推理的能力对于下一代AI至关重要。具体来说,尤佳轩的研究包括以下方向:1)从图结构中学习;2)生成和优化图结构;3)使图结构作为深度学习的先验;4)图学习技术的大规模应用。博士期间,尤佳轩曾在Facebook与Pinterest实习,与何恺明、Saining Xie等人进行研究合作,并共同发文(ICML 2020)。目前,尤佳轩共发表学术论文17篇,其中顶会论文13篇,顶会一作11篇。

个人主页: https://cs.stanford.edu/people/jiaxuan/

图神经网络导论

在这一讲中,我们介绍了图神经网络(GNN)的流行领域。图神经网络在各种任务中表现出非凡的性能,并能处理图的复杂性质。我们将首先讨论GNN的动机和好处。然后,我们将介绍GNN的核心思想,即通过节点的局部邻域结构来进行节点间的消息传递计算。最后,我们将介绍GNN在节点、边、子图和图级任务中的应用。

成为VIP会员查看完整内容
0
30

相关内容

图机器学习讲述关于《图神经网络GNN高级主题》最新课程。

近年来,一些研究人员致力于把神经网络模型迁移到图数据这类非欧空间数据上,提出了图神经网络(GNN)模型,成功应用在半监督节点分类、图分类、推荐系统、交通预测、知识推理等任务中。本课程讲述了图神经网络的高级主题:

图神经网络局限性

位置感知图神经网络

身份感知图神经网络

图神经网络鲁棒性

成为VIP会员查看完整内容
0
38

斯坦福大学的最新课程CS224W——图机器学习,主讲人是斯坦福大牛Jure Leskovec,他是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。最新讲述了关于图神经网络模型总结,内容包括:

  • 深度学习基础 Basics of deep learning
  • 图深度学习 Deep learning for graphs
  • 图卷积网络 Graph Convolutional Networks and GraphSAGE

成为VIP会员查看完整内容
0
38

【导读】本文为大家带来了一份斯坦福大学的最新课程CS224W——图机器学习,主讲人是斯坦福大牛Jure Leskovec,他是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。

近年来,图神经网络(GNN)成为网络表示学习和分析的热点研究问题,其特点是将以神经网络为代表深度学习技术用于网络结构的建模与计算。图神经网络能够考虑网络中的节点、边及其附带的标签、属性和文本等信息,能够更好地利用网络结构进行精细建模和深度推理,已经被广泛用于自然语言处理、社会网络分析、推荐系统等领域。这个课程应该是近年来第一次全面总结图机器学习相关的课程,课程设置非常新颖也非常全面,包括近年来火热的图神经网络的局限和应用等等,课程全部的PPT 也已经放到网页上,希望做这方面研究的童鞋多多学习!

原始链接: http://web.stanford.edu/class/cs224w/

1 课程介绍

网络是建模复杂的社会、技术和生物系统的基本工具。结合在线社交网络的出现和生物科学中大规模数据的可用性,本课程着重分析大规模网络,这些大型网络提供了一些计算、算法和建模方面的挑战。通过研究学生潜在的网络结构和相互联系,向他们介绍机器学习技术和数据挖掘工具,这些工具有助于揭示社会、技术和自然世界的真知灼见。

复杂数据可以表示为对象之间的关系图。这种网络是模拟社会、技术和生物系统的基本工具。本课程着重于大量图的分析所特有的计算、算法和建模挑战。通过研究基础图结构及其特征,向学生介绍机器学习技术和数据挖掘工具,有助于揭示对各种网络的见解。

主题包括: 表示学习和图神经网络;万维网的算法;知识图推理;影响力最大化;疾病爆发检测,社会网络分析。

2 讲师介绍

Jurij Leskovec

主讲人是图网络领域的大牛Jure Leskovec,是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。在谷歌学术搜索(Google Scholar)上,Jure拥有接近4.5万的论文引用数量,H指数为84。

Leskovec的研究重点是对大型社会和信息网络进行分析和建模,以研究跨社会,技术和自然世界的现象。他专注于网络结构、网络演化、信息传播、影响和病毒在网络上的传播的统计建模。他所研究的问题是由大规模数据、网络和其他在线媒体引起的。他也致力于文本挖掘和机器学习的应用。

个人主页:https://cs.stanford.edu/~jure/

3 课程目录

  • 01:课程介绍和图机器学习(Introduction; Machine Learning for Graphs)
  • 02:传统图机器学习方法(Traditional Methods for ML on Graphs)
  • 03:链接分析:PageRank(Link Analysis: PageRank)
  • 04:节点嵌入(Node Embeddings)
  • 05:标签传播节点分类(Label Propagation for Node Classification)
  • 06:图神经网络模型(Graph Neural Networks 1: GNN Model)
  • 07:图神经网络:设计空间(Graph Neural Networks 2: Design Space)
  • 08:图神经网络应用(Applications of Graph Neural Networks)
  • 09:图神经网络理论(Theory of Graph Neural Networks)
  • 10:图神经网络嵌入(Knowledge Graph Embeddings)
  • 11:知识图谱推理(Reasoning over Knowledge Graphs)
  • 12:基于GNNs的频繁子图挖掘(Frequent Subgraph Mining with GNNs)
  • 13:网络社区结构(Community Structure in Networks)
  • 14:传统图生成式模型(Traditional Generative Models for Graphs)
  • 15:深度图生成式模型(Deep Generative Models for Graphs)
  • 16:GNNs可扩展(Scaling Up GNNs)
  • 17:动态图学习( Learning on Dynamic Graphs)
  • 18:计算生物学GNNs(GNNs for Computational Biology)
  • 19:GNNs科学应用(GNNs for Science)
  • 20:GNNs工业应用 (Industrial Applications of GNNs)

4 课程材料预览

Graph Representation Learning by William L. Hamilton Networks, Crowds, and Markets: Reasoning About a Highly Connected World by David Easley and Jon Kleinberg Network Science by Albert-László Barabási

成为VIP会员查看完整内容
0
118

【导读】图表示学习是当下研究的热点之一。HEC 蒙特利尔大学商学院助理教授唐建唐建博士最近总结了《图表示学习》研究进展,总结了他和组里学生们和这些年来在图表示学习方向上比较重要的工作。非常值得学习!

唐建博士自2017年12月起担任Mila(魁北克AI研究所)和HEC Montreal的助理教授。他是加拿大CIFAR第一批人工智能主席(CIFAR AI Research Chair)。他的研究方向是深度图表示学习,在知识图谱、药物发现和推荐系统等领域有着广泛的应用。他是密歇根大学和卡内基梅隆大学的研究员。他在北京大学获得博士学位,并在密歇根大学做了两年的访问学者。他在微软亚洲研究院做了两年的研究员。他在图表示学习(如LINE、LargeVis和RotatE)方面的工作得到了广泛的认可。他获得了ICML ' 14的最佳论文奖和WWW ' 16的最佳论文提名。

个人主页: https://jian-tang.com/

图表示学习:算法与应用

图在现实世界中是无处不在的,涵盖了从社交网络、推荐系统、知识图谱、计算机视觉和药物发现等各种应用。要分析图数据,一个重要的先决条件是要有有效的图数据表示,这在很大程度上决定了大多数下游任务的性能。在本报告中,我将介绍图的学习表示的最新进展,如节点表示学习、图的可视化、知识图谱的嵌入、图的神经网络、图的生成及其在各种任务中的应用。

地址: https://github.com/tangjianpku/tangjianpku.github.io/blob/master/files/GraphRepresentationLearning-Mila-2020.5.pdf

成为VIP会员查看完整内容
0
75

【导读】Thomas Kipf是阿姆斯特丹大学博士生,是GCN作者。最近他毕业博士论文公布了,《深度学习图结构表示》178页pdf阐述图卷积神经网络等机制与应用,包括作者一系列原创图深度学习工作,有GCN、GAE等,是研究该领域不可缺少的文献。

阿姆斯特丹大学机器学习专业四年级的博士生,导师Max Welling教授。我的主要兴趣是学习结构化数据和结构化表示/计算。这包括推理、(多主体)强化学习和结构化的深层生成模型。

https://tkipf.github.io/

《深度学习图结构表示》

地址:

https://dare.uva.nl/search?identifier=1b63b965-24c4-4bcd-aabb-b849056fa76d

在这篇论文中,我们提出了利用图结构表示进行深度学习的新方法。所提出的方法主要基于以图的形式构造基于神经网络的模型的表示和计算的主题,这使得在使用显式和隐式模块结构学习数据时可以改进泛化。

我们的贡献如下:

  • 我们提出图卷积神经网络 graph convolutional networks (GCNs) (Kipf and Welling, 2017;第3章) 用于图结构数据中节点的半监督分类。GCNs是一种图神经网络,它在图中执行参数化的消息传递操作,建模为谱图卷积的一阶近似。在发布时,GCNs在许多无向图数据集的节点级分类任务中取得了最先进的性能。

  • 我们提出图自编码器(GAEs) (Kipf and Welling, 2016;第四章)用于图形结构数据中的无监督学习和链接预测。GAEs利用一种基于图神经网络的编码器和一种基于成对评分函数重构图中的链接的解码器。我们进一步提出了一个模型变量作为概率生成模型,该模型使用变量推理进行训练,我们将其命名为变量GAE。在没有节点标签的情况下,GAEs和变分GAEs特别适合于图数据的表示学习。

  • 我们提出了关系型GCNs (Schlichtkrull and Kipf等,2018;第5章)将GCN模型扩展到具有多种边缘类型的有向关系图。关系GCNs非常适合于对关系数据进行建模,我们演示了一个应用于知识库中的半监督实体分类。

  • 我们提出了神经关系推理(NRI) (Kipf and Fetaya等,2018; 第六章)用于交互系统中潜在关系结构的发现。NRI将图神经网络与图中边缘类型的概率潜在变量模型相结合。我们将NRI应用于相互作用的动力学系统,如物理中的多粒子系统。

  • 我们提出组合模仿学习和执行(CompILE) (Kipf等,2019;第7章),一个序列行为数据的结构发现模型。CompILE使用一种新的可微序列分割机制来发现和自动编码有意义的行为子序列或子程序。潜代码可以被执行和重新组合以产生新的行为。

  • 我们提出了对比训练的结构化世界模型(C-SWMs) (Kipf等,2020; 第8章)从无监督的原始像素观测中学习环境的目标分解模型。C-SWMs使用图神经网络以图的形式构造环境的表示,其中节点表示对象,边表示在动作影响下的成对关系或交互。C-SWMs在没有像素损耗的情况下使用对比学习进行训练,非常适合于具有组成结构的环境的学习模型。

Thomas Kipf论文列表:

  • Thomas N. Kipf and Max Welling (2017). "Semi-Supervised Classification with Graph Convolutional Networks." In: International Conference on Learning Representations (ICLR).

  • Thomas N. Kipf and Max Welling (2016). "Variational Graph Auto-Encoders." In: NeurIPS Workshop on Bayesian Deep Learning.

  • Michael Schlichtkrull*, Thomas N. Kipf*, Peter Bloem, Rianne van den Berg, Ivan Titov and Max Welling (2018). "Modeling Relational Data with Graph Convolutional Networks." In: European Semantic Web Conference (ESWC).

  • Thomas Kipf*, Ethan Fetaya*, Kuan-ChiehWang, MaxWelling and Richard Zemel (2018). "Neural Relational Inference for Interacting Systems." In: International Conference on Machine Learning (ICML).

  • Thomas Kipf, Yujia Li, Hanjun Dai, Vinicius Zambaldi, Alvaro Sanchez- Gonzalez, Edward Grefenstette, Pushmeet Kohli and Peter Battaglia (2019). "CompILE: Compositional Imitation Learning and Execution." In: International Conference on Machine Learning (ICML).

  • Thomas Kipf, Elise van der Pol and Max Welling (2020). "Contrastive Learning of Structured World Models." In: International Conference on Learning Representations (ICLR).

成为VIP会员查看完整内容
0
107

课程介绍: 最近,图神经网络 (GNN) 在各个领域越来越受到欢迎,包括社交网络、知识图谱、推荐系统,甚至生命科学。GNN 在对图形中节点间的依赖关系进行建模方面能力强大,使得图分析相关的研究领域取得了突破性进展。本次课程对比传统的卷积神经网络以及图谱图卷积与空间图卷积,从理论知识入手,并结合相关论文进行详细讲解。

主讲人: Xavier Bresson,人工智能/深度学习方面的顶级研究员,培训师和顾问。在“图深度学习”上的NeurIPS'17和CVPR'17(2019年顶级人工智能会议排名)上的演讲者,在剑桥,加州大学洛杉矶分校,布朗,清华,庞加莱,海德堡等地进行了30多次国际演讲。

课程大纲:

  • 传统卷积神经网络
  • 谱图图卷积
  • 空间图卷积
  • 总结
成为VIP会员查看完整内容
0
205
小贴士
相关主题
相关论文
Xiuzhen Zhang,Yao Zhang,Dengji Zhao
0+阅读 · 7月22日
Agnieszka Słowik,Abhinav Gupta,William L. Hamilton,Mateja Jamnik,Sean B. Holden,Christopher Pal
0+阅读 · 7月20日
Nathan E. Glatt-Holtz,Justin A. Krometis,Cecilia F. Mondaini
0+阅读 · 7月19日
Hussam Al Daas,Pierre Jolivet,Jennifer Scott
0+阅读 · 7月19日
Isay Katsman,Aaron Lou,Derek Lim,Qingxuan Jiang,Ser-Nam Lim,Christopher De Sa
0+阅读 · 7月19日
Gautam Singh,Skand Peri,Junghyun Kim,Hyunseok Kim,Sungjin Ahn
0+阅读 · 7月19日
Kevin Li,Abhishek Gupta,Ashwin Reddy,Vitchyr Pong,Aurick Zhou,Justin Yu,Sergey Levine
0+阅读 · 7月18日
Yanqiao Zhu,Yichen Xu,Feng Yu,Qiang Liu,Shu Wu,Liang Wang
4+阅读 · 2月15日
Simone Scardapane,Indro Spinelli,Paolo Di Lorenzo
15+阅读 · 2020年7月13日
André Calero Valdez,Martina Ziefle
4+阅读 · 2018年4月13日
Top