从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录: 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 图神经网络简介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表达性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs训练 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可扩展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(无)监督学习 04:15 pm – 04:35 pm: GNN in Social Networks 社交网络GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs图像处理与未来方向 04:55 pm – 05:00 pm: Q&A

成为VIP会员查看完整内容
0
63

相关内容

图神经网络(GNNs)是针对图信号的信息处理体系结构。它们已经被开发出来,并在本课程中作为卷积神经网络(CNNs)的推广来介绍,它被用来在时间和空间上处理信号。这句话听起来可能有些奇怪,这取决于你对神经网络(NNs)和深度学习的了解程度。CNN不就是NN的特例吗?GNN不也是这样吗?从严格意义上说,它们是存在的,但我们这门课的重点是涉及高维信号的大规模问题。在这些设置中,神经网络无法伸缩。CNN为信号在时间和空间上提供可扩展的学习。GNNS支持图信号的可扩展学习。

在本课程中,我们将在学习单特征和多特征GNN之前,介绍图卷积滤波器和图滤波器组。我们还将介绍相关的架构,如经常性的GNN。特别的重点将放在研究GNN的排列的等方差和图变形的稳定性。这些特性提供了一个解释的措施,可以观察到的良好性能的GNNs经验。我们还将在大量节点的极限范围内研究GNN,以解释不同节点数量的网络间GNN的可迁移性。

https://gnn.seas.upenn.edu/

Lecture 1: Machine Learning on Graphs 图机器学习

图神经网络(GNNs)是一种具有广泛适用性和非常有趣的特性的工具。可以用它们做很多事情,也有很多东西需要学习。在第一节课中,我们将回顾本课程的目标并解释为什么我们应该关注GNN。我们还提供了未来的预览。我们讨论了在可扩展学习中利用结构的重要性,以及卷积是如何在欧几里得空间中实现这一点的。我们进一步解释如何将卷积推广到图,以及随后将卷积神经网络推广到图(卷积)神经网络。

1.1 – Graph Neural Networks 图神经网络

在这门课程中,我希望我们能够共同完成两个目标。您将学习如何在实际应用程序中使用GNNs。也就是说,您将开发使用图神经网络在图上表述机器学习问题的能力。你将学会训练他们。你将学会评估它们。但你也会学到,你不能盲目地使用它们。你将学习到解释他们良好的实证表现的基本原理。这些知识将允许您确定GNN适用或不适用的情况。

1.2 Machine Learning on Graphs: The Why 图机器学习

我们关心GNN是因为它们使机器能够在图上学习。但我们为什么要关注图机器学习呢?我们在这里详述图机器学习的原因。它为什么有趣?我们为什么要关心这个?我们关心的原因很简单:因为图表在信息处理中无处不在。

1.3 – Machine Learning on Graphs: The How

在讨论了原因之后,我们来处理如何做。我们如何在图上进行机器学习?这个问题的答案很简单:我们应该使用神经网络。我们应该这样做,因为我们有丰富的经验和理论证据证明神经网络的价值。理解这些证据是本课程的目标之一。但在我们准备这么做之前,有一个潜在的阻碍因素:神经网络必须利用结构来实现可扩展。

成为VIP会员查看完整内容
0
25

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录:

  • 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 图神经网络介绍
  • 09:00 am – 09:40 am: Robustness of Graph Neural Networks 图神经网络鲁棒性
  • 09:40 am – 10:00 am: Break
  • 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 图神经网络自监督学习
  • 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 图神经网络可扩展学习
  • 11:20 am – 00:15 pm: Graph Structure Learning & NLP 图结构学习
成为VIP会员查看完整内容
0
14

异常检测已经得到了广泛的研究和应用。建立一个有效的异常检测系统需要研究者和开发者从嘈杂的数据中学习复杂的结构,识别动态异常模式,用有限的标签检测异常。与经典方法相比,近年来深度学习技术的进步极大地提高了异常检测的性能,并将异常检测扩展到广泛的应用领域。本教程将帮助读者全面理解各种应用领域中基于深度学习的异常检测技术。首先,我们概述了异常检测问题,介绍了在深度模型时代之前采用的方法,并列出了它们所面临的挑战。然后我们调查了最先进的深度学习模型,范围从构建块神经网络结构,如MLP, CNN,和LSTM,到更复杂的结构,如自动编码器,生成模型(VAE, GAN,基于流的模型),到深度单类检测模型,等等。此外,我们举例说明了迁移学习和强化学习等技术如何在异常检测问题中改善标签稀疏性问题,以及在实际中如何收集和充分利用用户标签。其次,我们讨论来自LinkedIn内外的真实世界用例。本教程最后讨论了未来的趋势。

https://sites.google.com/view/kdd2020deepeye/home

成为VIP会员查看完整内容
0
39

可解释的机器学习模型和算法是越来越受到研究、应用和管理人员关注的重要课题。许多先进的深度神经网络(DNNs)经常被认为是黑盒。研究人员希望能够解释DNN已经学到的东西,以便识别偏差和失败模型,并改进模型。在本教程中,我们将全面介绍分析深度神经网络的方法,并深入了解这些XAI方法如何帮助我们理解时间序列数据。

http://xai.kaist.ac.kr/Tutorial/2020/

成为VIP会员查看完整内容
0
82

【导读】新加坡国立大学的Xiang Wang、Tat-Seng Chua,以及来自中国科学技术大学的Xiangnan He在WSDM 2020会议上通过教程《Learning and Reasoning on Graph for Recommendation》介绍了基于图学习和推理的推荐系统,涵盖了基于随机游走的推荐系统、基于网络嵌入的推荐系统,基于图神经网络的推荐系统等内容。

Tutorial摘要:

推荐方法构建预测模型来估计用户-项目交互的可能性。之前的模型在很大程度上遵循了一种通用的监督学习范式——将每个交互视为一个单独的数据实例,并基于“信息孤岛”进行预测。但是,这些方法忽略了数据实例之间的关系,这可能导致性能不佳,特别是在稀疏场景中。此外,建立在单独数据实例上的模型很难展示推荐背后的原因,这使得推荐过程难以理解。

在本教程中,我们将从图学习的角度重新讨论推荐问题。用于推荐的公共数据源可以组织成图,例如用户-项目交互(二部图)、社交网络、项目知识图(异构图)等。这种基于图的组织将孤立的数据实例连接起来,为开发高阶连接带来了好处,这些连接为协作过滤、基于内容的过滤、社会影响建模和知识感知推理编码有意义的模式。随着最近图形神经网络(GNNs)的成功,基于图形的模型显示了成为下一代推荐系统技术的潜力。本教程对基于图的推荐学习方法进行了回顾,重点介绍了GNNs的最新发展和先进的推荐知识。通过在教程中介绍这一新兴而有前景的领域,我们希望观众能够对空间有更深刻的理解和准确的洞察,激发更多的想法和讨论,促进技术的发展。

Tutorial大纲:

成为VIP会员查看完整内容
0
90

来自密歇根州立大学的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu与 Tengfei Ma在AAAI2020做了关于图神经网络的Tutorial报告,总共305页ppt,涵盖使用GNNs对图结构数据的表示学习、GNNs的健壮性、GNNs的可伸缩性以及基于GNNs的应用,非常值得学习。

摘要

图结构数据如社交网络和分子图在现实世界中无处不在。设计先进的图数据表示学习算法以方便后续任务的实现,具有重要的研究意义。图神经网络(GNNs)将深度神经网络模型推广到图结构数据,为从节点层或图层有效学习图结构数据的表示开辟了新的途径。由于其强大的表示学习能力,GNNs在从推荐、自然语言处理到医疗保健的各种应用中都具有实际意义。它已经成为一个热门的研究课题,近年来越来越受到机器学习和数据挖掘界的关注。这篇关于GNNs的教程对于AAAI 2020来说是非常及时的,涵盖了相关的和有趣的主题,包括使用GNNs对图结构数据的表示学习、GNNs的健壮性、GNNs的可伸缩性以及基于GNNs的应用。

目录

  1. 引言 Introduction
  • 图与图结构数据 Graphs and Graph Structured Data
  • 图结构数据任务 Tasks on Graph Structured Data
  • 图神经网络 Graph neural networks
  1. 基础理论Foundations
  • Basic Graph Theory
  • Graph Fourier Transform
  1. 模型 Models
  • Spectral-based GNN layers
  • Spatial-based GNN layers
  • Pooling Schemes for Graph-level Representation Learning
  • Graph Neural Networks Based Encoder-Decoder models
  • Scalable Learning for Graph Neural Networks
  • Attacks and Robustness of Graph Neural Networks
  1. 应用 Applications
  • Natural Language Processing
  • Recommendation
  • Healthcare

百度网盘直接下载: 链接: https://pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取码: xrkz

讲者介绍

Yao Ma是密歇根州立大学计算机科学与工程专业的博士生。他还在数据科学与工程实验室(DSE实验室)担任研究助理,该实验室由Tang Jiliang博士领导。他的研究兴趣包括网络嵌入和图神经网络在图结构数据上的表示学习。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等顶级会议上发表创新工作。在加入密歇根州立大学之前,他在Eindhoven理工大学获得硕士学位,在浙江大学获得学士学位。

http://cse.msu.edu/~mayao4/

Wei Jin是密歇根州立大学计算机科学与工程专业的一年级博士生,导师是Tang Jiliang博士。他的兴趣在于图表示学习。现从事图神经网络的理论基础、模型鲁棒性和应用研究。

https://chandlerbang.github.io/

Jiliang Tang 自2016年秋季以来一直是密歇根州立大学计算机科学与工程系的助理教授。在此之前,他是雅虎研究院的一名研究科学家,2015年在亚利桑那州立大学获得博士学位。他的研究兴趣包括社会计算、数据挖掘和机器学习,以及它们在教育中的应用。他是2019年NSF Career奖、2015年KDD最佳论文亚军和6个最佳论文奖(或亚军)的获得者,包括WSDM2018和KDD2016。他担任会议组织者(如KDD、WSDM和SDM)和期刊编辑(如TKDD)。他在高排名的期刊和顶级会议上发表多项研究成果,获得了成千上万的引用和广泛的媒体报道。

Lingfei Wu是IBM AI foundation Labs的研究人员,IBM T. J. Watson研究中心的推理小组。

https://sites.google.com/a/email.wm.edu/teddy-lfwu/

Tengfei Ma现任美国纽约IBM沃森研究中心研究员。

https://sites.google.com/site/matf0123/home

成为VIP会员查看完整内容
0
247

DeepMind 与 UCL 合作推出了一门深度学习与强化学习进阶课程,以在线视频形式呈现。课件包括18个课程的16个PPT共开放,每节课都长达 1 小时 40 分钟,内容从深度学习框架 TensoFlow 的介绍到构建游戏智能体,可谓全面。

该课程最初在伦敦大学学院(UCL)进行,为方便在线观看进行了录像。多位 DeepMind 的研究人员、UCL 教师参与了课程的设计。

课程由两部分组成,一是包含深度神经网络的机器学习,二是利用强化学习进行预测和控制,两个部分相互穿插。在探讨深度学习的过程中,这两条线交汇在一起,其中的深度神经网络被训练为强化学习背景下的函数逼近器。

课程中的深度学习部分首先介绍了神经网络及使用 TensorFlow 的监督学习,接下来探讨了卷积神经网络、循环神经网络、端到端及基于能量的学习、优化方法、无监督学习、注意力及记忆。涉及的应用领域包括目标识别和自然语言处理。

视频课程地址:https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs

PPT下载链接:https://pan.baidu.com/s/1BJNjnF-nXN4LjQ3XvtxdaQ 提取码: 8s86

成为VIP会员查看完整内容
0
49

简介: 机器学习在处理结构化数据集(例如表格数据)方面历来是成功的。 随着最近的进步,特别是在深度学习方面的进步,现在还存在用于处理图像,文本和语音数据的完善且强大的方法。 但是,许多现实世界的数据并不属于这些类别。 这种数据重要的一种是网络或图形数据,可用于对诸如社交网络,交易流,计算机网络甚至分子相互作用之类的概念进行建模。 使用图,我们可以轻松地表示和捕获对象之间的复杂交互和依赖关系,但同时也提出了一个问题:我们如何将机器学习应用于结构化数据图?

嘉宾介绍: Xavier Bresson,NTU计算机科学副教授。 他是图深度学习领域的领先研究人员,图深度学习是一个新的框架,该框架结合了图和深度学习技术,可以处理多个领域的复杂数据。 演讲的目的是介绍基于图的卷积神经网络体系结构,以及此类问题的应用。

大纲:

  • Motivation
  • Graph Deep Learning
  • Applications
  • DGL
  • Tutorials
  • Trainings
成为VIP会员查看完整内容
0
75
小贴士
相关论文
Graph-based Transforms for Video Coding
Hilmi E. Egilmez,Yung-Hsuan Chao,Antonio Ortega
0+阅读 · 9月18日
Ning Ma,Jiajun Bu,Jieyu Yang,Zhen Zhang,Chengwei Yao,Zhi Yu
14+阅读 · 3月18日
Shaoxiong Ji,Shirui Pan,Erik Cambria,Pekka Marttinen,Philip S. Yu
52+阅读 · 2月2日
Tensor Graph Convolutional Networks for Prediction on Dynamic Graphs
Osman Asif Malik,Shashanka Ubaru,Lior Horesh,Misha E. Kilmer,Haim Avron
3+阅读 · 2019年10月16日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
6+阅读 · 2019年2月19日
Anna Breger,Jose Ignacio Orlando,Pavol Harar,Monika Dörfler,Sophie Klimscha,Christoph Grechenig,Bianca S. Gerendas,Ursula Schmidt-Erfurth,Martin Ehler
3+阅读 · 2019年1月22日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
9+阅读 · 2018年10月24日
Rex Ying,Ruining He,Kaifeng Chen,Pong Eksombatchai,William L. Hamilton,Jure Leskovec
8+阅读 · 2018年6月6日
Peter W. Battaglia,Jessica B. Hamrick,Victor Bapst,Alvaro Sanchez-Gonzalez,Vinicius Zambaldi,Mateusz Malinowski,Andrea Tacchetti,David Raposo,Adam Santoro,Ryan Faulkner,Caglar Gulcehre,Francis Song,Andrew Ballard,Justin Gilmer,George Dahl,Ashish Vaswani,Kelsey Allen,Charles Nash,Victoria Langston,Chris Dyer,Nicolas Heess,Daan Wierstra,Pushmeet Kohli,Matt Botvinick,Oriol Vinyals,Yujia Li,Razvan Pascanu
3+阅读 · 2018年6月4日
Ruoyu Li,Sheng Wang,Feiyun Zhu,Junzhou Huang
4+阅读 · 2018年1月10日
Top