图表示学习

近年来,图神经网络(GNNs)在结构化数据建模方面取得了巨大的成功。然而,大多数GNN是为同构网络设计的,即所有节点或边具有相同的特征空间和表示分布。这使得它们无法代表真实世界中不断演化的异构图,如知识图谱、物联网图、领英经济图、开放学术图和Facebook实体图。在这次演讲中,我将介绍图神经网络架构,它可以建模十亿年规模的异构图形与动态。重点将是我们如何设计图注意力和相对时间编码机制,以捕获真实图异构和动态性质。接下来,我将进一步讨论为一般的图挖掘任务预先训练这类GNN的策略。最后,为了处理web规模的数据,我将介绍一种异构的小型批处理图采样算法,该算法带有一个归纳的时间戳分配方法,用于高效和可扩展的训练。大量的实验显示了在实践中对网络规模图进行预训练的GNNs的前景。

https://ericdongyx.github.io/papers/slides-Graph-Rep-Learning-GNN-PreTraining-at-CCF-BAAI-2020.pdf

成为VIP会员查看完整内容
0
56

相关内容

图表示学习是2018年火爆全球的一个深度学习方向,从以 Line, meta-path 等为首的节点表示学习,到以 GCN,GraphSAGE,为首的图卷积方法,在到近期的以 GraphVAE 为首的生成图模型,图表示学习方向的文章如过江之鲫。

如今,网络越来越大,越来越复杂,应用越来越广泛。众所周知,网络数据是复杂和具有挑战性的。要有效地处理图数据,第一个关键的挑战是网络数据表示,即如何正确地表示网络,使模式发现、分析和预测等高级分析任务在时间和空间上都能有效地进行。在这次演讲中,我将介绍网络嵌入和GCN的最新发展趋势和最新进展,包括解纠缠GCN、抗攻击GCN以及用于网络嵌入的自动机器学习。

http://tcci.ccf.org.cn/conference/2020/dldoc/tutorial_3.pdf

成为VIP会员查看完整内容
0
17

https://www.aminer.cn/grla_ecmlpkdd2020

图表示学习为挖掘和学习网络数据提供了一个革命性的范例。在本教程中,我们将系统地介绍网络上的表示学习。我们将以阿里巴巴、AMiner、Microsoft Academic、微信和XueTangX的行业案例作为教程的开始,来解释网络分析和网络图挖掘如何从表示学习中受益。然后,我们将全面介绍图表示学习的历史和最新进展,如网络嵌入、图神经网络及其预训练策略。独特的是,本教程旨在向读者提供图形表示学习的基本理论,以及我们在将这方面的研究转化为工业应用中的实际应用方面的经验。最后,我们将为开放和可重现的图表示学习研究发布公共数据集和基准。

成为VIP会员查看完整内容
0
31

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录:

  • 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 图神经网络介绍
  • 09:00 am – 09:40 am: Robustness of Graph Neural Networks 图神经网络鲁棒性
  • 09:40 am – 10:00 am: Break
  • 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 图神经网络自监督学习
  • 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 图神经网络可扩展学习
  • 11:20 am – 00:15 pm: Graph Structure Learning & NLP 图结构学习
成为VIP会员查看完整内容
0
44

简介

本文研究如何利用图生成作为自监督任务来预训练GNN。我们将图的生成概率分解成两个模块:1)节点特征生成;2)图结构生成。通过对这两个模块建模,GPT-GNN可以捕捉图任务里特征与结构之间的关联,从而不需要很多的标注数据就可达到很高的泛化性能。

背景:预训练

机器学习的成功很大程度上取决于数据。但是,高质量的标记数据通常很昂贵且难以获得,尤其是对于希望训练参数较多的模型。而相对应的,我们却可以很容易地获取大量的无标记数据,其数量可以是标记数据的数千倍。 例如,在社交网络上进行异常检测时,恶意帐户的标注需要依赖于专家知识,数量较小,而整个网络的规模却可以达到十亿规模。

为了解决标注数据较少,尽可能利用其无标注数据,一个常规的做法是自监督的预训练(self-supervisedpre-training)。其目标是设计合理的自监督任务,从而使模型能从无标注数据里学得数据的信息,作为初始化迁移到下游任务中。由于目标任务中很多的知识已经在预训练中学到,因此通过预训练,我们只需要非常少量的标注数据,就能得到较好的泛化性能。

在NLP领域,BERT及其变种的取得了巨大的成功,证明了语言模型作为一个自监督任务,可以帮助训练非常深的Transformer模型,以捕捉语言的底层知识,如语法、句法、词义等。同样,在CV领域,最近的工作如SimCLR也显示出通过对比学习(Contrastive Learning) 对ResNet进行预训练也可以显著提升泛化性能。这些成功表明,无标注数据本身包含丰富的语义知识,因此如果通过预训练可以使模型能捕捉无标注数据的分布,就能作为初始化帮助一系列下游任务。

受到这些工作的启发,我们思考能否将预训练的想法运用到图数据分析中。本工作就致力于预训练图神经网络,以期GNN能够学习到图数据的结构和特征信息,从而能帮助标注数据较少的下游任务。

GPT-GNN模型

要在图数据上做预训练,第一个问题是:如何设计合适的无监督学习任务?

本工作提出用生成模型来对图分布进行建模,即逐步预测出一个图中一个新节点会有哪些特征、会和图中哪些节点相连。

由于我们想同时捕获属性和结构信息,因此需要将每个节点的条件生成概率分解为两项,特征生成与图结构生成。对每一个节点,我们会先掩盖其特征及部分边,仅提供剩下的部分作为已经观测到的边。

在第一步中,我们将通过已经观测到的边,预测该节点的特征,

在第二步中,我们将通过已经观测到的边,以及预测出的特征,来预测剩下的边。

我们可以写出对应的分解表达式。从理论上,这个目标的期望等同于整个图的生成概率。

为了并行高效地计算每个节点的loss,避免信息泄露(如节点特征预测的时候如何避免看到该节点自己的输入特征),以及处理大图和增加负样本采样的准确性,我们做了很多的模型设计。详见文章。

实验

我们在两个大规模异构网络和一个同构网络上进行了实验。

第一个异构图是MicrosoftAcademic Graph(OAG),其中包含超过2亿个节点和23亿条边。另一个是AmazonRecommendation数据集。

总体而言,我们提出的GPT-GNN在不同的实验设定下显著提高下游任务的性能,平均能达到9.1%的性能提升。

我们还评估了在不同百分比的标记数据下,GPT-GNN是否依然能取得提升。我们可以看到,使用GPT预训练时,仅使用20%标签数据的模型性能就会比使用100%数据进行直接监督学习的模型性能更高。这显示了预训练的有效性,尤其是在标签稀缺时。

成为VIP会员查看完整内容
0
19

摘要

图神经网络(GNNs)已被证明在建模图结构的数据方面是强大的。然而,训练GNN通常需要大量指定任务的标记数据,获取这些数据的成本往往非常高。减少标记工作的一种有效方法是在未标记数据上预训练一个具有表达能力的GNN模型,并进行自我监督,然后将学习到的模型迁移到只有少量标记的下游任务中。在本文中,我们提出了GPT-GNN框架,通过生成式预训练来初始化GNN。GPT-GNN引入了一个自监督属性图生成任务来预训练一个GNN,使其能够捕获图的结构和语义属性信息。我们将图生成的概率分解为两部分:1)属性生成和2)边生成。通过对两个组件进行建模,GPT-GNN捕捉到生成过程中节点属性与图结构之间的内在依赖关系。在10亿规模的开放学术图和亚马逊推荐数据上进行的综合实验表明,GPT-GNN在不经过预训练的情况下,在各种下游任务中的表现显著优于最先进的GNN模型,最高可达9.1%。

**关键词:**生成式预训练,图神经网络,图表示学习,神经嵌入,GNN预训练

成为VIP会员查看完整内容
0
47

图表示学习已经成为解决现实问题的一种强大的技术。节点分类、相似度搜索、图分类和链接预测等各种下游图学习任务都受益于它的最新发展。然而,现有的图表示学习技术侧重于特定领域的问题,并为每个图训练专用的模型,这些模型通常不能转移到域外数据。受最近自然语言处理和计算机视觉的预训练进展的启发,我们设计了图对比编码(GCC)——一种无监督图表示学习框架——来捕获跨多个网络的通用网络拓扑属性。我们将GCC的预训练任务设计为网络中或跨网络的子图级实例识别,并利用对比学习来授权模型学习内在的和可转移的结构表示。我们对三个图学习任务和十个图数据集进行了广泛的实验。结果表明,在一组不同的数据集上进行预训练的GCC可以取得与任务相关的从零开始训练的GCC具有竞争力或更好的性能。这表明,预训练和微调范式为图表示学习提供了巨大的潜力。

https://arxiv.org/abs/2006.09963

成为VIP会员查看完整内容
0
20

摘要 近年来,使用结构化数据建模的图神经网络(GNNs)取得了巨大的成功。然而,大多数的GNN都是针对同构图设计的,在同构图中,所有的节点和边都属于同一种类型,使得它们无法表示异构结构。在这篇论文中,我们提出了一种异构图 Transformer(HGT)结构来对web级的异构图进行建模。为了对异构性进行建模,我们设计了节点类型和边类型的相关参数来描述每个边上的异构注意力程度,从而使HGT能够维护不同类型节点和边的特定表示。为了处理动态异构图,我们在HGT中引入了相对时间编码技术,该技术能够捕获具有任意持续时间的动态结构依赖关系。针对网络规模图数据的处理问题,设计了高效、可扩展的小批量图数据采样算法HGSampling。在拥有1.79亿个节点和20亿个边的开放学术图上进行的大量实验表明,所提出的HGT模型在各种下游任务上的性能始终比所有最先进的GNN基线高9-21%。

关键词:图神经网络;异构信息网络;表示学习;图嵌入;图注意力

介绍

异构图通常对复杂的系统进行抽象和建模,其中不同类型的对象以各种方式相互交互。此类系统的一些常见实例包括学术图、Facebook实体图、LinkedIn经济图,以及广泛的物联网网络。例如,图1中的开放学术图(OAG)[28]包含五种类型的节点:论文、作者、机构、场所(期刊、会议或预印本)和字段,以及它们之间不同类型的关系。

在过去的十年中,人们对异构图[17]的挖掘进行了大量的研究。其中一个经典的范例就是定义和使用元路径来对异类结构进行建模,例如PathSim[18]和变元ath2vec[3]。最近,鉴于图神经网络(GNNs)的成功[7,9,22],[14,23,26,27]尝试采用GNNs来学习异构网络。然而,这些工作面临着几个问题:首先,它们大多涉及到为每种类型的异构图设计元路径,这需要特定的领域知识;其次,它们要么简单地假设不同类型的节点/边共享相同的特征和表示空间,要么为节点类型或单独的边类型保留不同的非共享权值,使它们不足以捕获异类图的属性;三是大多忽略了每一个(异构)图的动态性;最后,它们固有的设计和实现使得它们无法对web规模的异构图进行建模。

以OAG为例:首先,OAG中的节点和边可能具有不同的特征分布,如论文具有文本特征,而机构可能具有来自附属学者的特征,共同作者明显不同于引文链接;OAG一直在不断发展,例如:1)出版物的数量每12年翻一倍[4];2)KDD会议在1990年代更多地与数据库相关,而近年来更多地与机器学习相关;最后,OAG包含数亿个节点和数十亿个关系,使得现有的异构GNN无法扩展来处理它。

针对这些限制和挑战,我们建议研究异构图神经网络,其目标是维护节点和边类型依赖表示、捕获网络动态、避免自定义元路径和可扩展到web级图。在这项工作中,我们提出了异构图 Transformer(HGT)架构来处理所有这些问题。

为了处理图的异构性,我们引入了节点类型和边类型依赖注意力机制。HGT中的相互注意不是对每一个类型边参数化,而是根据其元关系三元组e=(s,t),即 s为节点类型,s与t之间的e的边类型,t的节点类型。图1展示了异构学术图的元关系。具体来说,我们使用这些元关系来对权重矩阵参数化,以计算每条边上的注意力。因此,允许不同类型的节点和边维护其特定的表示空间。同时,不同类型的连接节点仍然可以交互、传递和聚合消息,而不受其分布差异的限制。由于其架构的性质,HGT可以通过跨层传递消息来整合来自不同类型的高阶邻居的信息,这可以看作是软元路径。也就是说,即使HGT只将其单跳边作为输入,而不需要手动设计元路径,所提出的注意力机制也可以自动、隐式地学习和提取对不同下游任务重要的元路径。

为了处理图数据的动态特性,我们提出了相对时间编码(RTE)策略来增强HGT。我们不打算将输入图分割成不同的时间戳,而是建议将发生在不同时间的所有边作为一个整体进行维护,并设计RTE策略来对任何持续时间长度的结构性时间依赖关系进行建模,甚至包括不可见的和未来的时间戳。通过端到端训练,RTE使HGT能够自动学习异构图的时间依赖性和演化。

为了处理网络规模的图形数据,我们设计了第一个用于小批量GNN训练的异构子图采样算法HGSampling。它的主要思想是样本异构子图中不同类型的节点与类似的比例,由于直接使用现有的(均匀)GNN抽样方法,如GraphSage [7], FastGCN[1],和LADIES[29],结果在高度不平衡的关于节点和边缘的类型。此外,它还被设计成保持采样子图的密度以最小化信息的丢失。通过HGSampling,所有的GNN模型,包括我们提出的HGT,都可以在任意大小的异构图上进行训练和推断。

我们证明了所提出的异构图Transformer在网络规模开放学术图上的有效性和效率,该开放学术图由1.79亿个节点和20亿个边组成,时间跨度从1900年到2019年,这是迄今为止在异构图上进行的规模最大、跨度最长的表示学习。此外,我们还检查领域特定的图表:计算机科学和医学学术图表。实验结果表明,与最先进的GNNs和专用的异构模型相比,在下游任务中HGT可以显著提高9-21%。我们进一步进行了案例研究,表明了所提出的方法确实能够自动捕获不同任务的隐式元路径的重要性。

成为VIP会员查看完整内容
0
87

机器学习的许多应用都需要一个模型来对测试样本做出准确的预测,这些测试样本在分布上与训练示例不同,而在训练期间,特定于任务的标签很少。应对这一挑战的有效方法是,在数据丰富的相关任务上对模型进行预训练,然后在下游任务上对其进行微调。尽管预训练在许多语言和视觉领域都是有效的,但是如何在图数据集上有效地使用预训练仍是一个有待解决的问题。本文提出了一种新的图神经网络训练策略和自监督方法。我们的策略成功的关键是在单个节点以及整个图的层次上预训练一个具有强表示能力的GNN,以便GNN能够同时学习有用的局部和全局表示。我们系统地研究了多类图分类数据集的预处理问题。我们发现,在整个图或单个节点级别上对GNN进行预训练的朴素策略改进有限,甚至可能导致许多下游任务的负迁移。相比之下,我们的策略避免了负迁移,显著提高了下游任务的泛化能力,使得ROC-AUC相对于未经训练的模型提高了9.4%,实现了分子特性预测和蛋白质功能预测的最好性能。

成为VIP会员查看完整内容
0
52
小贴士
相关论文
Attentive Graph Neural Networks for Few-Shot Learning
Hao Cheng,Joey Tianyi Zhou,Wee Peng Tay,Bihan Wen
17+阅读 · 7月14日
Emily Alsentzer,Samuel G. Finlayson,Michelle M. Li,Marinka Zitnik
10+阅读 · 6月19日
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
Ruochi Zhang,Yuesong Zou,Jian Ma
9+阅读 · 2019年11月6日
Quan Wang,Pingping Huang,Haifeng Wang,Songtai Dai,Wenbin Jiang,Jing Liu,Yajuan Lyu,Yong Zhu,Hua Wu
5+阅读 · 2019年11月6日
Boris Knyazev,Graham W. Taylor,Mohamed R. Amer
3+阅读 · 2019年10月28日
Domain Representation for Knowledge Graph Embedding
Cunxiang Wang,Feiliang Ren,Zhichao Lin,Chenxv Zhao,Tian Xie,Yue Zhang
5+阅读 · 2019年9月11日
Bang Liu,Weidong Guo,Di Niu,Chaoyue Wang,Shunnan Xu,Jinghong Lin,Kunfeng Lai,Yu Xu
5+阅读 · 2019年5月21日
Inferring Concept Hierarchies from Text Corpora via Hyperbolic Embeddings
Matt Le,Stephen Roller,Laetitia Papaxanthos,Douwe Kiela,Maximilian Nickel
7+阅读 · 2019年2月3日
Tim Dettmers,Pasquale Minervini,Pontus Stenetorp,Sebastian Riedel
25+阅读 · 2018年4月6日
Top