图表示学习

近年来,图神经网络(GNNs)在结构化数据建模方面取得了巨大的成功。然而,大多数GNN是为同构网络设计的,即所有节点或边具有相同的特征空间和表示分布。这使得它们无法代表真实世界中不断演化的异构图,如知识图谱、物联网图、领英经济图、开放学术图和Facebook实体图。在这次演讲中,我将介绍图神经网络架构,它可以建模十亿年规模的异构图形与动态。重点将是我们如何设计图注意力和相对时间编码机制,以捕获真实图异构和动态性质。接下来,我将进一步讨论为一般的图挖掘任务预先训练这类GNN的策略。最后,为了处理web规模的数据,我将介绍一种异构的小型批处理图采样算法,该算法带有一个归纳的时间戳分配方法,用于高效和可扩展的训练。大量的实验显示了在实践中对网络规模图进行预训练的GNNs的前景。

https://ericdongyx.github.io/papers/slides-Graph-Rep-Learning-GNN-PreTraining-at-CCF-BAAI-2020.pdf

成为VIP会员查看完整内容
0
90

相关内容

图表示学习是2018年火爆全球的一个深度学习方向,从以 Line, meta-path 等为首的节点表示学习,到以 GCN,GraphSAGE,为首的图卷积方法,在到近期的以 GraphVAE 为首的生成图模型,图表示学习方向的文章如过江之鲫。

如今,网络越来越大,越来越复杂,应用越来越广泛。众所周知,网络数据是复杂和具有挑战性的。要有效地处理图数据,第一个关键的挑战是网络数据表示,即如何正确地表示网络,使模式发现、分析和预测等高级分析任务在时间和空间上都能有效地进行。在这次演讲中,我将介绍网络嵌入和GCN的最新发展趋势和最新进展,包括解纠缠GCN、抗攻击GCN以及用于网络嵌入的自动机器学习。

http://tcci.ccf.org.cn/conference/2020/dldoc/tutorial_3.pdf

成为VIP会员查看完整内容
0
49

https://www.aminer.cn/grla_ecmlpkdd2020

图表示学习为挖掘和学习网络数据提供了一个革命性的范例。在本教程中,我们将系统地介绍网络上的表示学习。我们将以阿里巴巴、AMiner、Microsoft Academic、微信和XueTangX的行业案例作为教程的开始,来解释网络分析和网络图挖掘如何从表示学习中受益。然后,我们将全面介绍图表示学习的历史和最新进展,如网络嵌入、图神经网络及其预训练策略。独特的是,本教程旨在向读者提供图形表示学习的基本理论,以及我们在将这方面的研究转化为工业应用中的实际应用方面的经验。最后,我们将为开放和可重现的图表示学习研究发布公共数据集和基准。

成为VIP会员查看完整内容
0
60

简介

本文研究如何利用图生成作为自监督任务来预训练GNN。我们将图的生成概率分解成两个模块:1)节点特征生成;2)图结构生成。通过对这两个模块建模,GPT-GNN可以捕捉图任务里特征与结构之间的关联,从而不需要很多的标注数据就可达到很高的泛化性能。

背景:预训练

机器学习的成功很大程度上取决于数据。但是,高质量的标记数据通常很昂贵且难以获得,尤其是对于希望训练参数较多的模型。而相对应的,我们却可以很容易地获取大量的无标记数据,其数量可以是标记数据的数千倍。 例如,在社交网络上进行异常检测时,恶意帐户的标注需要依赖于专家知识,数量较小,而整个网络的规模却可以达到十亿规模。

为了解决标注数据较少,尽可能利用其无标注数据,一个常规的做法是自监督的预训练(self-supervisedpre-training)。其目标是设计合理的自监督任务,从而使模型能从无标注数据里学得数据的信息,作为初始化迁移到下游任务中。由于目标任务中很多的知识已经在预训练中学到,因此通过预训练,我们只需要非常少量的标注数据,就能得到较好的泛化性能。

在NLP领域,BERT及其变种的取得了巨大的成功,证明了语言模型作为一个自监督任务,可以帮助训练非常深的Transformer模型,以捕捉语言的底层知识,如语法、句法、词义等。同样,在CV领域,最近的工作如SimCLR也显示出通过对比学习(Contrastive Learning) 对ResNet进行预训练也可以显著提升泛化性能。这些成功表明,无标注数据本身包含丰富的语义知识,因此如果通过预训练可以使模型能捕捉无标注数据的分布,就能作为初始化帮助一系列下游任务。

受到这些工作的启发,我们思考能否将预训练的想法运用到图数据分析中。本工作就致力于预训练图神经网络,以期GNN能够学习到图数据的结构和特征信息,从而能帮助标注数据较少的下游任务。

GPT-GNN模型

要在图数据上做预训练,第一个问题是:如何设计合适的无监督学习任务?

本工作提出用生成模型来对图分布进行建模,即逐步预测出一个图中一个新节点会有哪些特征、会和图中哪些节点相连。

由于我们想同时捕获属性和结构信息,因此需要将每个节点的条件生成概率分解为两项,特征生成与图结构生成。对每一个节点,我们会先掩盖其特征及部分边,仅提供剩下的部分作为已经观测到的边。

在第一步中,我们将通过已经观测到的边,预测该节点的特征,

在第二步中,我们将通过已经观测到的边,以及预测出的特征,来预测剩下的边。

我们可以写出对应的分解表达式。从理论上,这个目标的期望等同于整个图的生成概率。

为了并行高效地计算每个节点的loss,避免信息泄露(如节点特征预测的时候如何避免看到该节点自己的输入特征),以及处理大图和增加负样本采样的准确性,我们做了很多的模型设计。详见文章。

实验

我们在两个大规模异构网络和一个同构网络上进行了实验。

第一个异构图是MicrosoftAcademic Graph(OAG),其中包含超过2亿个节点和23亿条边。另一个是AmazonRecommendation数据集。

总体而言,我们提出的GPT-GNN在不同的实验设定下显著提高下游任务的性能,平均能达到9.1%的性能提升。

我们还评估了在不同百分比的标记数据下,GPT-GNN是否依然能取得提升。我们可以看到,使用GPT预训练时,仅使用20%标签数据的模型性能就会比使用100%数据进行直接监督学习的模型性能更高。这显示了预训练的有效性,尤其是在标签稀缺时。

成为VIP会员查看完整内容
0
32

我们讨论关于图神经网络(GNNs)的两个基本问题。首先,我们证明了几个重要的图属性是不能由完全依赖于局部信息的GNN计算的。这样的GNN包括标准的消息传递模型,以及更强大的空间变体,利用本地图结构(例如,通过消息的相对方向,或本地端口排序)来区分每个节点的邻居。我们的处理包括一种新的图论形式主义。其次,我们为消息传递GNN提供了第一个依赖数据的泛化边界。该分析明确地说明了GNN的局部置换不变性。我们的边界比现有的基于VC维的GNN保证更紧,并且可与递归神经网络的Rademacher边界相媲美。

成为VIP会员查看完整内容
0
26

图表示学习已经成为解决现实问题的一种强大的技术。节点分类、相似度搜索、图分类和链接预测等各种下游图学习任务都受益于它的最新发展。然而,现有的图表示学习技术侧重于特定领域的问题,并为每个图训练专用的模型,这些模型通常不能转移到域外数据。受最近自然语言处理和计算机视觉的预训练进展的启发,我们设计了图对比编码(GCC)——一种无监督图表示学习框架——来捕获跨多个网络的通用网络拓扑属性。我们将GCC的预训练任务设计为网络中或跨网络的子图级实例识别,并利用对比学习来授权模型学习内在的和可转移的结构表示。我们对三个图学习任务和十个图数据集进行了广泛的实验。结果表明,在一组不同的数据集上进行预训练的GCC可以取得与任务相关的从零开始训练的GCC具有竞争力或更好的性能。这表明,预训练和微调范式为图表示学习提供了巨大的潜力。

https://arxiv.org/abs/2006.09963

成为VIP会员查看完整内容
0
29

摘要 近年来,使用结构化数据建模的图神经网络(GNNs)取得了巨大的成功。然而,大多数的GNN都是针对同构图设计的,在同构图中,所有的节点和边都属于同一种类型,使得它们无法表示异构结构。在这篇论文中,我们提出了一种异构图 Transformer(HGT)结构来对web级的异构图进行建模。为了对异构性进行建模,我们设计了节点类型和边类型的相关参数来描述每个边上的异构注意力程度,从而使HGT能够维护不同类型节点和边的特定表示。为了处理动态异构图,我们在HGT中引入了相对时间编码技术,该技术能够捕获具有任意持续时间的动态结构依赖关系。针对网络规模图数据的处理问题,设计了高效、可扩展的小批量图数据采样算法HGSampling。在拥有1.79亿个节点和20亿个边的开放学术图上进行的大量实验表明,所提出的HGT模型在各种下游任务上的性能始终比所有最先进的GNN基线高9-21%。

关键词:图神经网络;异构信息网络;表示学习;图嵌入;图注意力

介绍

异构图通常对复杂的系统进行抽象和建模,其中不同类型的对象以各种方式相互交互。此类系统的一些常见实例包括学术图、Facebook实体图、LinkedIn经济图,以及广泛的物联网网络。例如,图1中的开放学术图(OAG)[28]包含五种类型的节点:论文、作者、机构、场所(期刊、会议或预印本)和字段,以及它们之间不同类型的关系。

在过去的十年中,人们对异构图[17]的挖掘进行了大量的研究。其中一个经典的范例就是定义和使用元路径来对异类结构进行建模,例如PathSim[18]和变元ath2vec[3]。最近,鉴于图神经网络(GNNs)的成功[7,9,22],[14,23,26,27]尝试采用GNNs来学习异构网络。然而,这些工作面临着几个问题:首先,它们大多涉及到为每种类型的异构图设计元路径,这需要特定的领域知识;其次,它们要么简单地假设不同类型的节点/边共享相同的特征和表示空间,要么为节点类型或单独的边类型保留不同的非共享权值,使它们不足以捕获异类图的属性;三是大多忽略了每一个(异构)图的动态性;最后,它们固有的设计和实现使得它们无法对web规模的异构图进行建模。

以OAG为例:首先,OAG中的节点和边可能具有不同的特征分布,如论文具有文本特征,而机构可能具有来自附属学者的特征,共同作者明显不同于引文链接;OAG一直在不断发展,例如:1)出版物的数量每12年翻一倍[4];2)KDD会议在1990年代更多地与数据库相关,而近年来更多地与机器学习相关;最后,OAG包含数亿个节点和数十亿个关系,使得现有的异构GNN无法扩展来处理它。

针对这些限制和挑战,我们建议研究异构图神经网络,其目标是维护节点和边类型依赖表示、捕获网络动态、避免自定义元路径和可扩展到web级图。在这项工作中,我们提出了异构图 Transformer(HGT)架构来处理所有这些问题。

为了处理图的异构性,我们引入了节点类型和边类型依赖注意力机制。HGT中的相互注意不是对每一个类型边参数化,而是根据其元关系三元组e=(s,t),即 s为节点类型,s与t之间的e的边类型,t的节点类型。图1展示了异构学术图的元关系。具体来说,我们使用这些元关系来对权重矩阵参数化,以计算每条边上的注意力。因此,允许不同类型的节点和边维护其特定的表示空间。同时,不同类型的连接节点仍然可以交互、传递和聚合消息,而不受其分布差异的限制。由于其架构的性质,HGT可以通过跨层传递消息来整合来自不同类型的高阶邻居的信息,这可以看作是软元路径。也就是说,即使HGT只将其单跳边作为输入,而不需要手动设计元路径,所提出的注意力机制也可以自动、隐式地学习和提取对不同下游任务重要的元路径。

为了处理图数据的动态特性,我们提出了相对时间编码(RTE)策略来增强HGT。我们不打算将输入图分割成不同的时间戳,而是建议将发生在不同时间的所有边作为一个整体进行维护,并设计RTE策略来对任何持续时间长度的结构性时间依赖关系进行建模,甚至包括不可见的和未来的时间戳。通过端到端训练,RTE使HGT能够自动学习异构图的时间依赖性和演化。

为了处理网络规模的图形数据,我们设计了第一个用于小批量GNN训练的异构子图采样算法HGSampling。它的主要思想是样本异构子图中不同类型的节点与类似的比例,由于直接使用现有的(均匀)GNN抽样方法,如GraphSage [7], FastGCN[1],和LADIES[29],结果在高度不平衡的关于节点和边缘的类型。此外,它还被设计成保持采样子图的密度以最小化信息的丢失。通过HGSampling,所有的GNN模型,包括我们提出的HGT,都可以在任意大小的异构图上进行训练和推断。

我们证明了所提出的异构图Transformer在网络规模开放学术图上的有效性和效率,该开放学术图由1.79亿个节点和20亿个边组成,时间跨度从1900年到2019年,这是迄今为止在异构图上进行的规模最大、跨度最长的表示学习。此外,我们还检查领域特定的图表:计算机科学和医学学术图表。实验结果表明,与最先进的GNNs和专用的异构模型相比,在下游任务中HGT可以显著提高9-21%。我们进一步进行了案例研究,表明了所提出的方法确实能够自动捕获不同任务的隐式元路径的重要性。

成为VIP会员查看完整内容
0
102

大量真实世界的图或网络本质上是异构的,涉及节点类型和关系类型的多样性。异构图嵌入是将异构图的丰富结构和语义信息嵌入到低维节点表示中。现有的模型通常定义多个metapaths在异构图捕捉复合关系和指导邻居选择。但是,这些模型要么忽略节点内容特性,要么沿着元路径丢弃中间节点,要么只考虑一个元路径。为了解决这三个局限性,我们提出了一种新的集合图神经网络模型来提高最终性能。具体来说,MAGNN使用了三个主要组件,即,节点内容转换封装输入节点属性,元内聚合合并中间语义节点,元间聚合合并来自多个元的消息。在三个真实世界的异构图数据集上进行了大量的节点分类、节点聚类和链路预测实验,结果表明MAGNN的预测结果比最先进的基线更准确。

成为VIP会员查看完整内容
0
81
小贴士
相关VIP内容
专知会员服务
49+阅读 · 2020年10月19日
专知会员服务
51+阅读 · 2020年10月18日
专知会员服务
60+阅读 · 2020年10月18日
专知会员服务
77+阅读 · 2020年8月30日
专知会员服务
32+阅读 · 2020年8月19日
最新《图神经网络模型与应用》综述论文
专知会员服务
160+阅读 · 2020年8月2日
专知会员服务
26+阅读 · 2020年6月23日
专知会员服务
29+阅读 · 2020年6月18日
相关论文
Heterogeneous Graph Transformer
Ziniu Hu,Yuxiao Dong,Kuansan Wang,Yizhou Sun
17+阅读 · 2020年3月3日
Zhenzhong Lan,Mingda Chen,Sebastian Goodman,Kevin Gimpel,Piyush Sharma,Radu Soricut
9+阅读 · 2019年10月30日
Liang Yao,Chengsheng Mao,Yuan Luo
11+阅读 · 2019年9月7日
Position-aware Graph Neural Networks
Jiaxuan You,Rex Ying,Jure Leskovec
7+阅读 · 2019年6月11日
Zhengyan Zhang,Xu Han,Zhiyuan Liu,Xin Jiang,Maosong Sun,Qun Liu
4+阅读 · 2019年5月17日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
15+阅读 · 2018年10月24日
Zhenpeng Chen,Sheng Shen,Ziniu Hu,Xuan Lu,Qiaozhu Mei,Xuanzhe Liu
6+阅读 · 2018年6月7日
Rex Ying,Ruining He,Kaifeng Chen,Pong Eksombatchai,William L. Hamilton,Jure Leskovec
9+阅读 · 2018年6月6日
Tommaso Soru,Stefano Ruberto,Diego Moussallem,Edgard Marx,Diego Esteves,Axel-Cyrille Ngonga Ngomo
7+阅读 · 2018年3月21日
Bryan Perozzi,Rami Al-Rfou,Steven Skiena
7+阅读 · 2014年6月27日
Top