题目: A Survey on Network Embedding

摘要: 网络嵌入将网络中的节点分配给低维表示,有效地保持了网络结构。近年来,这一新兴的网络分析范式取得了很大的进展。本文首先对网络嵌入方法进行了分类,然后回顾了网络嵌入方法的发展现状,并指出了其未来的研究方向。我们首先总结了网络嵌入的动机。讨论了经典的图嵌入算法及其与网络嵌入的关系。随后,我们对大量的网络嵌入方法进行了系统的综述,包括结构和属性保持的网络嵌入方法、带边信息的网络嵌入方法和先进的信息保持的网络嵌入方法。此外,还综述了几种网络嵌入的评价方法和一些有用的在线资源,包括网络数据集和软件。最后,我们讨论了利用这些网络嵌入方法构建有效系统的框架,并指出了一些潜在的未来方向。

作者简介: Peng Cui,清华大学计算机科学与技术系媒体与网络实验室副教授。

Jian Pei,现任加拿大大数据科学研究主席(Tier 1)和西蒙弗雷泽大学(Simon Fraser University)计算科学学院教授。他还是统计与精算科学系、科学院和健康科学院的副院士。他是数据科学、大数据、数据挖掘和数据库系统等领域的知名首席研究员。他的专长是为新的数据密集型应用开发高效的数据分析技术。他被公认为计算机械协会(ACM)的研究员,他为数据挖掘的基础、方法和应用做出贡献,并作为电气与电子工程师协会(IEEE)的研究员,为他的数据挖掘和知识发现做出贡献。

成为VIP会员查看完整内容
0
49

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。

现实网络由多种相互作用、不断进化的实体组成,而现有的研究大多将其简单地描述为特定的静态网络,而没有考虑动态网络的演化趋势。近年来,动态网络的特性跟踪研究取得了重大进展,利用网络中实体和链接的变化来设计网络嵌入技术。与被广泛提出的静态网络嵌入方法相比,动态网络嵌入努力将节点编码为低维密集表示,有效地保持了网络结构和时间动态,有利于处理各种下游机器学习任务。本文对动态网络嵌入问题进行了系统的研究,重点介绍了动态网络嵌入的基本概念,首次对现有的动态网络嵌入技术进行了分类,包括基于矩阵分解的、基于跃格的、基于自动编码器的、基于神经网络的等嵌入方法。此外,我们仔细总结了常用的数据集和各种各样的后续任务,动态网络嵌入可以受益。在此基础上,提出了动态嵌入模型、大规模动态网络、异构动态网络、动态属性网络、面向任务的动态网络嵌入以及更多的嵌入空间等现有算法面临的挑战,并提出了未来可能的研究方向。

成为VIP会员查看完整内容
0
78

题目: A Survey on Dynamic Network Embedding

简介:

现实世界的网络由各种相互作用和不断发展的实体组成,而大多数现有研究只是将它们描述为特定的静态网络,而没有考虑动态网络的发展趋势。近来,在跟踪动态网络特性方面取得了重大进展,它利用网络中实体和链接的变化来设计网络嵌入技术。与静态网络嵌入方法相比,动态网络嵌入致力于将节点编码为低维密集表示形式,从而有效地保留了网络结构和时间动态特性,这对众多下游机器学习任务是有益的。在本文中,我们对动态网络嵌入进行了系统的调查。特别是,描述了动态网络嵌入的基本概念,特别是,我们首次提出了一种基于现有动态网络嵌入技术的新分类法,包括基于矩阵分解的方法,基于Skip-Gram的方法,基于自动编码器,基于神经网络和其他嵌入方法。此外,我们仔细总结了常用的数据集以及动态网络嵌入可以带来的各种后续任务。之后,我们提出了现有算法面临的几个挑战,并概述了促进未来研究的可能方向,例如动态嵌入模型,大规模动态网络,异构动态网络,动态属性网络,面向任务的动态网络嵌入和更多的嵌入空间。

成为VIP会员查看完整内容
0
49

【导读】近年来,随着网络数据量的不断增加,挖掘图形数据已成为计算机科学领域的热门研究课题,在学术界和工业界都得到了广泛的研究。但是,大量的网络数据为有效分析带来了巨大的挑战。因此激发了图表示的出现,该图表示将图映射到低维向量空间中,同时保持原始图结构并支持图推理。图的有效表示的研究具有深远的理论意义和重要的现实意义,本教程将介绍图表示/网络嵌入的一些基本思想以及一些代表性模型。

关于图或网络的文献有两个名称:图表示和网络嵌入。我们注意到图和网络都指的是同一种结构,尽管它们每个都有自己的术语,例如,图和网络的顶点和边。挖掘图/网络的核心依赖于正确表示的图/网络,这使得图/网络上的表示学习成为学术界和工业界的基本研究问题。传统表示法直接基于拓扑图来表示图,通常会导致许多问题,包括稀疏性,高计算复杂性等,从而激发了基于机器学习的方法的出现,这种方法探索了除矢量空间中的拓扑结构外还能够捕获额外信息的潜在表示。因此,对于图来说,“良好”的潜在表示可以更加精确的表示图形。但是,学习网络表示面临以下挑战:高度非线性,结构保持,属性保持,稀疏性。

深度学习在处理非线性方面的成功为我们提供了研究新方向,我们可以利用深度学习来提高图形表示学习的性能,作者在教程中讨论了将深度学习技术与图表示学习相结合的一些最新进展,主要分为两类方法:面向结构的深层方法和面向属性的深层方法。

对于面向结构的方法:

  • 结构性深层网络嵌入(SDNE),专注于保持高阶邻近度。

  • 深度递归网络嵌入(DRNE),其重点是维护全局结构。

  • 深度超网络嵌入(DHNE),其重点是保留超结构。

对于面向属性的方法:

  • 专注于不确定性属性的深度变异网络嵌入(DVNE)。

  • 深度转换的基于高阶Laplacian高斯过程(DepthLGP)的网络嵌入,重点是动态属性。

本教程的第二部分就以上5种方法,通过对各个方法的模型介绍、算法介绍、对比分析等不同方面进行详细介绍。

1、Structural Deep Network Embedding

network embedding,是为网络中的节点学习出一个低维表示的方法。目的在于在低维中保持高度非线性的网络结构特征,但现有方法多采用浅层网络不足以挖掘高度非线性,或同时保留局部和全局结构特征。本文提出一种结构化深度网络嵌入方法,叫SDNE该方法用半监督的深度模型来捕捉高度非线性结构,通过结合一阶相似性(监督)和二阶相似性(非监督)来保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

网络嵌入旨在保留嵌入空间中的顶点相似性。现有方法通常通过节点之间的连接或公共邻域来定义相似性,即结构等效性。但是,位于网络不同部分的顶点可能具有相似的角色或位置,即规则的等价关系,在网络嵌入的文献中基本上忽略了这一点。以递归的方式定义规则对等,即两个规则对等的顶点具有也规则对等的网络邻居。因此,文章中提出了一种名为深度递归网络嵌入(DRNE)的新方法来学习具有规则等价关系的网络嵌入。更具体地说,我们提出了一种层归一化LSTM,以递归的方式通过聚合邻居的表示方法来表示每个节点。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超边是不可分解的)的基础上保留object的一阶和二阶相似性,学习异质网络表示。于与HEBE的区别在于,本文考虑了网络high-oeder网络结构和高度稀疏性。

传统的基于clique expansion 和star expansion的方法,显式或者隐式地分解网络。也就说,分解后hyper edge节点地子集,依然可以构成一个新的超边。对于同质网络这个假设是合理地,因为同质网络地超边,大多数情况下都是根据潜在地相似性(共同地标签等)构建的。

4、** Deep variational network embedding in wasserstein space**

大多数现有的嵌入方法将节点作为点向量嵌入到低维连续空间中。这样,边缘的形成是确定性的,并且仅由节点的位置确定。但是,现实世界网络的形成和发展充满不确定性,这使得这些方法不是最优的。为了解决该问题,在本文中提出了一种新颖的在Wasserstein空间中嵌入深度变分网络(DVNE)。所提出的方法学习在Wasserstein空间中的高斯分布作为每个节点的潜在表示,它可以同时保留网络结构并为节点的不确定性建模。具体来说,我们使用2-Wasserstein距离作为分布之间的相似性度量,它可以用线性计算成本很好地保留网络中的传递性。此外,我们的方法通过深度变分模型隐含了均值和方差的数学相关性,可以通过均值矢量很好地捕获节点的位置,而由方差可以很好地捕获节点的不确定性。此外,本文方法通过保留网络中的一阶和二阶邻近性来捕获局部和全局网络结构。

5、Learning embeddings of out-of-sample nodes in dynamic networks

迄今为止的网络嵌入算法主要是为静态网络设计的,在学习之前,所有节点都是已知的。如何为样本外节点(即学习后到达的节点)推断嵌入仍然是一个悬而未决的问题。该问题对现有方法提出了很大的挑战,因为推断的嵌入应保留复杂的网络属性,例如高阶邻近度,与样本内节点嵌入具有相似的特征(即具有同质空间),并且计算成本较低。为了克服这些挑战,本文提出了一种深度转换的高阶拉普拉斯高斯过程(DepthLGP)方法来推断样本外节点的嵌入。DepthLGP结合了非参数概率建模和深度学习的优势。特别是,本文设计了一个高阶Laplacian高斯过程(hLGP)来对网络属性进行编码,从而可以进行快速和可扩展的推理。为了进一步确保同质性,使用深度神经网络来学习从hLGP的潜在状态到节点嵌入的非线性转换。DepthLGP是通用的,因为它适用于任何网络嵌入算法学习到的嵌入。

成为VIP会员查看完整内容
0
188

题目: Attention Models in Graphs: A Survey

摘要: 图结构数据自然地出现在许多不同的应用领域。通过将数据表示为图形,我们可以捕获实体(即节点)以及它们之间的关系(即边)。许多有用的见解可以从图形结构的数据中得到,这一点已被越来越多的关注于图形挖掘的工作所证明。然而,在现实世界中,图可以是大的-有许多复杂的模式-和噪声,这可能会给有效的图挖掘带来问题。解决这一问题的一个有效方法是将“注意力”融入到图挖掘解决方案中。注意机制允许一个方法关注图中与任务相关的部分,帮助它做出更好的决策。在这项工作中,我们对图形注意模型这一新兴领域的文献进行了全面而集中的调查。我们介绍了三个直观的分类组现有的工作。它们基于问题设置(输入和输出类型)、使用的注意机制类型和任务(例如,图形分类、链接预测等)。我们通过详细的例子来激励我们的分类法,并使用每种方法从一个独特的角度来调查竞争方法。最后,我们强调了该领域的几个挑战,并讨论了未来工作的前景。

作者简介: Ryan A. Rossi,目前在Adobe Research工作,研究领域是机器学习;涉及社会和物理现象中的大型复杂关系(网络/图形)数据的理论、算法和应用。在普渡大学获得了计算机科学博士和硕士学位。

Nesreen K. Ahmed,英特尔实验室的高级研究员。她在普渡大学计算机科学系获得博士学位,在普渡大学获得统计学和计算机科学硕士学位。研究方向是机器学习和数据挖掘,涵盖了大规模图挖掘、统计机器学习的理论和算法,以及它们在社会和信息网络中的应用。

成为VIP会员查看完整内容
0
98

题目: Network Representation Learning: A Survey

摘要:

随着信息技术的广泛应用,信息网络越来越受到人们的欢迎,它可以捕获各种学科之间的复杂关系,如社交网络、引用网络、电信网络和生物网络。对这些网络的分析揭示了社会生活的不同方面,如社会结构、信息传播和交流模式。然而,在现实中,大规模的信息网络往往使网络分析任务计算昂贵或难以处理。网络表示学习是近年来提出的一种新的学习范式,通过保留网络拓扑结构、顶点内容和其它边信息,将网络顶点嵌入到低维向量空间中。这有助于在新的向量空间中方便地处理原始网络,以便进行进一步的分析。在这项调查中,我们全面回顾了目前在数据挖掘和机器学习领域的网络表示学习的文献。我们提出了新的分类法来分类和总结最先进的网络表示学习技术,根据潜在的学习机制、要保留的网络信息、以及算法设计和方法。我们总结了用于验证网络表示学习的评估协议,包括已发布的基准数据集、评估方法和开源算法。我们还进行了实证研究,以比较代表性的算法对常见数据集的性能,并分析其计算复杂性。最后,我们提出有希望的研究方向,以促进未来的研究。

作者简介:

Xingquan Zhu是佛罗里达大西洋大学计算机与电气工程和计算机科学系的教授,在中国上海复旦大学获得了计算机科学博士学位。曾在多家研究机构和大学工作过,包括微软亚洲研究院(实习)、普渡大学、佛蒙特大学和悉尼科技大学。主要研究方向:数据挖掘、机器学习、多媒体系统、生物信息学。

成为VIP会员查看完整内容
0
54

题目: Graph Summarization Methods and Applications: A Survey

摘要:

虽然计算资源的进步使处理大量数据成为可能,但人类识别这些数据模式的能力并没有相应提高。因此,压缩和简化数据的高效计算方法对于提取可操作的见解变得至关重要。特别是,虽然对数据摘要技术进行了广泛的研究,但直到最近才开始流行对相互关联的数据或图进行汇总。这项调查是一个结构化的,全面的概述了最先进的方法,以总结图形数据。我们首先讨论了图形摘要背后的动机和挑战。然后,我们根据作为输入的图形类型对摘要方法进行分类,并根据核心方法进一步组织每个类别。最后,我们讨论了总结在真实世界图上的应用,并通过描述该领域的一些开放问题进行了总结。

作者简介:

Yike Liu是密西根大学物理系五年级的博士生,也是计算机科学与工程系的一名硕士研究生。我是叶杰平教授的顾问。主要研究方向是深度学习和强化学习,尤其是在交通数据上的应用。在此之前,从事过基于图形的机器学习和数据挖掘,特别是图形总结和图形聚类,在这些工作中,开发了图形挖掘算法,帮助更好地理解底层的图形组织并理解它。

Tara Safavi是密西根大学博士研究生,研究重点是知识表示及其在以人为中心的任务中的使用、评估和解释,还对更广泛的AI+社会问题感兴趣,比如隐私、偏见和环境可持续性。研究目前得到了美国国家科学基金会(NSF)研究生奖学金和谷歌女性科技创造者奖学金的支持。

成为VIP会员查看完整内容
0
26

题目: Graph Embedding Techniques, Applications, and Performance: A Survey

摘要: 图形,如社交网络、单词共现网络和通信网络,自然地出现在各种实际应用中。通过对它们的分析,可以深入了解社会结构、语言和不同的交流模式。已经提出了许多方法来进行分析。近年来,在向量空间中使用图节点表示的方法受到了研究界的广泛关注。在这项调查中,我们对文献中提出的各种图嵌入技术进行了全面和结构化的分析。我们首先介绍了嵌入任务及其面临的挑战,如可伸缩性、维度的选择、要保留的特性以及可能的解决方案。然后,我们提出了基于因子分解法、随机游动和深度学习的三类方法,并举例说明了每类算法的代表性,分析了它们在不同任务中的性能。我们在一些常见的数据集上评估这些最新的方法,并将它们的性能进行比较。我们的分析最后提出了一些潜在的应用和未来的方向。

作者简介: Palash Goyal,南加州大学计算机系博士。

Emilio Ferrara,南加州大学计算机科学系助理研究教授和应用数据科学副主任,南加州大学信息科学研究所机器智能和数据科学(MINDS)小组的研究组长和首席研究员。

成为VIP会员查看完整内容
0
46

题目: A Comprehensive Survey of Graph Embedding: Problems, Techniques and Applications 摘要: 图形是一种重要的数据表示形式,它出现在现实世界的各种场景中。有效的图形分析可以让用户更深入地了解数据背后的内容,从而有利于节点分类、节点推荐、链路预测等许多有用的应用。然而,大多数图形分析方法都存在计算量大、空间开销大的问题。图嵌入是解决图分析问题的有效途径。它将图形数据转换为一个低维空间,其中图形结构信息和图形属性被最大程度地保留。在这项调查中,我们对图嵌入的文献进行了全面的回顾。本文首先介绍了图嵌入的形式化定义及相关概念。之后,我们提出了两个分类的图形嵌入,对应于什么挑战存在于不同的图形嵌入问题设置,以及现有的工作如何解决这些挑战,在他们的解决方案。最后,我们总结了图形嵌入在计算效率、问题设置、技术和应用场景等方面的应用,并提出了四个有前途的研究方向。

作者简介: Hongyun Cai,经验丰富的研究人员,有在研究行业工作的经验。精通计算机科学,C++,数据库,Java和机器学习。昆士兰大学计算机科学专业研究生,哲学博士。

Vincent W. Zheng,新加坡先进数字科学中心(ADSC)的研究科学家,也是伊利诺伊大学香槟分校协调科学实验室的研究附属机构。他目前领导着ADSC的大型社交项目。该项目旨在利用目前在我们的数字社会(即社交媒体)中普遍存在的巨大“人类传感器”,并实现对此类数据的社会分析,从而建立一个以人为中心的网络系统。他还对图形表示学习、深度学习、自然语言处理、移动计算等领域感兴趣,并在社交挖掘、文本挖掘、实际位置和活动识别、用户分析、移动推荐、增强现实等方面有应用。

Kevin Chen-Chuan Chang是伊利诺伊大学香槟分校计算机科学教授,他领导了数据搜索、集成和挖掘的前沿数据实验室。他在国立台湾大学获得理学学士学位,在斯坦福大学获得电机工程博士学位。他的研究涉及大规模信息访问,用于搜索、挖掘和跨结构化和非结构化大数据的集成,目前的重点是“以实体为中心”的Web搜索/挖掘和社交媒体分析。他在VLDB 2000年和2013年获得了两项最佳论文奖,2002年获得了NSF职业奖,2003年获得了NCSA院士奖,2004年和2005年获得了IBM院士奖,2008年获得了创业领导力学院院士奖,并在2001年、2004年、2005年、2006年、2010年和2011年获得了伊利诺伊大学不完整的优秀教师名单。他热衷于将研究成果带到现实世界中,并与学生共同创办了伊利诺伊大学(University of Illinois)的初创公司Cazoodle,致力于在网络上深化垂直的“数据感知”搜索。

成为VIP会员查看完整内容
0
33

题目: Graph Neural Networks: A Review of Methods and Applications

摘要: 许多学习任务都需要处理包含元素间丰富关系信息的图形数据。建模物理系统、学习分子指纹、预测蛋白质界面和疾病分类需要一个模型从图形输入中学习。在文本、图像等非结构化数据的学习等领域,对句子的依存树、图像的场景图等提取的结构进行推理是一个重要的研究课题,同时也需要建立图形推理模型。图神经网络(GNNs)是通过图节点之间的信息传递来获取图的依赖性的连接模型。与标准神经网络不同,图神经网络保留了一种状态,这种状态可以以任意深度表示来自其邻域的信息。虽然原始GNNs已经被发现很难训练到固定的点,但是最近在网络结构、优化技术和并行计算方面的进展已经使它能够成功地学习。近年来,基于图形卷积网络(GCN)、图形注意网络(GAT)、门控图形神经网络(GGNN)等图形神经网络变体的系统在上述许多任务上都表现出了突破性的性能。在这项调查中,我们提供了一个详细的检讨现有的图形神经网络模型,系统分类的应用,并提出了四个开放的问题,为今后的研究。

作者简介: Jie Zhou,CS的研究生,从事系统研究,主要研究计算机安全。他毕业于厦门大学,在罗切斯特大学获得硕士学位及博士学位。

Zhiyuan Liu,清华大学计算机系NLP实验室副教授。

成为VIP会员查看完整内容
0
72
小贴士
相关VIP内容
专知会员服务
78+阅读 · 2020年6月17日
相关资讯
图神经网络(Graph Neural Networks,GNN)综述
极市平台
47+阅读 · 2019年11月27日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
333+阅读 · 2019年4月30日
清华大学孙茂松组:图神经网络必读论文列表
机器之心
38+阅读 · 2018年12月27日
清华大学图神经网络综述:模型与应用
机器之心
43+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
154+阅读 · 2018年12月26日
网络表示学习综述:一文理解Network Embedding
PaperWeekly
24+阅读 · 2018年8月14日
Network Embedding 指南
专知
16+阅读 · 2018年8月13日
网络表示学习领域(NRL/NE)必读论文汇总
AI科技评论
10+阅读 · 2018年2月18日
相关论文
Wenwu Zhu,Xin Wang,Peng Cui
18+阅读 · 2020年1月2日
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
Ruochi Zhang,Yuesong Zou,Jian Ma
11+阅读 · 2019年11月6日
Tutorial on NLP-Inspired Network Embedding
Boaz Shmueli
5+阅读 · 2019年10月16日
Graph Neural Networks: A Review of Methods and Applications
Jie Zhou,Ganqu Cui,Zhengyan Zhang,Cheng Yang,Zhiyuan Liu,Lifeng Wang,Changcheng Li,Maosong Sun
8+阅读 · 2019年3月7日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
17+阅读 · 2019年1月3日
Ziwei Zhang,Peng Cui,Wenwu Zhu
37+阅读 · 2018年12月11日
dynnode2vec: Scalable Dynamic Network Embedding
Sedigheh Mahdavi,Shima Khoshraftar,Aijun An
8+阅读 · 2018年12月6日
Vachik S. Dave,Baichuan Zhang,Pin-Yu Chen,Mohammad Al Hasan
4+阅读 · 2018年4月23日
Ryan A. Rossi,Nesreen K. Ahmed,Eunyee Koh
10+阅读 · 2018年1月28日
Jiezhong Qiu,Yuxiao Dong,Hao Ma,Jian Li,Kuansan Wang,Jie Tang
15+阅读 · 2017年12月12日
Top