清华大学朱文武课题组:《图深度学习》综述论文,15页pdf

2018 年 12 月 16 日 专知
清华大学朱文武课题组:《图深度学习》综述论文,15页pdf

【导读】今年以来,DeepMind、Google大脑、MIT等各大研究机构相继发表了一系列的关于图深度学习的论文,包括关系性RNN、关系性深度强化学习、图卷积神经网络等,是当前的研究热点。今日,清华大学朱文武老师课题组在ArXiv上发表了一篇《图深度学习》综述论文,详细全面总结了最新图深度学习的进展,是研究该领域的重要的参阅资料。


作者介绍

张子威,清华大学计算机科学与技术系博士生,研究兴趣为网络嵌入与社会网络分析,特别是运用矩阵分析理论

https://zw-zhang.github.io/


崔鹏,清华计算机系副教授、博导,CCF YOCSEF 学术委员会委员,中国科协第九届全国委员会委员。研究领域包括大数据环境下的因果推理与稳定预测、网络表征学习、社会动力学建模。已在数据挖掘及多媒体领域顶级国际期刊和会议上发表论文百余篇,并先后获得7项国际会议及期刊最佳论文奖。目前担任IEEE TKDE、IEEE TBD、ACM TOMM等三个Transactions期刊的编委。获得中国计算机学会青年科学家奖,国际计算机协会(ACM)中国新星奖,并入选中国科协首届青年人才托举计划。曾先后获得教育部自然科学一等奖、北京市科技进步一等奖、中国电子学会自然科学一等奖。

http://pengcui.thumedialab.com/


朱文武,CCF杰出会员。清华大学计算机系副主任、数据科学研究院首席科学家,国家“千人计划”特聘专家,国家973项目首席科学家。 IEEE Fellow、AAAS Fellow、SPIE Fellow、ACM Distinguished Scientist。曾任微软亚洲研究院主任研究员,英特尔中国研究院首席科学家,及美国贝尔实验室研究员等职。现主要从事三元空间大数据计算、视频大数据计算、未来多媒体网络等研究工作。现担任IEEE Transactions on Multimedia 主编。曾6次获ACM及IEEE等国际最佳论文奖。获2012年度国家自然科学二等奖(排名第2)


图深度学习

网址:

http://www.zhuanzhi.ai/paper/abe85f14a3697712fd1c3d0c3b5ddcb0

摘要

从声学、图像到自然语言处理,深度学习在许多领域都取得了成功。然而,将深度学习应用于无所不在的图数据并非易事,因为图形具有独特的特性。近年来,这一领域的研究取得了很大的进展,极大地推动了图分析技术的发展。在本研究中,我们全面回顾了应用于图深度学习各种方法。我们将现有的方法分为三大类:半监督方法,包括图神经网络和图卷积网络; 非监督方法,包括图自动编码器; 然后,我们根据这些方法的发展历史,系统地概述这些方法。我们还分析了这些方法的差异以及如何组合不同的体系结构。最后,简要概述了它们的应用,并讨论了未来可能的发展方向。

图深度学习方法分类

请关注专知公众号(点击上方蓝色专知进行关注)

  • 后台回复“GDLS” 就可以获取图深度学习页pdf下载链接


-END-

专 · 知

人工智能领域26个主题知识资料全集获取与加入专知人工智能服务群: 欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!


请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!



请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~

 AI 项目技术 & 商务合作:bd@zhuanzhi.ai, 或扫描上面二维码联系!

请关注专知公众号,获取人工智能的专业知识!


点击“阅读原文”,使用专知

登录查看更多
37

相关内容

【导读】近年来,随着网络数据量的不断增加,挖掘图形数据已成为计算机科学领域的热门研究课题,在学术界和工业界都得到了广泛的研究。但是,大量的网络数据为有效分析带来了巨大的挑战。因此激发了图表示的出现,该图表示将图映射到低维向量空间中,同时保持原始图结构并支持图推理。图的有效表示的研究具有深远的理论意义和重要的现实意义,本教程将介绍图表示/网络嵌入的一些基本思想以及一些代表性模型。

关于图或网络的文献有两个名称:图表示和网络嵌入。我们注意到图和网络都指的是同一种结构,尽管它们每个都有自己的术语,例如,图和网络的顶点和边。挖掘图/网络的核心依赖于正确表示的图/网络,这使得图/网络上的表示学习成为学术界和工业界的基本研究问题。传统表示法直接基于拓扑图来表示图,通常会导致许多问题,包括稀疏性,高计算复杂性等,从而激发了基于机器学习的方法的出现,这种方法探索了除矢量空间中的拓扑结构外还能够捕获额外信息的潜在表示。因此,对于图来说,“良好”的潜在表示可以更加精确的表示图形。但是,学习网络表示面临以下挑战:高度非线性,结构保持,属性保持,稀疏性。

深度学习在处理非线性方面的成功为我们提供了研究新方向,我们可以利用深度学习来提高图形表示学习的性能,作者在教程中讨论了将深度学习技术与图表示学习相结合的一些最新进展,主要分为两类方法:面向结构的深层方法和面向属性的深层方法。

对于面向结构的方法:

  • 结构性深层网络嵌入(SDNE),专注于保持高阶邻近度。

  • 深度递归网络嵌入(DRNE),其重点是维护全局结构。

  • 深度超网络嵌入(DHNE),其重点是保留超结构。

对于面向属性的方法:

  • 专注于不确定性属性的深度变异网络嵌入(DVNE)。

  • 深度转换的基于高阶Laplacian高斯过程(DepthLGP)的网络嵌入,重点是动态属性。

本教程的第二部分就以上5种方法,通过对各个方法的模型介绍、算法介绍、对比分析等不同方面进行详细介绍。

1、Structural Deep Network Embedding

network embedding,是为网络中的节点学习出一个低维表示的方法。目的在于在低维中保持高度非线性的网络结构特征,但现有方法多采用浅层网络不足以挖掘高度非线性,或同时保留局部和全局结构特征。本文提出一种结构化深度网络嵌入方法,叫SDNE该方法用半监督的深度模型来捕捉高度非线性结构,通过结合一阶相似性(监督)和二阶相似性(非监督)来保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

网络嵌入旨在保留嵌入空间中的顶点相似性。现有方法通常通过节点之间的连接或公共邻域来定义相似性,即结构等效性。但是,位于网络不同部分的顶点可能具有相似的角色或位置,即规则的等价关系,在网络嵌入的文献中基本上忽略了这一点。以递归的方式定义规则对等,即两个规则对等的顶点具有也规则对等的网络邻居。因此,文章中提出了一种名为深度递归网络嵌入(DRNE)的新方法来学习具有规则等价关系的网络嵌入。更具体地说,我们提出了一种层归一化LSTM,以递归的方式通过聚合邻居的表示方法来表示每个节点。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超边是不可分解的)的基础上保留object的一阶和二阶相似性,学习异质网络表示。于与HEBE的区别在于,本文考虑了网络high-oeder网络结构和高度稀疏性。

传统的基于clique expansion 和star expansion的方法,显式或者隐式地分解网络。也就说,分解后hyper edge节点地子集,依然可以构成一个新的超边。对于同质网络这个假设是合理地,因为同质网络地超边,大多数情况下都是根据潜在地相似性(共同地标签等)构建的。

4、** Deep variational network embedding in wasserstein space**

大多数现有的嵌入方法将节点作为点向量嵌入到低维连续空间中。这样,边缘的形成是确定性的,并且仅由节点的位置确定。但是,现实世界网络的形成和发展充满不确定性,这使得这些方法不是最优的。为了解决该问题,在本文中提出了一种新颖的在Wasserstein空间中嵌入深度变分网络(DVNE)。所提出的方法学习在Wasserstein空间中的高斯分布作为每个节点的潜在表示,它可以同时保留网络结构并为节点的不确定性建模。具体来说,我们使用2-Wasserstein距离作为分布之间的相似性度量,它可以用线性计算成本很好地保留网络中的传递性。此外,我们的方法通过深度变分模型隐含了均值和方差的数学相关性,可以通过均值矢量很好地捕获节点的位置,而由方差可以很好地捕获节点的不确定性。此外,本文方法通过保留网络中的一阶和二阶邻近性来捕获局部和全局网络结构。

5、Learning embeddings of out-of-sample nodes in dynamic networks

迄今为止的网络嵌入算法主要是为静态网络设计的,在学习之前,所有节点都是已知的。如何为样本外节点(即学习后到达的节点)推断嵌入仍然是一个悬而未决的问题。该问题对现有方法提出了很大的挑战,因为推断的嵌入应保留复杂的网络属性,例如高阶邻近度,与样本内节点嵌入具有相似的特征(即具有同质空间),并且计算成本较低。为了克服这些挑战,本文提出了一种深度转换的高阶拉普拉斯高斯过程(DepthLGP)方法来推断样本外节点的嵌入。DepthLGP结合了非参数概率建模和深度学习的优势。特别是,本文设计了一个高阶Laplacian高斯过程(hLGP)来对网络属性进行编码,从而可以进行快速和可扩展的推理。为了进一步确保同质性,使用深度神经网络来学习从hLGP的潜在状态到节点嵌入的非线性转换。DepthLGP是通用的,因为它适用于任何网络嵌入算法学习到的嵌入。

成为VIP会员查看完整内容
0
192

题目: A Survey on Network Embedding

摘要: 网络嵌入将网络中的节点分配给低维表示,有效地保持了网络结构。近年来,这一新兴的网络分析范式取得了很大的进展。本文首先对网络嵌入方法进行了分类,然后回顾了网络嵌入方法的发展现状,并指出了其未来的研究方向。我们首先总结了网络嵌入的动机。讨论了经典的图嵌入算法及其与网络嵌入的关系。随后,我们对大量的网络嵌入方法进行了系统的综述,包括结构和属性保持的网络嵌入方法、带边信息的网络嵌入方法和先进的信息保持的网络嵌入方法。此外,还综述了几种网络嵌入的评价方法和一些有用的在线资源,包括网络数据集和软件。最后,我们讨论了利用这些网络嵌入方法构建有效系统的框架,并指出了一些潜在的未来方向。

作者简介: Peng Cui,清华大学计算机科学与技术系媒体与网络实验室副教授。

Jian Pei,现任加拿大大数据科学研究主席(Tier 1)和西蒙弗雷泽大学(Simon Fraser University)计算科学学院教授。他还是统计与精算科学系、科学院和健康科学院的副院士。他是数据科学、大数据、数据挖掘和数据库系统等领域的知名首席研究员。他的专长是为新的数据密集型应用开发高效的数据分析技术。他被公认为计算机械协会(ACM)的研究员,他为数据挖掘的基础、方法和应用做出贡献,并作为电气与电子工程师协会(IEEE)的研究员,为他的数据挖掘和知识发现做出贡献。

成为VIP会员查看完整内容
0
52

报告主题: Frontiers in Network Embedding and GCN

报告摘要: 如今,越来越多的网络广泛地用于应用程序中。 众所周知,网络数据既复杂又具有挑战性。 为了有效地处理图形数据,第一个关键挑战是网络数据表示,即如何正确表示网络,以便可以在时间和空间上高效执行高级分析任务,例如模式发现,分析和预测。 在本次演讲中,我将介绍网络嵌入和GCN的最新趋势和成就,包括解散的GCN,反攻击GCN以及用于网络嵌入的自动机器学习。

邀请嘉宾: 崔鹏 清华大学计算机系长聘副教授,博士生导师。研究兴趣聚焦于大规模网络表征学习以及大数据驱动的因果推理和稳定预测。近5年在数据挖掘及人工智能领域顶级会议发表论文100余篇,先后5次获得顶级国际会议或期刊论文奖,并先后两次入选 数据挖掘领域顶级国际会议KDD最佳论文专刊。担任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等国际期刊编委。曾获得国家自然科学二等奖、教育部自然科学一等奖、电子学会自然科学一等奖、CCF-IEEE CS青年科学家奖、ACM中国新星奖。入选中组部万人计划青年拔 尖人才,并当选中国科协全国委员会委员。

成为VIP会员查看完整内容
0
27

报告主题:图神经网络 (GNN) 算法及其应用

报告摘要:图神经网络将深度学习方法延伸到非欧几里得的图数据上,大大提高了图数据应用的精度。在这个报告中,我将简单回顾一下图卷积网络(GCN)并探讨如何提高GCN在图数据上的表示学习能力。我们的研究发现几个巧妙、简单的方法可以有效的提高GCN的表示能力,该方法可以等价表示为图注意力网络(GAT)。该方法的有效性在包括阿里巴巴等多个超大规模数据集上得到验证。

邀请嘉宾:唐杰,清华大学计算机系教授、系副主任,获杰青。研究兴趣包括:数据挖掘、社交网络和知识图谱。发表论文200余篇,引用10000余次(个人h-指数57)。主持研发了研究者社会网络挖掘系统AMiner,吸引了220个国家/地区1000多万独立IP访问。曾担任国际期刊ACM TKDD的执行主编和国际会议CIKM’16、WSDM’15的PC Chair、KDD’18大会副主席。作为第1完成人获北京市科技进步一等奖、中国人工智能学会科技进步一等奖、KDD杰出贡献奖。

成为VIP会员查看完整内容
2019-GNN-a-review-唐杰.pdf
0
69
小贴士
相关VIP内容
【新书】图神经网络导论,清华大学刘知远老师著作
专知会员服务
231+阅读 · 2020年6月12日
相关论文
Wenwu Zhu,Xin Wang,Peng Cui
18+阅读 · 2020年1月2日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
76+阅读 · 2019年12月19日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
12+阅读 · 2019年11月23日
Tensor Graph Convolutional Networks for Prediction on Dynamic Graphs
Osman Asif Malik,Shashanka Ubaru,Lior Horesh,Misha E. Kilmer,Haim Avron
6+阅读 · 2019年10月16日
Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks
Vineet Kosaraju,Amir Sadeghian,Roberto Martín-Martín,Ian Reid,S. Hamid Rezatofighi,Silvio Savarese
3+阅读 · 2019年7月17日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
11+阅读 · 2019年6月25日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
8+阅读 · 2019年3月10日
Deep Graph Infomax
Petar Veličković,William Fedus,William L. Hamilton,Pietro Liò,Yoshua Bengio,R Devon Hjelm
8+阅读 · 2018年12月21日
Ziwei Zhang,Peng Cui,Wenwu Zhu
37+阅读 · 2018年12月11日
Yike Liu,Abhilash Dighe,Tara Safavi,Danai Koutra
3+阅读 · 2017年4月12日
Top