2019-2020review3-图神经网络入门篇(Graph Neural Networks )

graph embeddiing 发展脉络:

一、初期出现的算法:deep walk、line、node2vec、sdne、eges等,详见2019-2020review5-embedding入门(https://www.jianshu.com/p/993f80d1b959

二、进一步深化算法:图神经网络

1、从综述说起哈:

(1)图神经网络的大致分类【1】:

图神经网络(GNN) 被分成了 5 个类别:图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。图卷积网络在捕捉架构依存关系上扮演着核心角色:

图神经网络分类

(2)我们关注的是图神经网络和网络嵌入:

图神经网络 vs. 网络嵌入。对图神经网络的研究与图嵌入或网络嵌入紧密相关,这也是数据挖掘和机器学习社区日益关注的一个话题 。网络嵌入旨在通过保留网络拓扑架构和节点内容信息,将网络顶点表示到低维向量空间中,以使任何后续的图分析任务(如分类、聚类和推荐)都可以通过使用简单的现成机器学习算法(如用于分类的支持向量机)轻松执行。许多网络嵌入算法都是无监督算法,它们大致可分为三组 ,即矩阵分解 、随机游走和深度学习方法。用于网络嵌入的深度学习方法同时还属于图神经网络,包括基于图自编码器的算法(如 DNGR 和 SDNE)和具有无监督训练的图卷积神经网络(如 GraphSage)。下图描述了网络嵌入和图神经网络的区别。

网络嵌入和图神经网络

图嵌入的无监督学习。如果图中无可用类别标签,我们可以在一个端到端框架中以完全无监督的方式学习图嵌入。这些算法通过两种方式利用边级(edge-level)信息。一种简单的方法是采用自编码器框架,其中编码器使用图卷积层将图嵌进潜在表征中,然后使用解码器重构图结构 。另一种方法是利用负采样方法,采样一部分节点对作为负对(negative pair),而图中已有的节点作为正对(positive pair)。然后在卷积层之后应用 logistic 回归层,以用于端到端学习。

2、接下来开始重头戏GCN:

(1)先从直观上感受GCN

什么是图卷积神经网络【2】

图卷积网络图示

如何理解图卷积算法?

第一步:发射(send)每一个节点将自身的特征信息经过变换后发送给邻居节点。这一步是在对节点的特征信息进行抽取变换。

第二步:接收(receive)每个节点将邻居节点的特征信息聚集起来。这一步是在对节点的局部结构信息进行融合。

第三步:变换(transform)把前面的信息聚集之后做非线性变换,增加模型的表达能力。

(2)再从框架图感受GCN

来自论文的原汁原味的框架图【3】:

带有一阶滤波器的多层图卷积神经网络

具体来说,我们先看这个框架的大致idea:输入一张图,经过一层层特征抽取以及变换,最后输出一张图。

GCN框架

(3)最后从公式上感受GCN

GCN,图卷积神经网络,实际上跟 CNN 的作用一样,就是一个特征提取器,只不过它的对象是图数据。GCN 精妙地设计了一种从图数据中提取特征的方法,从而让我们可以使用这些特征去对图数据进行节点分类(node classification)、图分类(graph classification)、边预测(link prediction),还可以顺便得到图的嵌入表示(graph embedding),可见用途广泛。

从论文原文原汁原味感受公式:

公式详解

公式的直观感受:

公式直观感受

用我们通俗的话翻译一下:

公式详解

公式特点说明:

公式特点说明

GCN的一大特点:

node embedding基本自动聚类

前期了解完毕,下面是详细了解图卷积算子~

图卷积算子

待补充论文公式详细推导过程。。。

参考文献

1、图神经网络概述第三弹:来自IEEE Fellow的GNN综述

https://www.jiqizhixin.com/articles/2019-01-07-8

2、浅析图卷积神经网络

https://zhuanlan.zhihu.com/p/37091549

3、论文原文 GRAPH CONVOLUTIONAL NETWORKS

https://tkipf.github.io/graph-convolutional-networks/

4、跳出公式,看清全局,图神经网络(GCN)原理详解

https://www.chainnews.com/articles/216961050590.htm

其他参考文献:
1、深度学习新星 | 图卷积神经网络(GCN)有多强大?

https://zhuanlan.zhihu.com/p/37894842

2、如何理解 Graph Convolutional Network(GCN)?

https://www.zhihu.com/question/54504471

3、卷积运算是什么?

https://www.zhihu.com/question/339496491

4、如何理解 Graph Convolutional Network(GCN)

https://www.zhihu.com/question/54504471

5、从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (一)

https://www.cnblogs.com/SivilTaram/p/graph_neural_network_1.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容