题目: Graph Structure of Neural Networks

摘要:

神经网络通常表示为神经元之间的连接图。但是,尽管已被广泛使用,但目前对神经网络的图结构与其预测性能之间的关系知之甚少。本文系统地研究了神经网络的图结构如何影响其预测性能。为此,开发了一种新的基于图的神经网络表示,称为关系图,其中神经网络的计算层对应于图结构每轮进行的消息交换。使用这种表示,我们表明:

(1)关系图的“最佳点”导致神经网络的预测性能大大提高;

(2)神经网络的性能大约是其关系图的聚类系数和平均路径长度的平滑函数;

(3)文中发现在许多不同的任务和数据集上是一致的;

(4)可以有效地识别最佳点;

(5)表现最佳的神经网络具有令人惊讶的类似于真实生物神经网络的图结构。

该方法为神经体系结构的设计和对神经网络的一般理解开辟了新的方向。

成为VIP会员查看完整内容
0
48

相关内容

人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。 最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。

神经网络通用被表示成图的形式(即神经元之间通过边进行链接),尽管这种表示方式得到了广泛应用,但关于神经网络结构与性能之间的关系却鲜少有所了解。

作者系统的研究了神经网络的图结构是如何影响其性能的,为达成该目的,作者开发了一种新颖的称之为relational graph(相关图)的图表示方式,神经网络的层沿图像结构进行多次信息交互。基于这种图表示方式,作者发现了这样几点有意思发现:

  • 相关图的靶点(sweet spot)可以促使神经网络的性能极大提升;
  • 神经网络的性能与聚类系数、平均路径长度成平滑函数关系;
  • 该发现具有跨数据集、跨任务一致性;
  • 优秀的神经网络结构与真实生物神经网络具有惊人的相似性。
  • 该文为神经网络架构设计与理解提供了一种新方向。
成为VIP会员查看完整内容
0
23

Facebook的研究员从一个新奇的角度对神经网络的表示与设计进行探索,提出了一种新颖的相关图表示方式。它有助于对现有网络架构进行更深层次的分析与性能评价。这种相关图的表示方式、实验发现等确实挺有意思,也与现有网络结构设计有一定相通之处,故推荐各位同学。

神经网络通用被表示成图的形式(即神经元之间通过边进行链接),尽管这种表示方式得到了广泛应用,但关于神经网络结构与性能之间的关系却鲜少有所了解。

作者系统的研究了神经网络的图结构是如何影响其性能的,为达成该目的,作者开发了一种新颖的称之为relational graph(相关图)的图表示方式,神经网络的层沿图像结构进行多次信息交互。基于这种图表示方式,作者发现了这样几点有意思发现:

  • 相关图的靶点(sweet spot)可以促使神经网络的性能极大提升;
  • 神经网络的性能与聚类系数、平均路径长度成平滑函数关系;
  • 该发现具有跨数据集、跨任务一致性;
  • 优秀的神经网络结构与真实生物神经网络具有惊人的相似性。
  • 该文为神经网络架构设计与理解提供了一种新方向。
成为VIP会员查看完整内容
0
28

题目:

Confidence-Aware Learning for Deep Neural Networks

简介:

尽管深度神经网络可以执行多种任务,但过分一致的预测问题限制了它们在许多安全关键型应用中的实际应用。已经提出了许多新的工作来减轻这个问题,但是大多数工作需要在训练和/或推理阶段增加计算成本,或者需要定制的体系结构来分别输出置信估计。在本文中,我们提出了一种使用新的损失函数训练深度神经网络的方法,称为正确排名损失,该方法将类别概率显式规范化,以便根据依据的有序等级更好地进行置信估计。所提出的方法易于实现,并且无需进行任何修改即可应用于现有体系结构。而且,它的训练计算成本几乎与传统的深度分类器相同,并且通过一次推断就可以输出可靠的预测。在分类基准数据集上的大量实验结果表明,所提出的方法有助于网络产生排列良好的置信度估计。我们还证明,它对于与置信估计,分布外检测和主动学习密切相关的任务十分有效。

成为VIP会员查看完整内容
0
37

题目: Convolutional Kernel Networks for Graph-Structured Data

摘要:

本文介绍了一系列多层图核,并在图卷积神经网络和核方法之间建立了新的联系。该方法通过将图表示为一系列内核特征图来概括卷积核网络以绘制结构化数据图,其中每个节点都承载有关局部图子结构的信息。一方面,内核的观点提供了一种无监督,表达性强且易于调整的数据表示形式,这在有限样本可用时非常有用。另一方面,我们的模型也可以在大规模数据上进行端到端训练,从而产生新类型的图卷积神经网络。并且证明了该方法在几种图形分类基准上均具有竞争优势,同时提供了简单的模型解释。

成为VIP会员查看完整内容
0
31

题目: Graph Random Neural Networks

摘要:

图神经网络(GNNs)将深度学习方法推广到图结构数据中,在图形挖掘任务中表现良好。然而,现有的GNN常常遇到具有标记节点的复杂图结构,并受到非鲁棒性、过度平滑和过拟合的限制。为了解决这些问题,本文提出了一个简单而有效的GNN框架——图随机神经网络(Grand)。与现有GNNs中的确定性传播不同,Grand采用随机传播策略来增强模型的鲁棒性。这种策略也很自然地使Grand能够将传播从特征转换中分离出来,减少了过度平滑和过度拟合的风险。此外,随机传播是图数据扩充的一种有效方法。在此基础上,利用无标记节点在多个扩展中的分布一致性,提高模型的泛化能力,提出了Grand的一致性正则化方法。在图形基准数据集上的大量实验表明,Grand在半监督的图形学习任务上显著优于最先进的GNN基线。最后,证明了它可以显著减轻过度平滑和过度拟合的问题,并且它的性能与鲁棒性相结合。

成为VIP会员查看完整内容
0
100

题目: Graph Neural Networks: A Review of Methods and Applications

摘要: 许多学习任务都需要处理包含元素间丰富关系信息的图形数据。建模物理系统、学习分子指纹、预测蛋白质界面和疾病分类需要一个模型从图形输入中学习。在文本、图像等非结构化数据的学习等领域,对句子的依存树、图像的场景图等提取的结构进行推理是一个重要的研究课题,同时也需要建立图形推理模型。图神经网络(GNNs)是通过图节点之间的信息传递来获取图的依赖性的连接模型。与标准神经网络不同,图神经网络保留了一种状态,这种状态可以以任意深度表示来自其邻域的信息。虽然原始GNNs已经被发现很难训练到固定的点,但是最近在网络结构、优化技术和并行计算方面的进展已经使它能够成功地学习。近年来,基于图形卷积网络(GCN)、图形注意网络(GAT)、门控图形神经网络(GGNN)等图形神经网络变体的系统在上述许多任务上都表现出了突破性的性能。在这项调查中,我们提供了一个详细的检讨现有的图形神经网络模型,系统分类的应用,并提出了四个开放的问题,为今后的研究。

作者简介: Jie Zhou,CS的研究生,从事系统研究,主要研究计算机安全。他毕业于厦门大学,在罗切斯特大学获得硕士学位及博士学位。

Zhiyuan Liu,清华大学计算机系NLP实验室副教授。

成为VIP会员查看完整内容
0
90

论文题目: A Structural Graph Representation Learning Framework

论文摘要: 许多基于图的机器学习任务的成功在很大程度上取决于从图数据中学习到的适当表示。大多数工作都集中在于学习保留邻近性的节点嵌入,而不是保留节点之间结构相似性的基于结构的嵌入。这些方法无法捕获对基于结构的应用程序(如web日志中的visitor stitching)至关重要的高阶结构依赖和连接模式。在这项工作中,我们阐述了高阶网络表示学习,并提出了一个称为HONE的通用框架,用于通过节点邻域中的子图模式(network motifs, graphlet orbits/positions)从网络中学习这种结构性节点嵌入。HONE引入了一种通用的diffusion机制和一种节省空间的方法,该方法避免了使用k-step线性算子来显式构造k-step motif-based矩阵。此外,HONE被证明是快速和有效的,最坏情况下的时间复杂度几乎是线性的。实验结果表明,该算法能有效地处理大量的网络日志数据,包括链接预测和visitor stitching。

作者简介:

Ryan A. Rossi,目前在Adobe Research工作,研究领域是机器学习;涉及社会和物理现象中的大型复杂关系(网络/图形)数据的理论、算法和应用。在普渡大学获得了计算机科学博士和硕士学位。

Nesreen K. Ahmed,英特尔实验室的高级研究员。我在普渡大学计算机科学系获得博士学位,在普渡大学获得统计学和计算机科学硕士学位。研究方向是机器学习和数据挖掘,涵盖了大规模图挖掘、统计机器学习的理论和算法,以及它们在社会和信息网络中的应用。

成为VIP会员查看完整内容
0
57

神经结构学习(NSL)是由谷歌推出的一套开源框架,负责利用结构化信号训练深度神经网络。它能够实现神经图学习,使得开发人员得以利用图表训练神经网络。这些图表可以来自多种来源,例如知识图谱、医疗记录、基因组数据或者多模关系(例如图像 - 文本对)等。NSL 还可延伸至对抗学习领域,其中各输入实例间的结构以对抗性扰动方式动态构建而成。

Github: https://github.com/tensorflow/neural-structured-learning

成为VIP会员查看完整内容
Neural Structured Learning in TensorFlow.pdf
0
12

题目: GNNExplainer: Generating Explanations for Graph Neural Networks

简介: 图神经网络(GNN)通过沿输入图的边缘递归传递神经消息,将节点特征信息与图结构结合在一起。但是同时包含图结构和特征信息会导致模型复杂,并且解释GNN所做的预测仍未解决。在这里,我们提出GNNExplainer,这是第一种通用的,与模型无关的方法,可为任何基于GNN的模型的预测提供可解释性。给定一个实例,GNNExplainer会确定紧凑的子图结构和节点特征的一小部分,这些特征对GNN的预测至关重要。此外,GNNExplainer可以为整个实例类生成一致而简洁的解释。我们将GNNExplainer公式化为优化任务,该优化任务可最大化GNN的预测与可能的子图结构的分布之间的相互信息。在合成图和真实世界图上进行的实验表明,我们的方法可以识别重要的图结构以及节点特征,并且比基准性能高出17.1%。 GNNExplainer提供了各种好处,从可视化语义相关结构的能力到可解释性,再到洞悉有缺陷的GNN的错误。

作者简介: 领域的大牛Jure Leskovec,是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。研究重点是对大型社会和信息网络进行挖掘和建模,它们的演化,信息的传播以及对它们的影响。 调查的问题是由大规模数据,网络和在线媒体引起的。 Jure Leskovec主页

代码链接: https://github.com/RexYing/gnn-model-explainer

成为VIP会员查看完整内容
0
63
小贴士
相关VIP内容
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
88+阅读 · 2020年6月28日
专知会员服务
100+阅读 · 2020年5月26日
相关论文
Seongjun Yun,Minbyul Jeong,Raehyun Kim,Jaewoo Kang,Hyunwoo J. Kim
9+阅读 · 2020年2月5日
Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
Binxuan Huang,Kathleen M. Carley
8+阅读 · 2019年9月5日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
15+阅读 · 2019年3月28日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
7+阅读 · 2019年2月19日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
17+阅读 · 2019年1月3日
Chao Shang,Yun Tang,Jing Huang,Jinbo Bi,Xiaodong He,Bowen Zhou
3+阅读 · 2018年11月11日
Diego Marcheggiani,Laura Perez-Beltrachini
6+阅读 · 2018年10月23日
Linfeng Song,Zhiguo Wang,Mo Yu,Yue Zhang,Radu Florian,Daniel Gildea
6+阅读 · 2018年9月6日
Muhan Zhang,Yixin Chen
23+阅读 · 2018年2月27日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
6+阅读 · 2018年2月4日
Top