【导读】今年 8 月份,毕业于斯坦福、现就职于英伟达人工智能应用团队的 Chip Huyen 撰写了一篇博客,讲述她对NeurlPS2019的观感,讲述了研究热点与发展趋势,感兴趣的三个方向是: 贝叶斯学习、图神经网络和凸优化,来看下。

地址: https://huyenchip.com/2019/12/18/key-trends-neurips-2019.html

  1. 深度学习与贝叶斯原理

正如Emtiyaz Khan在他的《深度学习与贝叶斯原则》演讲中所强调的那样,贝叶斯学习和深度学习是非常不同的。根据Khan的说法,深度学习使用“试错”的方法——让我们看看实验会把我们带向何方——而贝叶斯原则迫使你事先思考一个假设(先验)。

与常规的深度学习相比,贝叶斯深度学习主要有两个优点:不确定性估计和对小数据集的更好的泛化。在实际应用中,仅仅系统做出预测是不够的。知道每个预测的确定性是很重要的。例如,预测癌症有50.1%的确定性需要不同的治疗,同样的预测有99.9%的确定性。在贝叶斯学习中,不确定性估计是一个内置特性。

传统的神经网络给出单点估计——它们使用一组权值在数据点上输出预测。另一方面,Bayesian神经网络使用网络权值上的概率分布,并输出该分布中所有权值集的平均预测,其效果与许多神经网络上的平均预测相同。因此,贝叶斯神经网络是自然的集合体,它的作用类似于正则化,可以防止过度拟合。

拥有数百万参数的贝叶斯神经网络的训练在计算上仍然很昂贵。收敛到一个后验值可能需要数周时间,因此诸如变分推论之类的近似方法已经变得流行起来。概率方法-变分贝叶斯推理会议上发表了10篇关于这种变分贝叶斯方法的论文。

我喜欢读一些关于贝叶斯深度学习的NeurIPS论文:

  1. 图神经网络(GNNs)

多年来,我一直在谈论图论是机器学习中最被低估的话题之一。我很高兴看到图机器学习在今年的NeurIPS上非常流行。

对于许多类型的数据,例如社交网络、知识库和游戏状态,图形是美丽而自然的表示。用于推荐系统的用户项数据可以表示为一个二部图,其中一个不相交集由用户组成,另一个由物品组成。

图也可以表示神经网络的输出。正如 Yoshua Bengio在他的特邀演讲中提醒我们的那样,任何联合分布都可以表示为一个因子图。

这使得graph neural network对于组合优化(例如旅行推销员、日程安排)、身份匹配(这个Twitter用户和这个Facebook用户一样吗?)、推荐系统等任务来说是完美的。

最流行的图神经网络是图卷积神经网络(GCNN),这是预期的,因为它们都对本地信息进行编码。卷积倾向于寻找输入相邻部分之间的关系。图通过边编码与输入最相关的部分。

推荐阅读:

  1. 凸优化

我很欣赏Stephen Boyd关于凸优化的工作,所以很高兴看到它在NeurIPS上越来越受欢迎——有32篇论文与这个主题相关(1,2)。Stephen Boyd和J. Zico Kolter的实验室也发表了他们的论文《可微凸优化层》,展示了如何通过凸优化问题的解决方案进行区分,使其有可能嵌入可微程序(如神经网络)并从数据中学习它们。

凸优化问题是有吸引力的,因为它们可以准确地解决(1e-10的误差容忍度是可以实现的)和快速。它们也不会产生奇怪的/意料之外的输出,而这对于真实的应用程序是至关重要的。尽管在开放环境遇到的许多问题都是非凸的,但将它们分解成一系列凸问题是可行的。

利用凸优化算法训练神经网络。然而,虽然神经网络的重点是从头开始学习,但在端到端的方式中,凸优化问题的应用明确地强调建模系统,使用领域特定的知识。当可以以凸的方式显式地对系统建模时,通常需要的数据要少得多。可微凸优化层的工作是混合端到端学习和显式建模的优点的一种方法。

当你想控制一个系统的输出时,凸优化特别有用。例如,SpaceX使用凸优化来让火箭着陆,贝莱德(BlackRock)将其用于交易算法。在深度学习中使用凸优化真的很酷,就像现在的贝叶斯学习。

Akshay Agrawal推荐的关于凸优化的NeurIPS论文。

NeurlPS 2019 研究内容分析

  • 强化学习甚至在机器人学之外也越来越流行。有显著正性变化的关键词有bandit、feedback、regret、control。
  • 生成模型仍然很流行。GAN仍然吸引着我们的想象力,但远没有那么夸张。
  • 递归神经网络和卷积神经网络在去年确实如此。
  • 硬件关键字也在上升,信号更多的硬件感知算法。这是对硬件是机器学习瓶颈这一担忧的回答。
  • 我很难过数据在下降。
  • Meta learning预计,今年这一比例的增幅最高。
  • 尽管贝叶斯定理下降了,不确定性却上升了。去年,有很多论文使用了贝叶斯原理,但没有针对深度学习。

参考链接: https://huyenchip.com/2019/12/18/key-trends-neurips-2019.html

成为VIP会员查看完整内容
0
42

相关内容

NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一,每年全球的人工智能爱好者和科学家都会在这里聚集,发布最新研究。NeurIPS 2019大会将在12月8日-14日在加拿大温哥华举行。据官方统计消息,NeurIPS今年共收到投稿6743篇,其中接收论文1428篇,接收率21.1%。官网地址:https://neurips.cc/

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

摘要: 贝叶斯神经网络(BNNs)训练来优化整个分布的权重,而不是一个单一的集合,在可解释性、多任务学习和校准等方面具有显著的优势。由于所得到的优化问题的难解性,大多数BNNs要么通过蒙特卡罗方法采样,要么通过在变分近似上最小化一个合适的样本下界(ELBO)来训练。在这篇论文中,我们提出了后者的一个变体,其中我们用最大平均偏差(MMD)估计器代替了ELBO项中的Kullback-Leibler散度,这是受到了最近的变分推理工作的启发。在根据MMD术语的性质提出我们的建议之后,我们接着展示了公式相对于最先进的公式的一些经验优势。特别地,我们的BNNs在多个基准上实现了更高的准确性,包括多个图像分类任务。此外,它们对权重上的先验选择更有鲁棒性,而且它们的校准效果更好。作为第二项贡献,我们提供了一个新的公式来估计给定预测的不确定性,表明与更经典的标准(如微分熵)相比,它在对抗攻击和输入噪声的情况下表现得更稳定。

成为VIP会员查看完整内容
0
28

【导读】纽约大学的Andrew Gordon Wilson和Pavel Izmailov在论文中从概率角度的泛化性对贝叶斯深度学习进行了探讨。贝叶斯方法的关键区别在于它是基于边缘化,而不是基于最优化的,这为它带来了许多优势。

贝叶斯方法的关键区别是边缘化,而不是使用单一的权重设置。贝叶斯边缘化可以特别提高现代深度神经网络的准确性和校准,这是典型的不由数据完全确定,可以代表许多令人信服的但不同的解决方案。我们证明了深度集成为近似贝叶斯边缘化提供了一种有效的机制,并提出了一种相关的方法,通过在没有显著开销的情况下,在吸引域边缘化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化性质。从这个角度出发,我们解释了那些对于神经网络泛化来说神秘而独特的结果,比如用随机标签来拟合图像的能力,并证明了这些结果可以用高斯过程来重现。最后,我们提供了校正预测分布的贝叶斯观点。

成为VIP会员查看完整内容
0
37

【导读】以图神经网络为代表的图机器学习在近两年成为研究热点之一。近日,图机器学习专家 Sergei Ivanov 为我们解读了他总结出来的 2020 年图机器学习的四大热门趋势,包括

Sergei Ivanov在这个领域已经工作了几年,很高兴看到这个领域发展很快,经常有非常有趣的想法出现。在这篇综述中,我分析了提交给ICLR 2020的150篇论文,ICLR 2020是机器学习的主要会议之一。我读了大部分的论文,试图了解什么会对这一领域的发展产生重大影响。趋势列表是我自己的,但是我很想知道你是否知道我最近错过的有趣的论文,所以请在下面评论。

2020年才刚刚开始,我们已经可以在最新的研究论文中看到图机器学习(GML)的发展趋势。以下是我对2020年GML的重要内容的看法以及对这些论文的讨论。

概述

本文写作目的并非介绍图机器学习的基本概念,如图神经网络(Graph Neural Network,GNN),而是揭示我们可以在顶级学术会议上看到的前沿研究。首先,我把在图机器学习的研究成果的论文提交到 ICLR 2020阐述了GNN的论文情况

49篇ICLR2020高分「图机器学习GML」接受论文及代码

有 150 篇论文涉及图机器学习,其中三分之一的论文已被接受。这大约相当于所有被接受论文的 10%。

在阅读了大部分关于图机器学习的论文之后,我整理出了 2020 年图机器学习的趋势,如下所列:

    1. 对图神经网络将有更深入的理论理解;
    1. 图神经网络将会有更酷的应用;
    1. 知识图谱将会变得更为流行;
    1. 新的图嵌入框架将出现。

让我们来看看这些趋势。

1. 图神经网络的理论理解

从目前发展趋势看,图机器学习的领域在进展迅速,但是图神经网络还有很多工作要做。但关于图神经网络的工作原理,已经有了一些重要的研究结果! 洛桑联邦理工学院 Andreas Loukas 的这篇论文《What graph neural networks cannot learn: depth vs width》,无论在影响力、简洁性还是对理论理解的深度上,无疑是论文中的代表作。

论文表明,如果我们希望图神经网络能够计算一个流行的图问题(如循环检测、直径估计、顶点覆盖等等),那么节点嵌入的维数(网络宽度 w)乘以层数(网络深度 d) 应与图 n 的大小成正比,即 dw=O(n)。 但现实是当前的GNN的许多实现都无法达到此条件,因为层数和嵌入的尺寸与图的大小相比还不够大。另一方面,较大的网络在实际操作中不合适的,这会引发有关如何设计有效的GNN的问题,当然这个问题也是研究人员未来工作的重点。需要说明的是,这篇论文还从80年代的分布式计算模型中汲取了灵感,证明了GNN本质上是在做同样的事情。

与此类似,Oono 与 Suzuki、Barcelo 等人的另外两篇论文也研究了图神经网络的威力。在第一篇论文《图神经网络在节点分类的表达能力呈指数级下降》(Graph Neual Networks Exponentially Lose Expressive Power for Node Classification)中,论文指出:

在一定的权重条件下,当层数增加时,GCN 只能学习节点度和连通分量(由拉普拉斯谱(the spectra of the Laplacian)确定),除此之外什么也学不到。

这个结果推广了马尔科夫过程(Markov Processes)收敛到唯一平衡点的著名性质,其中收敛速度由转移矩阵的特征值决定。

在第二篇论文《图神经网络的逻辑表达》(The Logical Expressiveness of Graph Neural Network)中,作者展示了图神经网络和它们可以捕获的节点分类器类型之间的联系。我们已经知道,一些图神经网络和图同构的威斯费勒 - 莱曼(Weisfeiler-Leman,WL)算法一样强大,也就是说,当且仅当两个节点被图神经网络分类为相同时,威斯费勒 - 莱曼算法才会将它们着色为相同的颜色。但是,图神经网络可以捕获其他分类函数吗?例如,假设一个布尔函数,当且仅当一个图有一个孤立的顶点时,该函数才会将 ture 赋值给所有的节点。图神经网络能捕捉到这一逻辑吗?从直观上来看是不能,因为图神经网络是一种消息传递机制,如果图的一部分和另一部分(两个连接的组件)之间没有链接,那么这两者之间将不会传递消息。因此,一个建议的简单解决方案是在邻域聚合之后添加一个读出操作,这样当每个节点更新所有特性时,它就拥有了关于图中所有其他节点的信息。

理论方面的其他工作包括 Hou 等人的图神经网络测量图信息的使用,以及 Srinivasan 与 Ribeiro 提出的基于角色和基于距离的节点嵌入的等价性。

2. 图神经网络的更多应用

在过去的一年中,GNN已经在一些实际任务中进行了应用。包括修复 JavaScript 中的 Bug、玩游戏、回答类似 IQ 的测试、优化 TensorFlow 计算图、分子生成以及对话系统中的问题生成。

在论文中,作者其提出了一种在Javascript代码中同时检测和修复错误的方法(HOPPITY: LEARNING GRAPH TRANSFORMATIONS TO DETECT AND FIX BUGS IN PROGRAMS)。具体操作是将代码转换为抽象语法树,然后让GNN进行预处理以便获得代码嵌入,再通过多轮图形编辑运算符(添加或删除节点,替换节点值或类型)对其进行修改。为了理解图形的哪些节点应该修改,论文作者使用了一个指针网络(Pointer network),该网络采用了图形嵌入来选择节点,以便使用LSTM网络进行修复。当然,LSTM网络也接受图形嵌入和上下文编辑。 类似的应用还体现在上面这篇论文中《LambdaNet: Probabilistic Type Inference using Graph Neural Networks》。来自得克萨斯大学奥斯汀分校的作者研究了如何推断像Python或TypeScript此类语言的变量类型。更为具体的,作者给出了一个类型依赖超图(type dependency hypergraph),包含了程序作为节点的变量以及它们之间的关系,如逻辑关系、上下文约束等;然后训练一个GNN模型来为图和可能的类型变量产生嵌入,并结合似然率进行预测。 在智商测试类的应用中,上面这篇论文《Abstract Diagrammatic Reasoning with Multiplex Graph Networks》展示了GNN如何进行IQ类测试,例如瑞文测验(RPM)和图三段论(DS)。具体的在RPM任务中,矩阵的每一行组成一个图形,通过前馈模型为其获取边缘嵌入,然后进行图形汇总。由于最后一行有8个可能的答案,因此将创建8个不同的图,并将每个图与前两行连接起来,以通过ResNet模型预测IQ得分。如下图所示:

DeepMind 的一篇论文《用于优化计算图的增强遗传算法学习》(Reinforced Genetic Algorithm Learning for Optimizing Computation Graphs)提出了 一种强化学习算法,可以优化 TensorFlow 计算图的成本。这些图是通过标准的消息传递图神经网络来处理的,图神经网络生成与图中每个节点的调度优先级相对应的离散化嵌入。这些嵌入被输入到一个遗传算法 BRKGA 中,该算法决定每个节点的设备放置和调度。通过对该模型进行训练,优化得到的 TensorFlow 图的实际计算成本。

类似的炫酷应用还有Chence Shi的分子结构生成《Graph Convolutional Reinforcement Learning》和Jiechuan Jiang玩游戏以及Yu Chen的玩游戏等等《Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation》。

3. 知识图谱将会变得更为流行

在ICLR2020会议上,有很多关于知识图谱推理的论文。从本质上讲,知识图谱是一种表示事实的结构化方法。与一般的图不同,知识图谱中的节点和边实际上具有某种意义,例如,演员的名字或在电影中的表演(见下图)。知识图谱的一个常见问题是回答一些复杂的查询,例如“在 2000 年前,Steven Spielberg 的哪些电影获得了奥斯卡奖?”可以将其转换成逻辑查询 ∨ {Win(Oscar, V) ∧ Directed(Spielberg, V) ∧ ProducedBefore(2000, V) }。

知识图谱例子

在 斯坦福大学Ren 等人的论文《Query2box:基于框嵌入的向量空间中知识图谱的推理》(Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings)中,作者建议 将查询嵌入到潜在空间中作为矩形框形式,而不是作为单点形式。这种方法允许执行自然的相交操作,即合取 ∧,因为它会产生新的矩形框。但是,对联合(即析取 ∨)进行建模并不是那么简单,因为它可能会导致不重叠的区域。此外,为了精确建模任何带有嵌入的查询,用 VC 维(Vapnik-Chervonenkis Dimension)度量的嵌入之间的距离函数的复杂度应与图中实体的数量成正比。取而代之的一个很好的技巧是,将一个析取式查询替换为 DNF 形式,其中只有在计算图的末尾才会出现联合,这可以有效地减少对每个子查询的简单举例计算。

Query2Box 推理框架

在类似的主题中,Wang 等人在题为《知识图谱中数字规则的可微学习》(Differentiable Learning of Numerical Rules in Knowledge Graphs)中,提出了一种使用处理数值实体和规则的方法。例如,对于引用知识图谱,可以有一个规则 influences(Y,X) ← colleagueOf(Z,Y) ∧ supervisorOf(Z,X) ∧ hasCitation>(Y,Z),它指出,学生 X 通常会受到他们的导师 Z 的同事 Y 的影响,后者被引用的次数更多。这个规则右边的每个关系都可以表示为一个矩阵,寻找缺失链接的过程可以通过实体向量的连续矩阵乘法,这一过程称为规则学习(Rule Learning)。由于矩阵的构造方式,神经方法只能在诸如 colleagueOf(z,y) 这样的分类规则下工作。该论文作者的贡献在于,他们提出了一种新颖的方法,通过显示实际上无需显式地物化这样的矩阵,显著地减少了运行时间,从而有效地利用 hasCitation(y,z) 和否定运算符等数值规则。

引用知识图谱(Citation KG)示例

在今年的图神经网络(或者说机器学习)中经常出现的一个研究方向是:对现有模型的重新评估,以及在一个公平环境中进行测评。

上面这篇文章即是其中一个,他们的研究表明,新模型的性能往往取决于试验训练中的“次要”细节,例如损失函数的形式、正则器、采样的方案等。在他们进行的大型消融研究中,作者观察到将旧的方法(例如RESCAL模型)的超参数进行适当调整就可以获得SOTA性能。

当然在这个领域还有许多其他有趣的工作,Allen et al. 基于对词嵌入的最新研究,进一步探究了关系与实体的学习表示的隐空间。Asai et al. 则展示了模型如何在回答给定query的Wikipedia图谱上检索推理路径。Tabacof 和 Costabello 讨论了图嵌入模型的概率标定中的一个重要问题,他们指出,目前流行的嵌入模型TransE 和ComplEx(通过将logit函数转换成sigmoid函数来获得概率)均存在误校,即对事实的存在预测不足或预测过度。

4. 新的图嵌入框架将出现

图嵌入是图机器学习的一个长期的研究主题,今年有一些关于我们应该如何学习图表示的新观点出现。

康奈尔的Chenhui Deng等人的《GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding》提出了一种改善运行时间和准确率的方法,可以应用到任何无监督嵌入方法的节点分类问题。

这篇文章的总体思路是,首先将原始图简化为更小的图,这样可以快速计算节点嵌入,然后再回复原始图的嵌入。

最初,根据属性相似度,对原始图进行额外的边扩充,这些便对应于节点的k近邻之间的链接。随后对图进行粗化:通过局部谱方法将每个节点投影到低维空间中,并聚合成簇。任何无监督的图嵌入方法(例如DeepWalk、Deep Graph Infomax)都可以在小图上获得节点嵌入。在最后一步,得到的节点嵌入(本质上表示簇的嵌入)用平滑操作符迭代地进行广播,从而防止不同节点具有相同的嵌入。在实验中,GraphZoom框架相比node2vec和DeepWalk,实现了惊人的 40 倍的加速,准确率也提高了 10%。 已有多篇论文对图分类问题的研究成果进行了详细的分析。比萨大学的Federico Errica 等人提出《A Fair Comparison of Graph Neural Networks for Graph Classification 》在图分类问题上,对GNN模型进行了重新评估。

他们的研究表明,一个不利用图的拓扑结构(仅适用聚合节点特征)的简单基线能获得与SOTA GNN差不多的性能。事实上,这个让人惊讶的发现,Orlova等人在2015年就已经发表了,但没有引起大家的广泛关注。 Skolkovo 科学技术研究院的Ivanov Sergey等人在《Understanding Isomorphism Bias in Graph Data Sets》研究中发现,在MUTAG和IMDB等常用数据集中,即使考虑节点属性,很多图也都会具有同构副本。而且,在这些同构图中,很多都有不同的target标签,这自然会给分类器引入标签噪声。这表明,利用网络中所有可用的元信息(如节点或边属性)来提高模型性能是非常重要的。 另外还有一项工作是UCLA孙怡舟团队的工作《Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification 》。这项工作显示如果用一个线性近邻聚合函数取代原有的非线性近邻聚合函数,模型的性能并不会下降。这与之前大家普遍认为“图数据集对分类的影响并不大”的观点是相反的。同时这项工作也引发一个问题,即如何为此类任务找到一个合适的验证框架。

结论

随着顶会的论文提交量的增长,我们可以预计,2020 年图机器学习领域将会涌现许多有趣的成果。我们已经目睹这一领域的转变,从图的深度学习的启发式应用,到更合理的方法和关于图波形范围的基本问题。图神经网络找到了它的位置,作为一个有效的解决许多实际问题的方法,这些问题可以用图来表达,但我认为,总体而言,图机器学习只不过是触及了我们可以实现的图论和机器学习的交叉点上所能取得的成果的皮毛,我们应该继续关注即将到来的结果。

参考链接:

  1. https://towardsdatascience.com/top-trends-of-graph-machine-learning-in-2020-1194175351a3

  2. AI前线:2020 年图机器学习的热门趋势

    https://mp.weixin.qq.com/s/3hXVJS5uLi0UV_cwvEwbHg

  3. AI科技评论 火爆的图机器学习,2020年将有哪些研究趋势?

    https://mp.weixin.qq.com/s/BYkMRZUOcHfIpVE291QZTQ

成为VIP会员查看完整内容
0
105

1、Approximation Ratios of Graph Neural Networks for Combinatorial Problems

作者:Ryoma Sato, Makoto Yamada, Hisashi Kashima;

摘要:本文从理论的角度研究了图神经网络(GNNs)在学习组合问题近似算法中的作用。为此,我们首先建立了一个新的GNN类,它可以严格地解决比现有GNN更广泛的问题。然后,我们弥合了GNN理论和分布式局部算法理论之间的差距,从理论上证明了最强大的GNN可以学习最小支配集问题的近似算法和具有一些近似比的最小顶点覆盖问题比率,并且没有GNN可以执行比这些比率更好。本文首次阐明了组合问题中GNN的近似比。此外,我们还证明了在每个节点特征上添加着色或弱着色可以提高这些近似比。这表明预处理和特征工程在理论上增强了模型的能力。

网址:https://www.zhuanzhi.ai/paper/9cad40c81920dfd71fa91e4ddf778616

2、D-VAE: A Variational Autoencoder for Directed Acyclic Graphs

作者:Muhan Zhang, Shali Jiang, Zhicheng Cui, Roman Garnett, Yixin Chen;

摘要:图结构数据在现实世界中是丰富的。在不同的图类型中,有向无环图(DAG)是机器学习研究人员特别感兴趣的,因为许多机器学习模型都是通过DAG上的计算来实现的,包括神经网络和贝叶斯网络。本文研究了DAG的深度生成模型,提出了一种新的DAG变分自编码器(D-VAE)。为了将DAG编码到潜在空间中,我们利用了图神经网络。我们提出了一个异步消息传递方案,它允许在DAG上编码计算,而不是使用现有的同步消息传递方案来编码局部图结构。通过神经结构搜索和贝叶斯网络结构学习两项任务验证了该方法的有效性。实验表明,该模型不仅生成了新颖有效的DAG,还可以生成平滑的潜在空间,有助于通过贝叶斯优化搜索具有更好性能的DAG。

网址:https://www.zhuanzhi.ai/paper/80f4d50cc2b619ff8317a9e56f8a47c0

3、End to end learning and optimization on graphs

作者:Bryan Wilder, Eric Ewing, Bistra Dilkina, Milind Tambe;

摘要:在实际应用中,图的学习和优化问题常常结合在一起。例如,我们的目标可能是对图进行集群,以便检测有意义的社区(或者解决其他常见的图优化问题,如facility location、maxcut等)。然而,图或相关属性往往只是部分观察到,引入了一些学习问题,如链接预测,必须在优化之前解决。我们提出了一种方法,将用于常见图优化问题的可微代理集成到用于链接预测等任务的机器学习模型的训练中。这允许模型特别关注下游任务,它的预测将用于该任务。实验结果表明,我们的端到端系统在实例优化任务上的性能优于将现有的链路预测方法与专家设计的图优化算法相结合的方法。

网址:https://www.zhuanzhi.ai/paper/863d6ac1bd27220c6fc1b7c2e4f17c47

4、Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels

作者:Simon S. Du, Kangcheng Hou, Barnabás Póczos, Ruslan Salakhutdinov, Ruosong Wang, Keyulu Xu;

摘要:虽然图内核(graph kernel,GK)易于训练并享有可证明的理论保证,但其实际性能受其表达能力的限制,因为内核函数往往依赖于图的手工组合特性。与图内核相比,图神经网络通常具有更好的实用性能,因为图神经网络使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而,由于训练过程中存在大量的超参数,且训练过程具有非凸性,使得GNN的训练更加困难。GNN的理论保障也没有得到很好的理解。此外,GNN的表达能力随参数的数量而变化,在计算资源有限的情况下,很难充分利用GNN的表达能力。本文提出了一类新的图内核,即图神经切线核(GNTKs),它对应于通过梯度下降训练的无限宽的多层GNN。GNTK充分发挥了GNN的表现力,继承了GK的优势。从理论上讲,我们展示了GNTK可以在图上学习一类平滑函数。根据经验,我们在图分类数据集上测试GNTK并展示它们实现了强大的性能。

网址:https://www.zhuanzhi.ai/paper/e3feff32dc2f8d03c7b3d4b5beefd61d

5、HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs

作者:Naganand Yadati, Madhav Nimishakavi, Prateek Yadav, Vikram Nitin, Anand Louis, Partha Talukdar;

摘要:在许多真实世界的网络数据集中,如co-authorship、co-citation、email communication等,关系是复杂的,并且超越了成对关联。超图(Hypergraph)提供了一个灵活而自然的建模工具来建模这种复杂的关系。在许多现实世界网络中,这种复杂关系的明显存在,自然会激发使用Hypergraph学习的问题。一种流行的学习范式是基于超图的半监督学习(SSL),其目标是将标签分配给超图中最初未标记的顶点。由于图卷积网络(GCN)对基于图的SSL是有效的,我们提出了HyperGCN,这是一种在超图上训练用于SSL的GCN的新方法。我们通过对真实世界超图的详细实验证明HyperGCN的有效性,并分析它何时比最先进的baseline更有效。

网址:https://www.zhuanzhi.ai/paper/8135bfbfd1bca867403e0d7711a4b5f8

6、Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks

作者:Vineet Kosaraju, Amir Sadeghian, Roberto Martín-Martín, Ian Reid, S. Hamid Rezatofighi, Silvio Savarese;

摘要:从自动驾驶汽车和社交机器人的控制到安全监控,预测场景中多个交互主体的未来轨迹已成为许多不同应用领域中一个日益重要的问题。这个问题由于人类之间的社会互动以及他们与场景的身体互动而变得更加复杂。虽然现有的文献探索了其中的一些线索,但它们主要忽略了每个人未来轨迹的多模态性质。在本文中,我们提出了一个基于图的生成式对抗网络Social-BiGAT,它通过更好地建模场景中行人的社交互来生成真实的多模态轨迹预测。我们的方法是基于一个图注意力网络(GAT)学习可靠的特征表示(编码场景中人类之间的社会交互),以及一个反方向训练的循环编解码器体系结构(根据特征预测人类的路径)。我们明确地解释了预测问题的多模态性质,通过在每个场景与其潜在噪声向量之间形成一个可逆的变换,就像在Bicycle-GAN中一样。我们表明了,与现有轨迹预测基准的几个baseline的比较中,我们的框架达到了最先进的性能。

网址:https://www.zhuanzhi.ai/paper/4f454de9b5e71da16aed5a03e88d0eab

7、Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

作者:Hongteng Xu, Dixin Luo, Lawrence Carin;

摘要:我们提出了一种可扩展的Gromov-Wasserstein learning (S-GWL) 方法,并建立了一种新的、理论支持的大规模图分析范式。该方法基于Gromov-Wasserstein discrepancy,是图上的伪度量。给定两个图,与它们的Gromov-Wasserstein discrepancy相关联的最优传输提供了节点之间的对应关系,从而实现了图的匹配。当其中一个图具有独立但自连接的节点时(即,一个断开连接的图),最优传输表明了其他图的聚类结构,实现了图的划分。利用这一概念,通过学习多观测图的Gromov-Wasserstein barycenter图,将该方法推广到多图的划分与匹配; barycenter图起到断开图的作用,因为它是学习的,所以聚类也是如此。该方法将递归K分割机制与正则化近似梯度算法相结合,对于具有V个节点和E条边的图,其时间复杂度为O(K(E+V) logk V)。据我们所知,我们的方法是第一次尝试使Gromov-Wasserstein discrepancy适用于大规模的图分析,并将图的划分和匹配统一到同一个框架中。它优于最先进的图划分和匹配方法,实现了精度和效率之间的平衡。

网址:https://www.zhuanzhi.ai/paper/e6d212914ae39ae0002acfaaae261fe5

8、Universal Invariant and Equivariant Graph Neural Networks

作者:Nicolas Keriven, Gabriel Peyré;

摘要:图神经网络(GNN)有多种形式,但应该始终是不变的(输入图节点的排列不会影响输出)或等变的(输入的排列置换输出)。本文考虑一类特殊的不变和等变网络,证明了它的一些新的普适性定理。更确切地说,我们考虑具有单个隐藏层的网络,它是通过应用等变线性算子、点态非线性算子和不变或等变线性算子形成的信道求和而得到的。最近,Maron et al. (2019b)指出,通过允许网络内部的高阶张量化,可以获得通用不变的GNN。作为第一个贡献,我们提出了这个结果的另一种证明,它依赖于实值函数代数的Stone-Weierstrass定理。我们的主要贡献是将这一结果推广到等变情况,这种情况出现在许多实际应用中,但从理论角度进行的研究较少。证明依赖于一个新的具有独立意义的广义等变函数代数Stone-Weierstrass定理。最后,与以往许多考虑固定节点数的设置不同,我们的结果表明,由一组参数定义的GNN可以很好地近似于在不同大小的图上定义的函数。

网址:https://www.zhuanzhi.ai/paper/2236e35c386d62a4df3f687ecdf8e7b5

成为VIP会员查看完整内容
0
20

​【导读】NeurIPS 2019刚落下帷幕,大会发布了7篇最佳论文,一系列论文和tutorial,涉及很多热点比如图机器学习、元学习、核方法、软硬一体化等。不得不看!NeurIPS 2019三个关键研究热点趋势:贝叶斯、GNN、凸优化。来自东京RIKEN研究中心的Emtiyaz Khan给了关于以贝叶斯原理进行深度学习的教程《Deep Learning with Bayesian Principles》,共有86页ppt,以及撰写了最新的论文,讲述贝叶斯和深度学习如何结合到一起进行学习新算法,提出了一种基于贝叶斯原理的学习规则,它使我们能够连接各种各样的学习算法。利用这一规则,可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。非常具有启发性,值得查看!

深度学习和贝叶斯学习被认为是两个完全不同的领域,通常用于互补的设置情景。显然,将这两个领域的思想结合起来是有益的,但鉴于它们的根本区别,我们如何才能做到这一点呢?

本教程将介绍现代贝叶斯原理来填补这一空白。利用这些原理,我们可以推出一系列学习算法作为特例,例如,从经典算法,如线性回归和前向后向算法,到现代深度学习算法,如SGD、RMSprop和Adam。然后,这个视图提供了新的方法来改进深度学习的各个方面,例如,不确定性、健壮性和解释。它也使设计新的方法来解决挑战性的问题,如那些出现在主动学习,持续学习,强化学习等。

总的来说,我们的目标是让贝叶斯和深度学习比以往任何时候都更接近,并激励它们一起工作,通过结合他们的优势来解决具有挑战性的现实问题。

成为VIP会员查看完整内容
0
89

目录:

  • 结构深度学习黑匣子
  • 深度学习的新方法
    • 使用贝叶斯原理进行深度学习
    • 图神经网络
    • 凸优化
  • 神经科学X机器学习
  • 关键字分析 -数字NeurIPS -结论
成为VIP会员查看完整内容
0
11

报告题目: Bayesian Deep Learning

报告摘要: 深度神经网络是连接主义系统,通过它通过学习例子来完成任务,而不需要事先了解这些任务。它们可以很容易地扩展到数百万个数据点,并且可以通过随机梯度下降进行优化。贝叶斯方法可以用于学习神经网络权重的概率分布。贝叶斯深度学习与贝叶斯深度学习(如何对DNNs进行贝叶斯推理?如何学习分层结构的贝叶斯模型?),本篇报告给出一定解释。

嘉宾介绍: 朱军博士是清华大学计算机系长聘副教授、智能技术与系统国家重点实验室副主任、卡内基梅隆大学兼职教授。2013年,入选IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要从事机器学习研究,在国际重要期刊与会议发表学术论文80余篇。担任国际期刊IEEE TPAMI和Artificial Intelligence的编委、国际会议ICML 2014地区联合主席、以及ICML、NIPS等国际会议的领域主席。

成为VIP会员查看完整内容
Bayesian Deep Learning.pdf
0
53
小贴士
相关论文
Heterogeneous Deep Graph Infomax
Yuxiang Ren,Bo Liu,Chao Huang,Peng Dai,Liefeng Bo,Jiawei Zhang
7+阅读 · 2019年11月19日
vGraph: A Generative Model for Joint Community Detection and Node Representation Learning
Fan-Yun Sun,Meng Qu,Jordan Hoffmann,Chin-Wei Huang,Jian Tang
10+阅读 · 2019年9月17日
Domain Representation for Knowledge Graph Embedding
Cunxiang Wang,Feiliang Ren,Zhichao Lin,Chenxv Zhao,Tian Xie,Yue Zhang
5+阅读 · 2019年9月11日
Deep Node Ranking: an Algorithm for Structural Network Embedding and End-to-End Classification
Blaž Škrlj,Jan Kralj,Janez Konc,Marko Robnik-Šikonja,Nada Lavrač
4+阅读 · 2019年2月11日
Explanatory Graphs for CNNs
Quanshi Zhang,Xin Wang,Ruiming Cao,Ying Nian Wu,Feng Shi,Song-Chun Zhu
3+阅读 · 2018年12月18日
A General and Adaptive Robust Loss Function
Jonathan T. Barron
5+阅读 · 2018年11月5日
Felix Laumann,Kumar Shridhar,Adrian Llopart Maurin
15+阅读 · 2018年6月27日
Wenhu Chen,Wenhan Xiong,Xifeng Yan,William Wang
14+阅读 · 2018年4月5日
Aleksandar Bojchevski,Stephan Günnemann
4+阅读 · 2018年2月27日
Ruoyu Li,Sheng Wang,Feiyun Zhu,Junzhou Huang
4+阅读 · 2018年1月10日
Top