ICLR 2020 | 探索新的图表征学习思路

图表示学习一直是机器学习中一个重要的问题。除却耳熟能详者有 DeepWalk 类者、GNNs类者、生成类如 GraphGAN 者等等，还有哪些模型是值得去探索的呢？下面的两篇文章分别在节点层面和图层面研究了相关的问题。

Inductive and Unsupervised Representation Learning on Graph Structured Objects

这篇文章中，作者提出了一种新的通用的思路，即 SEED（Sampling，Encoding，and Embedding Distribution），在理论上分析了其和图同构的关系，实现了其中一个可能的版本，并从实验上证明了其之有效性。

这种模型架构基于两个同构的图之间的子图的分布也应该彼此较为相近的假设出发，使用两个图之间子图分布之间的距离来度量两个图之间的距离。

具体地，这类模型可以概括为如下三个步骤：

（1）采样，从输入的图中采样得到很多个子图，并希望可以采集到的那些容易被编码和解码的子图；

（2）编码，作者尝试定义一个子图的好的表示应该是可以从这样的表示中很好地重构出原来子图的结构；

（3）获取子图表示分布，子图的表示向量被聚合到一个向量中作为整个图的表示向量，对于两个图而言，他们之间的距离可以被子图表示分布之间的距离度量。

这样设计的目标是，希望可以寻找到一种聚合函数可以保持预先定义好的分布之间的距离。

文中对于以上三个步骤均有自己的一种实现，以采样的方式为例，作者提出一种 WEAVE 的方法，这种方法以随机游走的方式访问节点，但与普通的随机游走不同的时，这种方法保留一个节点最早访问的时间，这样可以获得采取普通的随机游走所难以捕捉到的结构信息，如下图中，WEAVE 可以很好地捕捉到图中存在的环路。

同时作者也在理论上建立了 WEAVES 和图同构的关系。当然这个模型效果也很好。

StructPool: Structured Graph Pooling via Conditional Random Fields

这篇文章的任务是图层面的表征学习。作者从 graph pooling 的角度出发，指出现有的很多方法并没有显示的考虑图结构的信息，并将 graph pooling 的过程转化为节点分类，从而其目标变为学习一个 cluster assignment matrix。对于一个节点的分类不仅与这个节点的特征有关，还与其他节点的分类有关，于是文章采用条件随机场的方法来建模这种关系，并结合图结构信息设计吉布斯能量方程。

而结果也证明了这种方法的有效性。

近期精彩集锦——

【2020科技趋势】：《2020科技趋势报告》

【AI女神】：《AI全球最具影响力女性学者报告》

【AI10】：《浅谈人工智能下一个十年》

【GNN】：《图神经网络及认知推理》

【AI指数】：《2019人工智能指数报告》

【3D视觉】： 《3D视觉技术白皮书》

点击上方蓝色字体跳转阅读，对话框回复关键词获取资料！

点击左下角“阅读原文”，一键直达 ICLR 2020 专题！