论文浅尝 | 用图网络做小样本学习

2018 年 6 月 30 日 开放知识图谱

链接: https://arxiv.org/abs/1711.04043


本文提出了用 GNN(GraphNeural Network) 来解决 Few-Shot Learning 场景的分类问题。在 Few-Shot Learning 中,每个类别的训练样本数据较少,如果直接训练一个多分类模型,会由于每个类别的样本较少而无法训练充分。而 GNN 的一个优点在于可以通过节点之间的连接来做信息扩散,如果把每个样本视作图中一个节点,节点之间的边是它们的某种距离度量,那么,就可以把已有label的样本的 label 信息根据节点之间相似性的强弱,有选择的扩散到与之最相似的,需要预测的样本上。这样,新样本在预测的时候,可以利用到各个类别的标注数据,类似于迁移学习,从而缓解了 Few-Shot Learning 中每个类别训练样本较少的问题。

基于以上思路,本文利用 GNN 在小样本 Few-Shot Learning 数据集上,对 Few-Shot Learning, Semi-supervised Learning 以及 Active Learning 三个任务都做了实验,验证了GNN利用信息传播做预测的有效性。

 

模型的基本结构是常见的 GNN,流程如下:

(1)     初始化:将每个样本视作图中的节点,随机初始化每个节点的表示。初始化方式为:利用CNN得到的图片(实验数据集是图片分类)的向量表示,以及样本的label的onehot表示,拼接得到。对于半监督的情形,未标注样本的label的onehot表示是随机生成的。

(2)     信息传播:计算节点之间的相似性,得到节点两两之间的相似性矩阵。然后以每个节点的邻居节点的表示和自己当前的表示来更新下一步的表示,即:自己的表示+ sum(相似性 * 邻居节点的表示),是一个常用的加权平均更新方式

(3)     对于需要预测label的节点,利用其最终的表示,通过softmax做分类。

 

实验结果:


相比已有的一些利用样本间相似性做 Few-Shot Learning 的模型,如 Siamese Net, Matching Network,Prototypical Network,都有提升。另外,论文中证明了后续这三种模型都是 GNN 模型的特例。

(1)     Few-Shot Learning:

(2)     Semi-supervised Learning:

(3) Active Learning:

本文作者: 王梁,浙江大学硕士,研究方向为知识图谱,自然语言处理.




OpenKG.CN


中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

 

点击阅读原文,进入 OpenKG 博客。

登录查看更多
65

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
【ICML2020-华为港科大】RNN和LSTM有长期记忆吗?
专知会员服务
73+阅读 · 2020年6月25日
【CVPR2020-旷视】DPGN:分布传播图网络的小样本学习
专知会员服务
26+阅读 · 2020年4月1日
专知会员服务
109+阅读 · 2020年3月20日
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
109+阅读 · 2019年11月25日
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
论文浅尝 | 面向时序知识图谱推理的循环事件网络
开放知识图谱
76+阅读 · 2019年9月22日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
29+阅读 · 2019年5月19日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
30+阅读 · 2019年4月7日
论文浅尝 | 图神经网络综述:方法及应用
开放知识图谱
113+阅读 · 2019年2月14日
论文浅尝 | 远程监督关系抽取的生成式对抗训练
开放知识图谱
17+阅读 · 2018年7月12日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
14+阅读 · 2019年9月11日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Deep Graph Infomax
Arxiv
16+阅读 · 2018年12月21日
Arxiv
9+阅读 · 2018年10月18日
VIP会员
相关资讯
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
论文浅尝 | 面向时序知识图谱推理的循环事件网络
开放知识图谱
76+阅读 · 2019年9月22日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
29+阅读 · 2019年5月19日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
30+阅读 · 2019年4月7日
论文浅尝 | 图神经网络综述:方法及应用
开放知识图谱
113+阅读 · 2019年2月14日
论文浅尝 | 远程监督关系抽取的生成式对抗训练
开放知识图谱
17+阅读 · 2018年7月12日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
相关论文
Arxiv
14+阅读 · 2019年11月26日
Arxiv
14+阅读 · 2019年9月11日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Deep Graph Infomax
Arxiv
16+阅读 · 2018年12月21日
Arxiv
9+阅读 · 2018年10月18日
Top
微信扫码咨询专知VIP会员