少样本分类的目的是在只有少量样本的情况下识别不可见的类。我们考虑了多域少样本图像分类的问题,其中不可见的类和例子来自不同的数据源。人们对这个问题越来越感兴趣,并激发了元数据集等基准的开发。在这种多领域设置的一个关键挑战是有效地整合来自不同训练领域集的特征表示。在这里,我们提出了一个通用表示Transformer(URT)层,该元学会通过动态地重新加权和组合最合适的特定于领域的表示来利用通用特性进行少样本分类。在实验中,我们表明,URT在元数据集上设置了一个新的最先进的结果。具体来说,与竞争方法相比,它在数据源数量最多的情况下实现了最佳性能。我们分析了URT的各种变体,并给出了一个可视化的注意力分数热图,以阐明该模型是如何执行跨领域泛化的。

https://www.zhuanzhi.ai/paper/40930a0aff223a2d2baab3d1d92d7674

成为VIP会员查看完整内容
32

相关内容

【NeurIPS2020】图网的主邻域聚合
专知会员服务
32+阅读 · 2020年9月27日
专知会员服务
43+阅读 · 2020年9月3日
【DeepMind】CrossTransformers: 空间感知的小样本迁移
专知会员服务
38+阅读 · 2020年7月26日
注意力图神经网络的小样本学习
专知会员服务
190+阅读 · 2020年7月16日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
43+阅读 · 2020年6月18日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
30+阅读 · 2019年10月16日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
13+阅读 · 2020年4月3日
【NeurIPS2019】图变换网络:Graph Transformer Network
OpenAI提出Reptile:可扩展的元学习算法
深度学习世界
7+阅读 · 2018年3月9日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
15+阅读 · 2020年2月5日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
Arxiv
4+阅读 · 2018年4月17日
Arxiv
3+阅读 · 2018年4月10日
VIP会员
相关VIP内容
【NeurIPS2020】图网的主邻域聚合
专知会员服务
32+阅读 · 2020年9月27日
专知会员服务
43+阅读 · 2020年9月3日
【DeepMind】CrossTransformers: 空间感知的小样本迁移
专知会员服务
38+阅读 · 2020年7月26日
注意力图神经网络的小样本学习
专知会员服务
190+阅读 · 2020年7月16日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
43+阅读 · 2020年6月18日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
30+阅读 · 2019年10月16日
相关论文
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
15+阅读 · 2020年2月5日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
Arxiv
4+阅读 · 2018年4月17日
Arxiv
3+阅读 · 2018年4月10日
微信扫码咨询专知VIP会员