现代神经网络体系结构可以利用大量的数据来很好地泛化训练分布。然而,对于从看不见的但相关的分布中提取的数据,它们的系统泛化能力较差,这需要组合推理和知识重用。在这项工作中,我们提出了神经解释器,这是一种将自注意网络中的推理分解为一个模块系统的架构,我们称之为函数。模型的输入以端到端学习的方式通过一系列函数进行路由。该体系结构可以灵活地沿宽度和深度组合计算,易于训练后的能力扩展。为了证明神经解释器的通用性,我们在两个不同的环境中评估它: 图像分类和视觉抽象推理。在前者中,我们证明了神经解释器在使用更少参数的情况下,与视觉transformer 的表现相当,同时可以以样本有效的方式转移到新任务中。在后者中,我们发现神经解释器在系统概括方面与最先进的技术相比具有竞争力。

https://www.zhuanzhi.ai/paper/2bc15eecd32f4070c53c2f1346feaddd

成为VIP会员查看完整内容
14

相关内容

【NeurIPS2021】视觉语言导航的课程学习
专知会员服务
23+阅读 · 2021年11月26日
【NeurIPS2021】用于视频分割的密集无监督学习
专知会员服务
14+阅读 · 2021年11月14日
【NeurIPS2021】InfoGCL:信息感知图对比学习
专知会员服务
36+阅读 · 2021年11月1日
【NeurIPS2021】未见深度架构参数预测
专知会员服务
9+阅读 · 2021年10月27日
【NeurIPS2021】ResT:一个有效的视觉识别转换器
专知会员服务
22+阅读 · 2021年10月25日
【NeurIPS2020 】 数据扩充的图对比学习
专知会员服务
48+阅读 · 2020年11月9日
【NeurIPS2020】可靠图神经网络鲁棒聚合
专知会员服务
19+阅读 · 2020年11月6日
专知会员服务
32+阅读 · 2020年10月2日
【NeurIPS2020】图网的主邻域聚合
专知会员服务
32+阅读 · 2020年9月27日
【NeurIPS2020 】数据扩充的图对比学习
专知
9+阅读 · 2020年11月9日
【NeurIPS2020】无限可能的联合对比学习
专知
3+阅读 · 2020年10月2日
精选论文 | 图深度学习【附打包下载】
人工智能前沿讲习班
11+阅读 · 2019年6月12日
Arxiv
11+阅读 · 2021年10月26日
Arxiv
9+阅读 · 2021年6月16日
Principal Neighbourhood Aggregation for Graph Nets
Arxiv
17+阅读 · 2020年6月7日
Arxiv
14+阅读 · 2019年11月26日
VIP会员
相关VIP内容
【NeurIPS2021】视觉语言导航的课程学习
专知会员服务
23+阅读 · 2021年11月26日
【NeurIPS2021】用于视频分割的密集无监督学习
专知会员服务
14+阅读 · 2021年11月14日
【NeurIPS2021】InfoGCL:信息感知图对比学习
专知会员服务
36+阅读 · 2021年11月1日
【NeurIPS2021】未见深度架构参数预测
专知会员服务
9+阅读 · 2021年10月27日
【NeurIPS2021】ResT:一个有效的视觉识别转换器
专知会员服务
22+阅读 · 2021年10月25日
【NeurIPS2020 】 数据扩充的图对比学习
专知会员服务
48+阅读 · 2020年11月9日
【NeurIPS2020】可靠图神经网络鲁棒聚合
专知会员服务
19+阅读 · 2020年11月6日
专知会员服务
32+阅读 · 2020年10月2日
【NeurIPS2020】图网的主邻域聚合
专知会员服务
32+阅读 · 2020年9月27日
微信扫码咨询专知VIP会员