【NeurIPS2020】持续学习的元巩固

2020 年 10 月 3 日 专知

持续学习和适应新任务的能力,同时又不失去对已经获得的知识的掌握,是生物学习系统的一个特征,这是目前的深度学习系统所欠缺的。在这项工作中,我们提出了一种新的持续学习方法,称为MERLIN:持续学习的元巩固。


我们假设一个用于解决任务t的神经网络的权值是来自于一个元分布p(lenian| t)。这种元分布是逐步学习和巩固的。我们在具有挑战性的在线持续学习设置中操作,其中一个数据点只被模型看到一次。


我们对MNIST、CIFAR-10、CIFAR-100和Mini-ImageNet数据集的持续学习基准进行的实验显示,在五个基线上,包括最近的最先进水平,都证明了MERLIN的前景。


https://arxiv.org/abs/2010.00352

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“MCCL” 可以获取《【NeurIPS2020】持续学习的元巩固》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
2

相关内容

持续学习(continuallearning,CL) 是 模 拟 大 脑 学 习 的 过 程,按 照 一 定 的 顺 序 对 连 续 非 独 立 同 分 布 的 (independentlyandidenticallydistributed,IID)流数据进行学习,进而根据任务的执行结果对模型进行 增量式更新.持续学习的意义在于高效地转化和利用已经学过的知识来完成新任务的学习,并且能够极 大程度地降低遗忘带来的问题.连续学习研究对智能计算系统自适应地适应环境改变具有重要的意义
专知会员服务
9+阅读 · 2020年11月12日
【NeurIPS2020 】 数据扩充的图对比学习
专知会员服务
48+阅读 · 2020年11月9日
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
专知会员服务
45+阅读 · 2020年10月22日
【NeurIPS2020-MIT】子图神经网络,Subgraph Neural Networks
专知会员服务
45+阅读 · 2020年9月28日
【NeurIPS2020】图网的主邻域聚合
专知会员服务
32+阅读 · 2020年9月27日
【DeepMind推荐】居家学习的人工智能干货资源大全集
专知会员服务
106+阅读 · 2020年6月27日
【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练
专知会员服务
37+阅读 · 2020年3月31日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
12+阅读 · 2020年10月19日
最新《图嵌入组合优化》综述论文,40页pdf
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
【ICML2020】小样本目标检测
专知
7+阅读 · 2020年6月2日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
Physical Primitive Decomposition
Arxiv
4+阅读 · 2018年9月13日
Arxiv
21+阅读 · 2018年2月14日
VIP会员
相关VIP内容
专知会员服务
9+阅读 · 2020年11月12日
【NeurIPS2020 】 数据扩充的图对比学习
专知会员服务
48+阅读 · 2020年11月9日
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
专知会员服务
45+阅读 · 2020年10月22日
【NeurIPS2020-MIT】子图神经网络,Subgraph Neural Networks
专知会员服务
45+阅读 · 2020年9月28日
【NeurIPS2020】图网的主邻域聚合
专知会员服务
32+阅读 · 2020年9月27日
【DeepMind推荐】居家学习的人工智能干货资源大全集
专知会员服务
106+阅读 · 2020年6月27日
【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练
专知会员服务
37+阅读 · 2020年3月31日
Top
微信扫码咨询专知VIP会员