As a new classification platform, deep learning has recently received increasing attention from researchers and has been successfully applied to many domains. In some domains, like bioinformatics and robotics, it is very difficult to construct a large-scale well-annotated dataset due to the expense of data acquisition and costly annotation, which limits its development. Transfer learning relaxes the hypothesis that the training data must be independent and identically distributed (i.i.d.) with the test data, which motivates us to use transfer learning to solve the problem of insufficient training data. This survey focuses on reviewing the current researches of transfer learning by using deep neural network and its applications. We defined deep transfer learning, category and review the recent research works based on the techniques used in deep transfer learning.


翻译:作为新的分类平台,深层次学习最近日益受到研究人员的注意,并成功地应用于许多领域,在生物信息学和机器人学等一些领域,由于数据采集和昂贵的注释费限制了数据开发,因此很难建造出一个有详细说明的大规模数据集。转让学习放宽了以下假设:培训数据必须与测试数据(即,d.)一样独立分配(即,d.),这促使我们利用转移学习解决培训数据不足的问题。这项调查侧重于审查目前通过使用深层神经网络及其应用进行的转移学习研究。我们界定了深层转移学习、分类,并审查了基于深层转移学习所用技术的近期研究工作。

11
下载
关闭预览

相关内容

迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
元学习(meta learning) 最新进展综述论文
专知会员服务
241+阅读 · 2020年5月8日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
113+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
105+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
109+阅读 · 2019年10月11日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
小样本学习(Few-shot Learning)综述
黑龙江大学自然语言处理实验室
28+阅读 · 2019年4月1日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
【论文】图上的表示学习综述
机器学习研究会
10+阅读 · 2017年9月24日
【推荐】深度学习目标检测全面综述
机器学习研究会
19+阅读 · 2017年9月13日
A Survey on Bayesian Deep Learning
Arxiv
51+阅读 · 2020年7月2日
A Comprehensive Survey on Transfer Learning
Arxiv
107+阅读 · 2019年11月7日
Few-shot Learning: A Survey
Arxiv
347+阅读 · 2019年4月10日
Transfer Adaptation Learning: A Decade Survey
Arxiv
34+阅读 · 2019年3月12日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
69+阅读 · 2018年12月22日
Arxiv
44+阅读 · 2018年12月11日
Adversarial Transfer Learning
Arxiv
10+阅读 · 2018年12月6日
Deep Learning for Generic Object Detection: A Survey
Arxiv
11+阅读 · 2018年9月6日
Learning to Focus when Ranking Answers
Arxiv
3+阅读 · 2018年8月8日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
小样本学习(Few-shot Learning)综述
黑龙江大学自然语言处理实验室
28+阅读 · 2019年4月1日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
【论文】图上的表示学习综述
机器学习研究会
10+阅读 · 2017年9月24日
【推荐】深度学习目标检测全面综述
机器学习研究会
19+阅读 · 2017年9月13日
相关论文
A Survey on Bayesian Deep Learning
Arxiv
51+阅读 · 2020年7月2日
A Comprehensive Survey on Transfer Learning
Arxiv
107+阅读 · 2019年11月7日
Few-shot Learning: A Survey
Arxiv
347+阅读 · 2019年4月10日
Transfer Adaptation Learning: A Decade Survey
Arxiv
34+阅读 · 2019年3月12日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
69+阅读 · 2018年12月22日
Arxiv
44+阅读 · 2018年12月11日
Adversarial Transfer Learning
Arxiv
10+阅读 · 2018年12月6日
Deep Learning for Generic Object Detection: A Survey
Arxiv
11+阅读 · 2018年9月6日
Learning to Focus when Ranking Answers
Arxiv
3+阅读 · 2018年8月8日
Top
微信扫码咨询专知VIP会员