题目: A Survey on Transfer Learning in Natural Language Processing

摘要:

深度学习模型通常需要大量数据。 但是,这些大型数据集并非总是可以实现的。这在许多具有挑战性的NLP任务中很常见。例如,考虑使用神经机器翻译,在这种情况下,特别对于低资源语言而言,可能无法整理如此大的数据集。深度学习模型的另一个局限性是对巨大计算资源的需求。这些障碍促使研究人员质疑使用大型训练模型进行知识迁移的可能性。随着许多大型模型的出现,对迁移学习的需求正在增加。在此调查中,我们介绍了NLP领域中最新的迁移学习进展。我们还提供了分类法,用于分类文献中的不同迁移学习方法。

成为VIP会员查看完整内容
133

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
专知会员服务
197+阅读 · 2020年3月6日
赛尔笔记 | 自然语言处理中的迁移学习(上)
哈工大SCIR
16+阅读 · 2019年10月17日
NLP领域中的迁移学习现状
AI科技评论
7+阅读 · 2019年9月1日
一文看懂自然语言处理中迁移学习的现状
AI前线
10+阅读 · 2019年8月27日
自然语言处理常识推理综述论文,60页pdf
专知
69+阅读 · 2019年4月4日
338页新书《Deep Learning in Natural Language Processing》
机器学习算法与Python学习
8+阅读 · 2018年11月6日
学界 | 综述论文:四大类深度迁移学习
机器之心
16+阅读 · 2018年9月15日
迁移学习在深度学习中的应用
专知
23+阅读 · 2017年12月24日
2017深度学习NLP进展与趋势
云栖社区
7+阅读 · 2017年12月17日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
25+阅读 · 2020年3月13日
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
21+阅读 · 2018年8月30日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
VIP会员
相关资讯
赛尔笔记 | 自然语言处理中的迁移学习(上)
哈工大SCIR
16+阅读 · 2019年10月17日
NLP领域中的迁移学习现状
AI科技评论
7+阅读 · 2019年9月1日
一文看懂自然语言处理中迁移学习的现状
AI前线
10+阅读 · 2019年8月27日
自然语言处理常识推理综述论文,60页pdf
专知
69+阅读 · 2019年4月4日
338页新书《Deep Learning in Natural Language Processing》
机器学习算法与Python学习
8+阅读 · 2018年11月6日
学界 | 综述论文:四大类深度迁移学习
机器之心
16+阅读 · 2018年9月15日
迁移学习在深度学习中的应用
专知
23+阅读 · 2017年12月24日
2017深度学习NLP进展与趋势
云栖社区
7+阅读 · 2017年12月17日
微信扫码咨询专知VIP会员