题目: A Survey on Transfer Learning in Natural Language Processing

摘要:

深度学习模型通常需要大量数据。 但是,这些大型数据集并非总是可以实现的。这在许多具有挑战性的NLP任务中很常见。例如,考虑使用神经机器翻译,在这种情况下,特别对于低资源语言而言,可能无法整理如此大的数据集。深度学习模型的另一个局限性是对巨大计算资源的需求。这些障碍促使研究人员质疑使用大型训练模型进行知识迁移的可能性。随着许多大型模型的出现,对迁移学习的需求正在增加。在此调查中,我们介绍了NLP领域中最新的迁移学习进展。我们还提供了分类法,用于分类文献中的不同迁移学习方法。

成为VIP会员查看完整内容
0
73

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目

A Survey on Large-scale Machine :大规模机器学习综述

关键词

机器学习,综述调查

摘要

机器学习可以提供对数据的深刻见解,从而使机器能够做出高质量的预测,并已广泛用于诸如文本挖掘,视觉分类和推荐系统之类的实际应用中。 但是,大多数复杂的机器学习方法在处理大规模数据时会耗费大量时间。 这个问题需要大规模机器学习(LML),其目的是从具有可比性能的大数据中学习模式。 在本文中,我们对现有的LML方法进行了系统的调查,为该领域的未来发展提供了蓝图。 我们首先根据提高可伸缩性的方式来划分这些LML方法:1)简化计算复杂度的模型,2)优化计算效率的近似值,以及3)提高计算的并行性。 然后,根据目标场景对每种方法进行分类,并根据内在策略介绍代表性方法。最后,我们分析其局限性并讨论潜在的方向以及未来有望解决的开放问题。

简介

机器学习使机器能够从数据中学习模式,从而无需手动发现和编码模式。 尽管如此,相对于训练实例或模型参数的数量,许多有效的机器学习方法都面临二次时间复杂性[70]。 近年来,随着数据规模的迅速增长[207],这些机器学习方法变得不堪重负,难以为现实应用服务。 为了开发大数据的金矿,因此提出了大规模机器学习(LML)。 它旨在解决可用计算资源上的常规机器学习任务,特别着重于处理大规模数据。 LML可以以几乎线性(甚至更低)的时间复杂度处理任务,同时获得可比的精度。 因此,它已成为可操作的见解的大数据分析的核心。 例如,Waymo和Tesla Autopilot等自动驾驶汽车在计算机视觉中应用了卷积网络,以实时图像感知周围环境[115]; 诸如Netflix和Amazon之类的在线媒体和电子商务站点从用户历史到产品推荐都建立了有效的协作过滤模型[18]。总而言之,LML在我们的日常生活中一直扮演着至关重要的和不可或缺的角色。

鉴于对从大数据中学习的需求不断增长,对此领域的系统调查变得非常科学和实用。 尽管在大数据分析领域已经发表了一些调查报告[12],[33],[54],[193],但它们在以下方面还不够全面。 首先,它们大多数只专注于LML的一个观点,而忽略了互补性。它限制了它们在该领域的价值,并无法促进未来的发展。例如,[12]专注于预测模型而没有发现优化问题,[33]在忽略并行化的同时回顾了随机优化算法,[193]仅关注了 大数据处理系统,并讨论系统支持的机器学习方法。 其次,大多数调查要么失去对所审查方法的洞察力,要么忽视了最新的高质量文献。 例如,[12]缺乏讨论模型的计算复杂性的讨论,[33]忽略了处理高维数据的优化算法,[120]将其研究限于Hadoop生态系统中的分布式数据分析。 从计算角度回顾了200多篇Paperson LML,并进行了更深入的分析,并讨论了未来的研究方向。 我们为从业者提供查找表,以根据他们的需求和资源选择预测模型,优化算法和处理系统。 此外,我们为研究人员提供了有关当前策略的见解,以更有效地开发下一代LML的指南。

我们将贡献总结如下。 首先,我们根据三个计算角度对LML进行了全面概述。 具体来说,它包括:1)模型简化,通过简化预测模型来降低计算复杂性; 2)优化近似,通过设计更好的优化算法来提高计算效率; 3)计算并行性,通过调度多个计算设备来提高计算能力。其次,我们对现有的LML方法进行了深入的分析。 为此,我们根据目标场景将每个角度的方法划分为更精细的类别。 我们分析了它们促进机器学习过程的动机和内在策略。 然后,我们介绍了具有代表性的成就的特征。此外,我们还回顾了混合方法,这些方法共同改善了协同效应的多个视角。 第三,我们从各个角度分析了LML方法的局限性,并根据其扩展提出了潜在的发展方向。 此外,我们讨论了有关LML未来发展的一些相关问题。

本文的结构如下。 我们首先在第2节中介绍了机器学习的一般框架,然后对其有效性和效率进行了高层次的讨论。在第3节中,我们全面回顾了最新的LML方法并深入了解了它们的好处和优势。 局限性。 最后,在第5节结束本文之前,我们讨论了解决第4节中的局限性和其他有希望的未解决问题的未来方向。

成为VIP会员查看完整内容
0
41

小样本自然语言处理(NLP)是指NLP任务只具有少量标注的样例。这是人工智能系统必须学会处理的现实挑战。通常我们依赖于收集更多的辅助信息或开发一个更有效的学习算法。然而,在高容量模型中,一般基于梯度的优化,如果从头开始训练,需要对大量带标记的样例进行很多参数更新步骤,才能表现良好(Snell et al., 2017)。

如果目标任务本身不能提供更多的信息,如何收集更多带有丰富标注的任务来帮助模型学习?元学习的目标是训练一个模型在各种任务上使用丰富的标注,这样它就可以用少量标记的样本解决一个新的任务。关键思想是训练模型的初始参数,这样当参数通过零阶或几个梯度步骤更新后,模型在新任务上有最大的性能。

已经有一些关于元学习的综述,例如(Vilalta和Drissi, 2002;Vanschoren, 2018;Hospedales等,2020)。然而,本文的研究主要集中在NLP领域,尤其是小样本的应用。本文试图对元学习应用于较少次数的神经语言处理提供更清晰的定义、进展总结和一些常用的数据集。

https://arxiv.org/abs/2007.09604

成为VIP会员查看完整内容
0
55

本文综述了元学习在图像分类、自然语言处理和机器人技术等领域的应用。与深度学习不同,元学习使用较少的样本数据集,并考虑进一步改进模型泛化以获得更高的预测精度。我们将元学习模型归纳为三类: 黑箱适应模型、基于相似度的方法模型和元学习过程模型。最近的应用集中在将元学习与贝叶斯深度学习和强化学习相结合,以提供可行的集成问题解决方案。介绍了元学习方法的性能比较,并讨论了今后的研究方向。

成为VIP会员查看完整内容
0
160

【导读】元学习旨在学会学习,是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》,值得关注,详述了元学习体系,包括定义、方法、应用、挑战,成为不可缺少的文献。

近年来,元学习领域,或者说“学会学习的学习”,引起了人们极大的兴趣。与传统的人工智能方法(使用固定的学习算法从头开始解决给定的任务)不同,元学习的目的是改进学习算法本身,考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战,包括数据和计算瓶颈,以及泛化的基本问题。在这项综述中,我们描述了当代元学习的景观。我们首先讨论元学习的定义,并将其定位于相关领域,如迁移学习、多任务学习和超参数优化。然后,我们提出了一个新的分类法,对元学习方法的空间进行了更全面的细分。我们综述了元学习的一些有前途的应用和成功案例,包括小样本学习、强化学习和体系架构搜索。最后,我们讨论了突出的挑战和未来研究的有希望的领域。

https://arxiv.org/abs/2004.05439

概述

现代机器学习模型通常是使用手工设计的固定学习算法,针对特定任务从零开始进行训练。基于深度学习的方法在许多领域都取得了巨大的成功[1,2,3]。但是有明显的局限性[4]。例如,成功主要是在可以收集或模拟大量数据的领域,以及在可以使用大量计算资源的领域。这排除了许多数据本质上是稀有或昂贵的[5],或者计算资源不可用的应用程序[6,7]。

元学习提供了另一种范式,机器学习模型可以在多个学习阶段获得经验——通常覆盖相关任务的分布——并使用这些经验来改进未来的学习性能。这种“学会学习”[8]可以带来各种好处,如数据和计算效率,它更适合人类和动物的学习[9],其中学习策略在一生和进化时间尺度上都得到改善[10,9,11]。机器学习在历史上是建立在手工设计的特征上的模型,而特征的选择往往是最终模型性能的决定因素[12,13,14]。深度学习实现了联合特征和模型学习的承诺[15,16],为许多任务提供了巨大的性能改进[1,3]。神经网络中的元学习可以看作是集成联合特征、模型和算法学习的下一步。神经网络元学习有着悠久的历史[17,18,8]。然而,它作为推动当代深度学习行业前沿的潜力,导致了最近研究的爆炸性增长。特别是,元学习有可能缓解当代深度学习[4]的许多主要批评,例如,通过提供更好的数据效率,利用先验知识转移,以及支持无监督和自主学习。成功的应用领域包括:小样本图像识别[19,20]、无监督学习[21]、数据高效[22,23]、自导向[24]强化学习(RL)、超参数优化[25]和神经结构搜索(NAS)[26, 27, 28]。

在文献中可以找到许多关于元学习的不同观点。特别是由于不同的社区对这个术语的使用略有不同,所以很难定义它。与我们[29]相关的观点认为,元学习是管理“没有免费午餐”定理[30]的工具,并通过搜索最适合给定问题或问题族的算法(归纳偏差)来改进泛化。然而,从广义上来说,这个定义可以包括迁移、多任务、特征选择和模型集成学习,这些在今天通常不被认为是元学习。另一个关于元学习[31]的观点广泛地涵盖了基于数据集特性的算法选择和配置技术,并且很难与自动机器学习(AutoML)[32]区分开来。在这篇论文中,我们关注当代的神经网络元学习。我们将其理解为算法或归纳偏差搜索,但重点是通过端到端学习明确定义的目标函数(如交叉熵损失、准确性或速度)来实现的。

因此,本文提供了一个独特的,及时的,最新的调查神经网络元学习领域的快速增长。相比之下,在这个快速发展的领域,以往的研究已经相当过时,或者关注于数据挖掘[29、33、34、35、36、37、31]、自动[32]的算法选择,或者元学习的特定应用,如小样本学习[38]或神经架构搜索[39]。

我们讨论元学习方法和应用。特别是,我们首先提供了一个高层次的问题形式化,它可以用来理解和定位最近的工作。然后,我们在元表示、元目标和元优化器方面提供了一种新的方法分类。我们调查了几个流行和新兴的应用领域,包括少镜头、强化学习和架构搜索;并对相关的话题如迁移学习、多任务学习和自动学习进行元学习定位。最后,我们讨论了尚未解决的挑战和未来研究的领域。

未来挑战:

-元泛化 元学习在不同任务之间面临着泛化的挑战,这与传统机器学习中在不同实例之间进行泛化的挑战类似。

  • 任务分布的多模态特性
  • 任务族
  • 计算代价
  • 跨模态迁移和异构任务

总结

元学习领域最近出现了快速增长的兴趣。这带来了一定程度的混乱,比如它如何与邻近的字段相关联,它可以应用到什么地方,以及如何对它进行基准测试。在这次综述中,我们试图通过从方法学的角度对这一领域进行彻底的调查来澄清这些问题——我们将其分为元表示、元优化器和元目标的分类;从应用的角度来看。我们希望这项调查将有助于新人和实践者在这个不断增长的领域中定位自己,并强调未来研究的机会。

成为VIP会员查看完整内容
0
139

题目

Pre-trained Models for Natural Language Processing: A Survey

关键词

预训练语言模型,深度学习,自然语言处理,BERT,Transfomer,人工智能

简介

最近,预训练模型(PTM)的出现将自然语言处理(NLP)带入了一个新时代。 在此调查中,我们提供了针对NLP的PTM的全面概述。 我们首先简要介绍语言表示学习及其研究进展。 然后,我们基于分类从四个角度对现有PTM进行系统分类。 接下来,我们描述如何使PTM的知识适应下游任务。 最后,我们概述了PTM未来研究的一些潜在方向。该调查旨在作为实践指南,帮助您理解,使用和开发适用于各种NLP任务的PTM。

作者

Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai ,Xuanjing Huang

译者

专知成员,范志广

成为VIP会员查看完整内容
Pre-trained Models for Natural Language Processing A Survey.pdf
0
66

题目: Meta-Learning in Neural Networks: A Survey

简介: 近年来,元学习领域的兴趣急剧上升。与使用固定学习算法从头解决给定任务的传统AI方法相反,元学习旨在根据多次学习事件的经验来改善学习算法本身。这种范例为解决深度学习的许多传统挑战提供了机会,包括数据和计算瓶颈以及泛化的基本问题。在本次调查中,我们描述了当代的元学习环境。我们首先讨论元学习的定义,并将其相对于相关领域(例如转移学习,多任务学习和超参数优化)进行定位。然后,我们提出了一种新的分类法,该分类法为当今的元学习方法提供了更为全面的细分。我们调查了元学习的有希望的应用程序和成功案例,包括,强化学习和架构搜索。最后,我们讨论了未来研究的突出挑战和有希望的领域。

成为VIP会员查看完整内容
0
57

主题: Modern Deep Learning Techniques Applied to Natural Language Processing

简要介绍: 该文章概述了基于深度学习的自然语言处理(NLP)的最新趋势。 它涵盖了深度学习模型(例如递归神经网络(RNN),卷积神经网络(CNN)和强化学习)背后的理论描述和实现细节,用于解决各种NLP任务和应用。 概述还包含NLP任务(例如机器翻译,问题解答和对话系统)的最新结果摘要。

成为VIP会员查看完整内容
0
33

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
124

题目: Natural Language Processing Advancements By Deep Learning: A Survey

摘要: 自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。算力的最新发展和语言大数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本综述对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们并进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
52

论文摘要:迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域中的学习性能。这样可以减少对大量目标域数据的依赖,从而构建目标学习者。由于其广泛的应用前景,转移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本研究试图将已有的迁移学习研究进行梳理和梳理,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的研究不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20个有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即,亚马逊评论,路透社-21578,Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。

关键词:迁移学习 机器学习 域适应 可解释性

成为VIP会员查看完整内容
0
58
小贴士
相关资讯
赛尔笔记 | 自然语言处理中的迁移学习(上)
哈工大SCIR
11+阅读 · 2019年10月17日
NLP领域中的迁移学习现状
AI科技评论
4+阅读 · 2019年9月1日
一文看懂自然语言处理中迁移学习的现状
AI前线
7+阅读 · 2019年8月27日
自然语言处理常识推理综述论文,60页pdf
专知
29+阅读 · 2019年4月4日
338页新书《Deep Learning in Natural Language Processing》
机器学习算法与Python学习
6+阅读 · 2018年11月6日
学界 | 综述论文:四大类深度迁移学习
机器之心
11+阅读 · 2018年9月15日
迁移学习在深度学习中的应用
专知
15+阅读 · 2017年12月24日
2017深度学习NLP进展与趋势
云栖社区
7+阅读 · 2017年12月17日
相关论文
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
82+阅读 · 2020年3月18日
A Survey on Deep Learning for Named Entity Recognition
Jing Li,Aixin Sun,Jianglei Han,Chenliang Li
21+阅读 · 2020年3月13日
A Comprehensive Survey on Transfer Learning
Fuzhen Zhuang,Zhiyuan Qi,Keyu Duan,Dongbo Xi,Yongchun Zhu,Hengshu Zhu,Hui Xiong,Qing He
85+阅读 · 2019年11月7日
A Survey of the Usages of Deep Learning in Natural Language Processing
Daniel W. Otter,Julian R. Medina,Jugal K. Kalita
62+阅读 · 2019年9月11日
Multi-Task Deep Neural Networks for Natural Language Understanding
Xiaodong Liu,Pengcheng He,Weizhu Chen,Jianfeng Gao
3+阅读 · 2019年1月31日
Ziwei Zhang,Peng Cui,Wenwu Zhu
37+阅读 · 2018年12月11日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
10+阅读 · 2018年8月6日
K M Annervaz,Somnath Basu Roy Chowdhury,Ambedkar Dukkipati
5+阅读 · 2018年5月21日
Top