本文综述了元学习在图像分类、自然语言处理和机器人技术等领域的应用。与深度学习不同,元学习使用较少的样本数据集,并考虑进一步改进模型泛化以获得更高的预测精度。我们将元学习模型归纳为三类: 黑箱适应模型、基于相似度的方法模型和元学习过程模型。最近的应用集中在将元学习与贝叶斯深度学习和强化学习相结合,以提供可行的集成问题解决方案。介绍了元学习方法的性能比较,并讨论了今后的研究方向。

成为VIP会员查看完整内容
0
197

相关内容

题目: A Survey on Transfer Learning in Natural Language Processing

摘要:

深度学习模型通常需要大量数据。 但是,这些大型数据集并非总是可以实现的。这在许多具有挑战性的NLP任务中很常见。例如,考虑使用神经机器翻译,在这种情况下,特别对于低资源语言而言,可能无法整理如此大的数据集。深度学习模型的另一个局限性是对巨大计算资源的需求。这些障碍促使研究人员质疑使用大型训练模型进行知识迁移的可能性。随着许多大型模型的出现,对迁移学习的需求正在增加。在此调查中,我们介绍了NLP领域中最新的迁移学习进展。我们还提供了分类法,用于分类文献中的不同迁移学习方法。

成为VIP会员查看完整内容
0
95

智能视频监控(IVS)是当前计算机视觉和机器学习领域的一个活跃研究领域,为监控操作员和取证视频调查者提供了有用的工具。人的再识别(PReID)是IVS中最关键的问题之一,它包括识别一个人是否已经通过网络中的摄像机被观察到。PReID的解决方案有无数的应用,包括检索显示感兴趣的个体的视频序列,甚至在多个摄像机视图上进行行人跟踪。文献中已经提出了不同的技术来提高PReID的性能,最近研究人员利用了深度神经网络(DNNs),因为它在类似的视觉问题上具有令人信服的性能,而且在测试时执行速度也很快。鉴于再识别解决方案的重要性和广泛的应用范围,我们的目标是讨论在该领域开展的工作,并提出一项最先进的DNN模型用于这项任务的调查。我们提供了每个模型的描述以及它们在一组基准数据集上的评估。最后,我们对这些模型进行了详细的比较,并讨论了它们的局限性,为今后的研究提供了指导。

成为VIP会员查看完整内容
0
57

题目: The Creation and Detection of Deepfakes: A Survey

摘要: 本文综述了元学习在图像分类、自然语言处理和机器人等领域的应用。与深度学习不同,元学习使用小样本数据集,并考虑进一步改进模型泛化以获得更高的预测精度。我们将元学习模型归纳为三类:黑箱适应模型、基于相似度的方法模型和元学习过程模型。最近的应用集中在将元学习与贝叶斯深度学习和强化学习相结合,以提供可行的集成问题解决方案。介绍了元学习方法的性能比较,并讨论了今后的研究方向。

成为VIP会员查看完整内容
0
45

【导读】元学习旨在学会学习,是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》,值得关注,详述了元学习体系,包括定义、方法、应用、挑战,成为不可缺少的文献。

近年来,元学习领域,或者说“学会学习的学习”,引起了人们极大的兴趣。与传统的人工智能方法(使用固定的学习算法从头开始解决给定的任务)不同,元学习的目的是改进学习算法本身,考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战,包括数据和计算瓶颈,以及泛化的基本问题。在这项综述中,我们描述了当代元学习的景观。我们首先讨论元学习的定义,并将其定位于相关领域,如迁移学习、多任务学习和超参数优化。然后,我们提出了一个新的分类法,对元学习方法的空间进行了更全面的细分。我们综述了元学习的一些有前途的应用和成功案例,包括小样本学习、强化学习和体系架构搜索。最后,我们讨论了突出的挑战和未来研究的有希望的领域。

https://arxiv.org/abs/2004.05439

概述

现代机器学习模型通常是使用手工设计的固定学习算法,针对特定任务从零开始进行训练。基于深度学习的方法在许多领域都取得了巨大的成功[1,2,3]。但是有明显的局限性[4]。例如,成功主要是在可以收集或模拟大量数据的领域,以及在可以使用大量计算资源的领域。这排除了许多数据本质上是稀有或昂贵的[5],或者计算资源不可用的应用程序[6,7]。

元学习提供了另一种范式,机器学习模型可以在多个学习阶段获得经验——通常覆盖相关任务的分布——并使用这些经验来改进未来的学习性能。这种“学会学习”[8]可以带来各种好处,如数据和计算效率,它更适合人类和动物的学习[9],其中学习策略在一生和进化时间尺度上都得到改善[10,9,11]。机器学习在历史上是建立在手工设计的特征上的模型,而特征的选择往往是最终模型性能的决定因素[12,13,14]。深度学习实现了联合特征和模型学习的承诺[15,16],为许多任务提供了巨大的性能改进[1,3]。神经网络中的元学习可以看作是集成联合特征、模型和算法学习的下一步。神经网络元学习有着悠久的历史[17,18,8]。然而,它作为推动当代深度学习行业前沿的潜力,导致了最近研究的爆炸性增长。特别是,元学习有可能缓解当代深度学习[4]的许多主要批评,例如,通过提供更好的数据效率,利用先验知识转移,以及支持无监督和自主学习。成功的应用领域包括:小样本图像识别[19,20]、无监督学习[21]、数据高效[22,23]、自导向[24]强化学习(RL)、超参数优化[25]和神经结构搜索(NAS)[26, 27, 28]。

在文献中可以找到许多关于元学习的不同观点。特别是由于不同的社区对这个术语的使用略有不同,所以很难定义它。与我们[29]相关的观点认为,元学习是管理“没有免费午餐”定理[30]的工具,并通过搜索最适合给定问题或问题族的算法(归纳偏差)来改进泛化。然而,从广义上来说,这个定义可以包括迁移、多任务、特征选择和模型集成学习,这些在今天通常不被认为是元学习。另一个关于元学习[31]的观点广泛地涵盖了基于数据集特性的算法选择和配置技术,并且很难与自动机器学习(AutoML)[32]区分开来。在这篇论文中,我们关注当代的神经网络元学习。我们将其理解为算法或归纳偏差搜索,但重点是通过端到端学习明确定义的目标函数(如交叉熵损失、准确性或速度)来实现的。

因此,本文提供了一个独特的,及时的,最新的调查神经网络元学习领域的快速增长。相比之下,在这个快速发展的领域,以往的研究已经相当过时,或者关注于数据挖掘[29、33、34、35、36、37、31]、自动[32]的算法选择,或者元学习的特定应用,如小样本学习[38]或神经架构搜索[39]。

我们讨论元学习方法和应用。特别是,我们首先提供了一个高层次的问题形式化,它可以用来理解和定位最近的工作。然后,我们在元表示、元目标和元优化器方面提供了一种新的方法分类。我们调查了几个流行和新兴的应用领域,包括少镜头、强化学习和架构搜索;并对相关的话题如迁移学习、多任务学习和自动学习进行元学习定位。最后,我们讨论了尚未解决的挑战和未来研究的领域。

未来挑战:

-元泛化 元学习在不同任务之间面临着泛化的挑战,这与传统机器学习中在不同实例之间进行泛化的挑战类似。

  • 任务分布的多模态特性
  • 任务族
  • 计算代价
  • 跨模态迁移和异构任务

总结

元学习领域最近出现了快速增长的兴趣。这带来了一定程度的混乱,比如它如何与邻近的字段相关联,它可以应用到什么地方,以及如何对它进行基准测试。在这次综述中,我们试图通过从方法学的角度对这一领域进行彻底的调查来澄清这些问题——我们将其分为元表示、元优化器和元目标的分类;从应用的角度来看。我们希望这项调查将有助于新人和实践者在这个不断增长的领域中定位自己,并强调未来研究的机会。

成为VIP会员查看完整内容
0
174

【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类,基于先验知识等,只基于少量的样本就可以进行学习。本文介绍34页小样本学习综述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》,包含166篇参考文献,来自第四范式和香港科技大学习的研究学者。

小样本学习综述 Few-shot Learning: A Survey

【摘要】机器学习在数据密集型应用中非常成功,但当数据集很小时,它常常受到阻碍。为了解决这一问题,近年来提出了小样本学习(FSL)。利用先验知识,FSL可以快速地泛化到只包含少量有监督信息的样本的新任务中。在这篇论文中,我们进行了一个彻底的调研,以充分了解FSL。从FSL的正式定义出发,我们将FSL与几个相关的机器学习问题区分开来。然后指出了FSL的核心问题是经验风险最小化是不可靠的。基于先验知识如何处理这一核心问题,我们从三个角度对FSL方法进行了分类: (i) 数据,它使用先验知识来增加监督经验;(二) 利用先验知识缩小假设空间大小的模型;(iii)算法,利用先验知识在给定的假设空间中改变对最佳假设的搜索。有了这种分类法,我们就可以回顾和讨论每个类别的优缺点。在FSL问题的设置、技术、应用和理论方面也提出了有前景的方向,为未来的研究提供了见解。

  • 我们给出了FSL的形式化定义。它可以自然地链接到以往文献中提出的经典机器学习定义。这个定义不仅足够概括,包括所有现有的FSL -shot Learning: A Survey problems,而且足够具体,明确了什么是FSL的目标,以及我们如何解决它。这一定义有助于确定未来FSL领域的研究目标。

  • 指出了基于误差分解的FSL在机器学习中的核心问题。我们发现,正是不可靠的经验风险最小化使得FSL难以学习。这可以通过满足或降低学习的样本复杂度来缓解。理解核心问题有助于根据解决核心问题的方式将不同的工作分类为数据、模型和算法。更重要的是,这为更有组织和系统地改进FSL方法提供了见解。

  • 我们对从FSL诞生到最近发表的文献进行了广泛的回顾,并将它们进行了统一的分类。对不同类别的优缺点进行了深入的讨论。我们还对每个类别下的见解进行了总结。这对于初学者和有经验的研究人员都是一个很好的指导方针。

  • 我们在问题设置、技术、应用和理论方面展望了FSL未来的四个发展方向。这些见解都是基于当前FSL发展的不足之处,并有可能在未来进行探索。我们希望这部分能够提供一些见解,为解决FSL问题做出贡献,为真正的AI而努力。

  • 与已有的关于小样本概念学习和经验学习的FSL相关调相比,我们给出了什么是FSL,为什么FSL很难,以及FSL如何将小样本监督信息与先验知识结合起来使学习成为可能的正式定义。我们进行了广泛的文献审查的基础上提出的分类法与详细讨论的利弊,总结和见解。我们还讨论了FSL与半监督学习、不平衡学习、迁移学习和元学习等相关话题之间的联系和区别

成为VIP会员查看完整内容
0
159

题目: Meta-Learning in Neural Networks: A Survey

简介: 近年来,元学习领域的兴趣急剧上升。与使用固定学习算法从头解决给定任务的传统AI方法相反,元学习旨在根据多次学习事件的经验来改善学习算法本身。这种范例为解决深度学习的许多传统挑战提供了机会,包括数据和计算瓶颈以及泛化的基本问题。在本次调查中,我们描述了当代的元学习环境。我们首先讨论元学习的定义,并将其相对于相关领域(例如转移学习,多任务学习和超参数优化)进行定位。然后,我们提出了一种新的分类法,该分类法为当今的元学习方法提供了更为全面的细分。我们调查了元学习的有希望的应用程序和成功案例,包括,强化学习和架构搜索。最后,我们讨论了未来研究的突出挑战和有希望的领域。

成为VIP会员查看完整内容
0
65

主题: A New Meta-Baseline for Few-Shot Learning

摘要: 近年来,元学习已经成为小样本学习的流行框架,其目标是从少拍分类任务的集合中学习模型。虽然提出了越来越多的新颖元学习模型,但我们的研究发现了被忽视的简单基准。我们通过在所有基类上预先训练分类器,并在基于最近质心的少数镜头分类算法上进行元学习,提出了一种Meta-Baseline方法,该方法以较大的优势胜过了最新的方法。为什么这个简单的方法这么好?在元学习阶段,我们观察到在基础类的未见任务上更好地推广的模型在新型类任务上的性能可能会下降,这表明存在潜在的客观差异。我们发现预训练和从预训练的分类器继承良好的几次快照分类法对于元基线都很重要,这可能有助于模型更好地利用具有更强可传递性的预训练表示。此外,我们研究了何时需要在此元基线中进行元学习。我们的工作为该领域建立了一个新的基准,并为进一步了解元学习框架中的几次学习现象提供了启示。

成为VIP会员查看完整内容
0
48

题目: Natural Language Processing Advancements By Deep Learning: A Survey

摘要: 自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。算力的最新发展和语言大数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本综述对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们并进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
58

论文题目

视频游戏中深度强化学习的研究综述,A Survey of Deep Reinforcement Learning in Video

论文摘要

摘要深度强化学习(DRL)自提出以来取得了很大的成就。通常,DRL代理在每个步骤都接收高维输入,并根据基于深度神经网络的策略进行操作。这种学习机制通过端到端的方法更新策略以最大化回报。本文综述了DRL方法的研究进展,包括基于价值的方法、基于策略梯度的方法和基于模型的方法,比较了它们的主要技术和性能,并指出DRL在智能游戏中的重要作用。我们还回顾了DRL在各种电子游戏中的成就,包括经典的街机游戏、第一人称视角游戏和多智能体实时战略游戏,从2D到3D,从单智能体到多智能体,大量带有DRL的电子游戏AIs都取得了超人的性能,在这个领域还有一些挑战。因此,我们还讨论了将DRL方法应用于该领域的一些关键点,包括探索性开发、样本效率、泛化和迁移、多智能体学习、不完全信息和延迟备用研究,以及一些研究方向。

论文作者

Kun Shao, Zhentao Tang, Yuanheng Zhu,IEEE成员。Nannan Li, Dongbin Zhao,IEEE资深会员。

成为VIP会员查看完整内容
0
27

“机器会思考吗”和“机器能做人类做的事情吗”是推动人工智能发展的任务。尽管最近的人工智能在许多数据密集型应用中取得了成功,但它仍然缺乏从有限的数据示例学习和对新任务的快速泛化的能力。为了解决这个问题,我们必须求助于机器学习,它支持人工智能的科学研究。特别地,在这种情况下,有一个机器学习问题称为小样本学习(Few-Shot Learning,FSL)。该方法利用先验知识,可以快速地推广到有限监督经验的新任务中,通过推广和类比,模拟人类从少数例子中获取知识的能力。它被视为真正人工智能,是一种减少繁重的数据收集和计算成本高昂的培训的方法,也是罕见案例学习有效方式。随着FSL研究的广泛开展,我们对其进行了全面的综述。我们首先给出了FSL的正式定义。然后指出了FSL的核心问题,将问题从“如何解决FSL”转变为“如何处理核心问题”。因此,从FSL诞生到最近发表的作品都被归为一个统一的类别,并对不同类别的优缺点进行了深入的讨论。最后,我们从问题设置、技术、应用和理论等方面展望了FSL未来可能的发展方向,希望为初学者和有经验的研究者提供一些见解。

成为VIP会员查看完整内容
0
110
小贴士
相关主题
相关VIP内容
专知会员服务
57+阅读 · 2020年5月5日
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
46+阅读 · 2020年7月2日
Anomalous Instance Detection in Deep Learning: A Survey
Saikiran Bulusu,Bhavya Kailkhura,Bo Li,Pramod K. Varshney,Dawn Song
23+阅读 · 2020年3月16日
Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey
Sanmit Narvekar,Bei Peng,Matteo Leonetti,Jivko Sinapov,Matthew E. Taylor,Peter Stone
13+阅读 · 2020年3月10日
Mohamed Elhoseiny,Mohamed Elfeki
4+阅读 · 2019年4月3日
Yu Cheng,Mo Yu,Xiaoxiao Guo,Bowen Zhou
12+阅读 · 2019年1月26日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Joaquin Vanschoren
116+阅读 · 2018年10月8日
Image Captioning based on Deep Reinforcement Learning
Haichao Shi,Peng Li,Bo Wang,Zhenyu Wang
7+阅读 · 2018年9月13日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
10+阅读 · 2018年8月6日
Top