【145页ppt】Few-Shot Learning Methods
《小样本学习(Few-shot learning)》最新41页综述论文，来自港科大和第四范式
【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类，基于先验知识等，只基于少量的样本就可以进行学习。本文介绍41页小样本学习综述《Few-shot Learning: A Survey》，包含146篇参考文献，来自第四范式和香港科技大学习的研究学者。
论文地址：
http://www.zhuanzhi.ai/paper/c7a2464c0865b9602a4103fb44659858
目录：
摘要
简介
概览
符号
问题定义
相关的学习问题
核心问题
分类
数据
利用变换来复制增强数据集
从别的数据集引入数据
总结
模型
多任务学习
嵌入学习
额外记忆学习
生成模型
总结
算法
改善已有参数
改善Meta-learned
学习搜索步骤
总结
未来工作
问题设置
技术
应用
理论
总结
【论文便捷下载】
请关注专知公众号（点击上方蓝色专知关注）
后台回复“FSLAS”就可以获取《Few-shot Learning: A Survey》的下载链接~
小样本学习综述 Few-shot Learning: A Survey
【摘要】“机器会思考吗”和“机器能做人类做的事情吗”是推动人工智能发展的任务。尽管最近的人工智能在许多数据密集型应用中取得了成功，但它仍然缺乏从有限的数据示例学习和对新任务的快速泛化的能力。为了解决这个问题，我们必须求助于机器学习，它支持人工智能的科学研究。特别地，在这种情况下，有一个机器学习问题称为小样本学习(Few-Shot Learning，FSL)。该方法利用先验知识，可以快速地推广到有限监督经验的新任务中，通过推广和类比，模拟人类从少数例子中获取知识的能力。它被视为真正人工智能，是一种减少繁重的数据收集和计算成本高昂的培训的方法，也是罕见案例学习有效方式。随着FSL研究的广泛开展，我们对其进行了全面的综述。我们首先给出了FSL的正式定义。然后指出了FSL的核心问题，将问题从“如何解决FSL”转变为“如何处理核心问题”。因此，从FSL诞生到最近发表的作品都被归为一个统一的类别，并对不同类别的优缺点进行了深入的讨论。最后，我们从问题设置、技术、应用和理论等方面展望了FSL未来可能的发展方向，希望为初学者和有经验的研究者提供一些见解。
小样本学习方法体系：
我们给出了FSL的形式化定义。它可以自然地链接到以往文献中提出的经典机器学习定义。这个定义不仅足够概括，包括所有现有的FSL -shot Learning: A Survey problems，而且足够具体，明确了什么是FSL的目标，以及我们如何解决它。这一定义有助于确定未来FSL领域的研究目标。
指出了基于误差分解的FSL在机器学习中的核心问题。我们发现，正是不可靠的经验风险最小化使得FSL难以学习。这可以通过满足或降低学习的样本复杂度来缓解。理解核心问题有助于根据解决核心问题的方式将不同的工作分类为数据、模型和算法。更重要的是，这为更有组织和系统地改进FSL方法提供了见解。
我们对从FSL诞生到最近发表的文献进行了广泛的回顾，并将它们进行了统一的分类。对不同类别的优缺点进行了深入的讨论。我们还对每个类别下的见解进行了总结。这对于初学者和有经验的研究人员都是一个很好的指导方针。
我们在问题设置、技术、应用和理论方面展望了FSL未来的四个发展方向。这些见解都是基于当前FSL发展的不足之处，并有可能在未来进行探索。我们希望这部分能够提供一些见解，为解决FSL问题做出贡献，为真正的AI而努力。
与已有的关于小样本概念学习和经验学习的FSL相关调相比，我们给出了什么是FSL，为什么FSL很难，以及FSL如何将小样本监督信息与先验知识结合起来使学习成为可能的正式定义。我们进行了广泛的文献审查的基础上提出的分类法与详细讨论的利弊，总结和见解。我们还讨论了FSL与半监督学习、不平衡学习、迁移学习和元学习等相关话题之间的联系和区别
元学习设置：
监督机器学习中常见设置与少样本设置的比较
基于嵌入学习的小样本学习方法
学习FSL问题的搜索步骤
文章预览：
-END-
专 · 知
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎登录www.zhuanzhi.ai，注册登录专知，获取更多AI知识资料！
欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！
请加专知小助手微信（扫一扫如下二维码添加），加入专知人工智能主题群，咨询技术商务合作~
专知《深度学习:算法到实战》课程全部完成！520+位同学在学习，现在报名，限时优惠！网易云课堂人工智能畅销榜首位！
点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程
登录查看更多
相关内容
【导读】小样本学习是一类重要的机器学习方法，旨在解决数据缺少的情况下如何训练模型的问题。在CVPR2020的Tutorial，来自valeo.ai的学者给了Spyros Gidaris关于小样本学习的最新教程报告。
在过去的几年里，基于深度学习的方法在图像理解问题上取得了令人印象深刻的效果，如图像分类、目标检测或语义分割。然而，真实字计算机视觉应用程序通常需要模型能够(a)通过很少的注释例子学习，(b)不断适应新的数据而不忘记之前的知识。不幸的是，经典的监督深度学习方法在设计时并没有考虑到这些需求。因此，计算机视觉的下一个重大挑战是开发能够解决这方面现有方法的重要缺陷的学习方法。本教程将介绍实现这一目标的可能方法。小样本学习(FSL)利用先验知识，可以快速地泛化到只包含少量有监督信息的样本的新任务中。
https://annotation-efficient-learning.github.io/
目录内容：
- 概述
- 小样本学习种类
- 度量学习
- 带记忆模块的元学习
- 基于优化的元学习
- 学习预测模型参数
- 无遗忘小样本学习
- 结论
成为VIP会员查看完整内容
小样本学习(FSL)近年来引起了越来越多的关注，但仍然具有挑战性，因为学习从少数例子中归纳的固有困难。本文提出了一种自适应间隔原则，以提高基于度量的元学习方法在小样本学习问题中的泛化能力。具体地说，我们首先开发了一个与类相关的加性边缘损失算法，该算法考虑了每对类之间的语义相似性，从而将特征嵌入空间中的样本从相似的类中分离出来。此外，我们在抽样训练任务中加入所有类别之间的语义上下文，并开发了与任务相关的附加间隔损失，以更好地区分不同类别的样本。我们的自适应间隔方法可以很容易地推广到更现实的广义FSL设置。大量的实验表明，在标准FSL和通用FSL设置下，所提出的方法可以提高现有基于度量的元学习方法的性能。
成为VIP会员查看完整内容
摘要：图像分类的应用场景非常广泛,很多场景下难以收集到足够多的数据来训练模型,利用小样本学习进行图像分类可解决训练数据量小的问题.本文对近年来的小样本图像分类算法进行了详细综述,根据不同的建模方式,将现有算法分为卷积神经网络模型和图神经网络模型两大类,其中基于卷积神经网络模型的算法包括四种学习范式:迁移学习、元学习、对偶学习和贝叶斯学习;基于图神经网络模型的算法原本适用于非欧几里得结构数据,但有部分学者将其应用于解决小样本下欧几里得数据的图像分类任务,有关的研究成果目前相对较少.此外,本文汇总了现有文献中出现的数据集并通过实验结果对现有算法的性能进行了比较.最后,讨论了小样本图像分类技术的难点及未来研究趋势.
成为VIP会员查看完整内容
【导读】元学习旨在学会学习，是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》，值得关注，详述了元学习体系，包括定义、方法、应用、挑战，成为不可缺少的文献。
近年来，元学习领域，或者说“学会学习的学习”，引起了人们极大的兴趣。与传统的人工智能方法(使用固定的学习算法从头开始解决给定的任务)不同，元学习的目的是改进学习算法本身，考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战，包括数据和计算瓶颈，以及泛化的基本问题。在这项综述中，我们描述了当代元学习的景观。我们首先讨论元学习的定义，并将其定位于相关领域，如迁移学习、多任务学习和超参数优化。然后，我们提出了一个新的分类法，对元学习方法的空间进行了更全面的细分。我们综述了元学习的一些有前途的应用和成功案例，包括小样本学习、强化学习和体系架构搜索。最后，我们讨论了突出的挑战和未来研究的有希望的领域。
https://arxiv.org/abs/2004.05439
概述
现代机器学习模型通常是使用手工设计的固定学习算法，针对特定任务从零开始进行训练。基于深度学习的方法在许多领域都取得了巨大的成功[1,2,3]。但是有明显的局限性[4]。例如，成功主要是在可以收集或模拟大量数据的领域，以及在可以使用大量计算资源的领域。这排除了许多数据本质上是稀有或昂贵的[5]，或者计算资源不可用的应用程序[6,7]。
元学习提供了另一种范式，机器学习模型可以在多个学习阶段获得经验——通常覆盖相关任务的分布——并使用这些经验来改进未来的学习性能。这种“学会学习”[8]可以带来各种好处，如数据和计算效率，它更适合人类和动物的学习[9]，其中学习策略在一生和进化时间尺度上都得到改善[10,9,11]。机器学习在历史上是建立在手工设计的特征上的模型，而特征的选择往往是最终模型性能的决定因素[12,13,14]。深度学习实现了联合特征和模型学习的承诺[15,16]，为许多任务提供了巨大的性能改进[1,3]。神经网络中的元学习可以看作是集成联合特征、模型和算法学习的下一步。神经网络元学习有着悠久的历史[17,18,8]。然而，它作为推动当代深度学习行业前沿的潜力，导致了最近研究的爆炸性增长。特别是，元学习有可能缓解当代深度学习[4]的许多主要批评，例如，通过提供更好的数据效率，利用先验知识转移，以及支持无监督和自主学习。成功的应用领域包括:小样本图像识别[19,20]、无监督学习[21]、数据高效[22,23]、自导向[24]强化学习(RL)、超参数优化[25]和神经结构搜索(NAS)[26, 27, 28]。
在文献中可以找到许多关于元学习的不同观点。特别是由于不同的社区对这个术语的使用略有不同，所以很难定义它。与我们[29]相关的观点认为，元学习是管理“没有免费午餐”定理[30]的工具，并通过搜索最适合给定问题或问题族的算法(归纳偏差)来改进泛化。然而，从广义上来说，这个定义可以包括迁移、多任务、特征选择和模型集成学习，这些在今天通常不被认为是元学习。另一个关于元学习[31]的观点广泛地涵盖了基于数据集特性的算法选择和配置技术，并且很难与自动机器学习(AutoML)[32]区分开来。在这篇论文中，我们关注当代的神经网络元学习。我们将其理解为算法或归纳偏差搜索，但重点是通过端到端学习明确定义的目标函数(如交叉熵损失、准确性或速度)来实现的。
因此，本文提供了一个独特的，及时的，最新的调查神经网络元学习领域的快速增长。相比之下，在这个快速发展的领域，以往的研究已经相当过时，或者关注于数据挖掘[29、33、34、35、36、37、31]、自动[32]的算法选择，或者元学习的特定应用，如小样本学习[38]或神经架构搜索[39]。
我们讨论元学习方法和应用。特别是，我们首先提供了一个高层次的问题形式化，它可以用来理解和定位最近的工作。然后，我们在元表示、元目标和元优化器方面提供了一种新的方法分类。我们调查了几个流行和新兴的应用领域，包括少镜头、强化学习和架构搜索;并对相关的话题如迁移学习、多任务学习和自动学习进行元学习定位。最后，我们讨论了尚未解决的挑战和未来研究的领域。
未来挑战：
-元泛化 元学习在不同任务之间面临着泛化的挑战，这与传统机器学习中在不同实例之间进行泛化的挑战类似。
- 任务分布的多模态特性
- 任务族
- 计算代价
- 跨模态迁移和异构任务
总结
元学习领域最近出现了快速增长的兴趣。这带来了一定程度的混乱，比如它如何与邻近的字段相关联，它可以应用到什么地方，以及如何对它进行基准测试。在这次综述中，我们试图通过从方法学的角度对这一领域进行彻底的调查来澄清这些问题——我们将其分为元表示、元优化器和元目标的分类;从应用的角度来看。我们希望这项调查将有助于新人和实践者在这个不断增长的领域中定位自己，并强调未来研究的机会。
成为VIP会员查看完整内容
【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类，基于先验知识等，只基于少量的样本就可以进行学习。本文介绍34页小样本学习综述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》，包含166篇参考文献，来自第四范式和香港科技大学习的研究学者。
小样本学习综述 Few-shot Learning: A Survey
【摘要】机器学习在数据密集型应用中非常成功，但当数据集很小时，它常常受到阻碍。为了解决这一问题，近年来提出了小样本学习(FSL)。利用先验知识，FSL可以快速地泛化到只包含少量有监督信息的样本的新任务中。在这篇论文中，我们进行了一个彻底的调研，以充分了解FSL。从FSL的正式定义出发，我们将FSL与几个相关的机器学习问题区分开来。然后指出了FSL的核心问题是经验风险最小化是不可靠的。基于先验知识如何处理这一核心问题，我们从三个角度对FSL方法进行了分类: (i) 数据，它使用先验知识来增加监督经验;(二) 利用先验知识缩小假设空间大小的模型;(iii)算法，利用先验知识在给定的假设空间中改变对最佳假设的搜索。有了这种分类法，我们就可以回顾和讨论每个类别的优缺点。在FSL问题的设置、技术、应用和理论方面也提出了有前景的方向，为未来的研究提供了见解。
-
我们给出了FSL的形式化定义。它可以自然地链接到以往文献中提出的经典机器学习定义。这个定义不仅足够概括，包括所有现有的FSL -shot Learning: A Survey problems，而且足够具体，明确了什么是FSL的目标，以及我们如何解决它。这一定义有助于确定未来FSL领域的研究目标。
-
指出了基于误差分解的FSL在机器学习中的核心问题。我们发现，正是不可靠的经验风险最小化使得FSL难以学习。这可以通过满足或降低学习的样本复杂度来缓解。理解核心问题有助于根据解决核心问题的方式将不同的工作分类为数据、模型和算法。更重要的是，这为更有组织和系统地改进FSL方法提供了见解。
-
我们对从FSL诞生到最近发表的文献进行了广泛的回顾，并将它们进行了统一的分类。对不同类别的优缺点进行了深入的讨论。我们还对每个类别下的见解进行了总结。这对于初学者和有经验的研究人员都是一个很好的指导方针。
-
我们在问题设置、技术、应用和理论方面展望了FSL未来的四个发展方向。这些见解都是基于当前FSL发展的不足之处，并有可能在未来进行探索。我们希望这部分能够提供一些见解，为解决FSL问题做出贡献，为真正的AI而努力。
-
与已有的关于小样本概念学习和经验学习的FSL相关调相比，我们给出了什么是FSL，为什么FSL很难，以及FSL如何将小样本监督信息与先验知识结合起来使学习成为可能的正式定义。我们进行了广泛的文献审查的基础上提出的分类法与详细讨论的利弊，总结和见解。我们还讨论了FSL与半监督学习、不平衡学习、迁移学习和元学习等相关话题之间的联系和区别
成为VIP会员查看完整内容
元学习已被提出作为一个框架来解决具有挑战性的小样本学习设置。关键的思想是利用大量相似的小样本任务，以学习如何使基学习者适应只有少数标记的样本可用的新任务。由于深度神经网络(DNNs)倾向于只使用少数样本进行过度拟合，元学习通常使用浅层神经网络(SNNs)，因此限制了其有效性。本文提出了一种新的学习方法——元转移学习(MTL)。具体来说，“meta”是指训练多个任务，“transfer”是通过学习每个任务的DNN权值的缩放和变换函数来实现的。此外，我们还介绍了作为一种有效的MTL学习课程的困难任务元批处理方案。我们使用(5类，1次)和(5类，5次)识别任务，在两个具有挑战性的小样本学习基准上进行实验:miniImageNet和Fewshot-CIFAR100。通过与相关文献的大量比较，验证了本文提出的HT元批处理方案训练的元转移学习方法具有良好的学习效果。消融研究还表明，这两种成分有助于快速收敛和高精度。
地址:
https://arxiv.org/abs/1812.02391
代码：
成为VIP会员查看完整内容
相关资讯
相关VIP内容
相关论文
Ling Yang,Liangliang Li,Zilun Zhang, Zhou,Erjin Zhou,Yu Liu
7+阅读 · 2020年3月31日
Fuzhen Zhuang,Zhiyuan Qi,Keyu Duan,Dongbo Xi,Yongchun Zhu,Hengshu Zhu,Hui Xiong,Qing He
80+阅读 · 2019年11月7日
Yanbin Liu,Juho Lee,Minseop Park,Saehoon Kim,Eunho Yang,Sung Ju Hwang,Yi Yang
5+阅读 · 2019年2月8日
Yu Cheng,Mo Yu,Xiaoxiao Guo,Bowen Zhou
10+阅读 · 2019年1月26日
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
8+阅读 · 2018年12月10日
Catherine Wong,Neil Houlsby,Yifeng Lu,Andrea Gesmundo
4+阅读 · 2018年9月11日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
8+阅读 · 2018年7月8日
Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein
5+阅读 · 2018年5月23日