现代机器学习擅长于从固定的数据集和固定的环境中训练出强大的模型,常常超过人类的能力。然而,这些模型未能模拟人类的学习过程,而人类的学习过程是有效的、稳健的,并且能够从非平稳世界的连续经验中逐步学习。对于这一局限性的见解可以从神经网络优化的本质中获得,这意味着持续学习技术可以从根本上提高深度学习,并打开了新的应用领域的大门。持续学习的有前途的方法可以在最细粒度的层次上找到,使用基于梯度的方法,也可以在体系结构层次上找到,使用模块化和基于内存的方法。我们也认为元学习是一个潜在的重要方向。

人工智能研究在过去的几个月中取得了巨大的进步,但它主要依赖于固定的数据集和固定的环境。持续学习是一个日益相关的研究领域,它表明人工系统可能像生物系统一样,从连续不断的相关数据流中有序地学习。在目前的回顾中,我们将持续学习与神经网络的学习动力学联系起来,强调它在稳步提高数据效率方面的潜力。我们进一步考虑了近年来出现的许多受生物学启发的新方法,重点关注那些利用正规化、模块化、记忆和元学习的方法,并强调了一些最有前途和最有影响的方向。

世界不是静止不动的

人工智能成功的一个常见基准是模仿人类学习的能力。我们测量人类识别图像、玩游戏和驾驶汽车的能力,举几个例子,然后开发机器学习模型,如果有足够的训练数据,它可以匹配或超过这些能力。这种范式把重点放在最终结果上,而不是学习过程上,并且忽略了人类学习的一个关键特征:它对不断变化的任务和连续的经验是鲁棒的。人类以这种方式学习也许并不奇怪,毕竟,时间是不可逆的,世界是不稳定的(见词汇表),所以人类的学习已经进化到在动态学习环境中茁壮成长。然而,这种鲁棒性与最强大的现代机器学习方法形成了鲜明的对比,后者只有在数据经过仔细的洗牌、平衡和均质后才能表现良好。这些模型不仅表现不佳,而且在某些情况下,它们会完全失败,或者在早期学习的任务上遭遇快速的性能下降,即所谓的灾难性遗忘。

基于生物系统持续学习基础

对自然世界及其智能物种的研究经常与人工智能研究交叉,包括与持续学习有关的方面[1]。生物学为在复杂环境中成功地持续学习提供了存在证据,也暗示了成功方法的设计原则和权衡。有多种机制使生物系统能够适应不断变化的环境,而不固执或遗忘。因此,在本节中,我们将通过类比来介绍四种持续学习模式,并将每种方法的详细讨论留到后面的章节中。此外,可以通过描述它们的规范模型来简要地描述这些方法,如图1(关键图)所示。

持续学习的定义

持续学习的问题通常是由顺序训练协议和解决方案所期望的特性来定义的。与静态数据集或环境的普通机器学习设置相反,持续学习设置明确地关注非平稳或变化的环境,通常被划分为需要按顺序完成的一组任务。这种设置可能在任务转换(平滑或离散)、任务长度和重复、任务类型(如无监督、监督或强化学习)方面有所不同,或者甚至可能没有定义明确的任务[9-11]。与课程学习相比[12,13],学习者不能控制任务的顺序。

支持现代机器学习的独立同分布假设

神经网络大量利用现代技术来并行计算,同时考虑大量数据;事实上,这种易于伸缩的特性使得它们在过去的十年中成为了语音、视觉和语言应用程序的主流方法。 在典型的学习设置中,目标是通过设置网络的参数来最小化一些损失函数,例如真输出和预测输出之间的误差。基于梯度的学习,最有效的和广泛使用的范式,是一种迭代算法,在每一次迭代,使一个小变化的参数,以减少损失(更详细的解释,见盒2)。这条规则的机制在拔河的动态结果,其中每个数据样本正试图拉动每个参数更大或更小。通过平均梯度,我们因此创建了一个拔河游戏,其中应用于每个参数的更新(因为它是正的或负的)揭示了哪个数据样本赢了或输了。在许多优化步骤上组合许多拔河式更新,可以进行学习(图3)。

基于梯度的解决方案

由前面描述的拔河式学习动态驱动,一种有前途的方法是直接调节不同任务的梯度。这不仅是优化问题的核心,而且是由生物大脑[3]中突触巩固的研究激发的。一种方法是迫使梯度与之前学习任务的梯度保持一致[19,20],消除潜在干扰。这些方法在其他环境中也有好处,例如,在多任务学习中,它们有可能在目标冲突的情况下提高学习效率[21-23]。

模块化架构

模块化的神经网络结构是一种自然有效的解决持续学习中的干扰和灾难性遗忘问题的方法。模块化提供了一个折衷方案,即使用一个容易遗忘的单一单片网络,以及为每个任务使用独立的网络,这既可以防止灾难性遗忘,也可以防止任务之间的转移(参见图1C的模块化架构说明)。模块化在生物系统中也很明显,它支持大脑区域的功能专门化。

人工学习系统的记忆

基于梯度和模块化的方法可能更适合短期的持续学习,而不是长期的记忆。基于梯度的方法不能防止任意长任务序列的遗忘,而模块化方法可以在长时间尺度上保存知识,它们可能在神经网络能力方面达到实际的极限。考虑一下这样一个具有挑战性的场景:在几个月的时间里,把食物藏在1000个不同的地方,然后在更多的食物消失后,正确地找到每一个食物。这个特征是每个冬天都会出现的,比如夜莺、松鸦和鸦类[57]。通过调整一个简单的神经网络的参数来保存存储食物的顺序经验既具有挑战性又效率低下。一个更可伸缩的策略是使用专用的读写内存对空间位置进行编码。

元学习:发现持续学习的归纳偏差

到目前为止所讨论的所有解决方案都规定了用于持续学习的手工设计的机制或架构,归纳偏差。每种归纳偏差都在需求(如良好的知识保留与基于记忆的方法中的正向迁移)之间达成了不同的权衡。值得考虑的是,从数据中学习解决方案,而不是依靠人类的独创性来设计它,是否能够实现更好的权衡。历史上,许多元学习或学习-学习方法已经证明,解决方案可以通过自动学习归纳偏差(如架构、数据和学习参数)来改进,否则需要手工设计(图1E) 。

结论和未来方向

机器学习研究人员经常指出,人类具有快速学习和概括(例如,从几个例子中推断出一个模式)的非凡能力。然而,我们并不经常重新评价人类在一生的教育和经历中不断学习的能力,尽管正是这种能力使人类在科学、艺术和工业上取得成就。这篇文章不仅试图强调持续学习的重要性,而且还暴露了现代神经网络在这方面的局限性,特别是导致效率低下、基于梯度的拔河的信用分配问题。

通过对这一空间的调查,我们发现了一种学习模式,如果扩展到更有雄心的领域,它就有可能发挥真正的影响力。毫不奇怪,这些范式都有很强的平行神经科学和生物系统。基于梯度的方法直接修改了神经网络的操作时间,并被证明可以减少灾难性遗忘。

模块化架构为干扰和灾难性遗忘提供了实用的解决方案,同时通过技能和知识的层次重组实现面向迁移。端到端记忆模型可以成为长时间学习的可扩展解决方案,元学习方法可以超越手工设计的算法和架构。有了这些潜在的积极影响,也必须认识到部署不断变化的机器学习模型所涉及的风险,因为任何安全和预期行为的初始评估都不能轻易地永久保证。然而,通过提高学习算法的长期可靠性,以及通过开发确保某些规则或边界不被违反的架构,持续学习解决方案可以降低这些风险。

成为VIP会员查看完整内容
0
29

相关内容

人类具有从经验中不断学习的非凡能力。我们不仅可以把以前学过的知识和技能应用到新的情况中,我们还可以把这些作为以后学习的基础。人工智能(AI)的宏伟目标之一是构建一种人工的“持续学习”代理,通过对越来越复杂的知识和技能的自主增量开发,从自身经验构建对世界的复杂理解。然而,尽管有早期的推测和开创性的工作,很少有研究和努力致力于解决这一愿景。当前的人工智能系统在面对新数据或环境下时会受到很大的影响,这些数据或环境甚至与它们所接受的训练稍有不同。此外,学习过程通常局限于狭窄、孤立的任务中的固定数据集,这很难导致更复杂、更自主的智能行为的出现。从本质上说,持续学习和适应能力,虽然通常被认为是每一个智能主体的基本支柱,但基本上被排除在人工智能的主要研究焦点之外。在这篇论文中,我们根据机器学习研究的最新进展和人工智能的深层架构来研究这些思想的应用。我们提出了一个全面和统一的框架,以持续学习,新的指标,基准和算法,以及提供大量的实验评估在不同的监督,非监督和强化学习任务。

http://amsdottorato.unibo.it/9073/

成为VIP会员查看完整内容
0
11

持续学习和适应新任务的能力,同时又不失去对已经获得的知识的掌握,是生物学习系统的一个特征,这是目前的深度学习系统所欠缺的。在这项工作中,我们提出了一种新的持续学习方法,称为MERLIN:持续学习的元巩固。

我们假设一个用于解决任务t的神经网络的权值是来自于一个元分布p(lenian| t)。这种元分布是逐步学习和巩固的。我们在具有挑战性的在线持续学习设置中操作,其中一个数据点只被模型看到一次。

我们对MNIST、CIFAR-10、CIFAR-100和Mini-ImageNet数据集的持续学习基准进行的实验显示,在五个基线上,包括最近的最先进水平,都证明了MERLIN的前景。

https://arxiv.org/abs/2010.00352

成为VIP会员查看完整内容
0
16

少样本学习(FSL)在机器学习领域具有重要意义和挑战性。成功地从很少的样本中学习和归纳的能力是区分人工智能和人类智能的一个明显的界限,因为人类可以很容易地从一个或几个例子中建立他们对新颖性的认知,而机器学习算法通常需要数百或数千个监督样本来保证泛化能力。尽管FSL的悠久历史可以追溯到21世纪初,近年来随着深度学习技术的蓬勃发展也引起了广泛关注,但迄今为止,有关FSL的调研或评论还很少。在此背景下,我们广泛回顾了2000年至2019年FSL的200多篇论文,为FSL提供了及时而全面的调研。在本综述中,我们回顾了FSL的发展历史和目前的进展,原则上将FSL方法分为基于生成模型和基于判别模型的两大类,并特别强调了基于元学习的FSL方法。我们还总结了FSL中最近出现的几个扩展主题,并回顾了这些主题的最新进展。此外,我们重点介绍了FSL在计算机视觉、自然语言处理、音频和语音、强化学习和机器人、数据分析等领域的重要应用。最后,我们对调查进行了总结,并对未来的发展趋势进行了讨论,希望对后续研究提供指导和见解。

地址:

https://www.zhuanzhi.ai/paper/ffc99a53aeb6629e21b9a42db76b9dd1

概述:

人类智能的一个令人印象深刻的特点是能够从一个或几个例子中迅速建立对新概念的认知。许多认知和心理学证据[184,224,371]表明,人类可以通过很少的图像[23]识别视觉物体,甚至儿童也可以通过一次偶见就记住一个新单词[35,51]。虽然从很少的样本中支持人类学习和归纳能力的确切原因仍是一个深刻的谜,但一些神经生物学研究[285,29,157]认为,人类显著的学习能力得益于人脑中的前额叶皮层(PFC)和工作记忆,特别是PFC特有的神经生物学机制与大脑中存储的以往经验之间的相互作用。相比之下,最先进的机器学习算法都需要大量数据,尤其是最广为人知的深度学习[186],它将人工智能推向了一个新的高潮。深度学习作为机器学习发展的重要里程碑,在视觉[172,319,120]、语言[231,318]、语言[127]、游戏[308]、人口学[97]、医学[74]、植物病理学[100]、动物学[252]等广泛的研究领域都取得了显著的成就。一般来说,深度学习的成功可以归结为三个关键因素:强大的计算资源(如GPU)、复杂的神经网络(如CNN[172]、LSTM[129])和大规模数据集(如ImageNet[287]、Pascal-VOC[75])。然而,在现实的应用场景中,比如在医学、军事、金融等领域,由于隐私、安全、数据标注成本高等因素,我们无法获得足够的标签训练样本。因此,使学习系统能够有效地从很少的样本中进行学习和归纳,成为几乎所有机器学习研究人员所期待的蓝图。

从高层次上看,研究少样本学习的理论和现实意义主要来自三个方面。首先,FSL方法不依赖于大规模的训练样本,从而避免了在某些特定应用中数据准备的高昂成本。第二,FSL可以缩小人类智能和人工智能之间的差距,是发展通用人工智能的必要之旅[191]。第三,FSL可以实现一个新兴任务的低成本和快速的模型部署,而这个任务只有几个暂时可用的样本,这有利于阐明任务早期的潜在规律。

少数样本学习(FSL),又称小样本学习、少样本学习或一次性学习,可以追溯到21世纪初。尽管该研究已有近20年的历史,在理论和应用层面上都具有重要意义,但到目前为止,相关的调查和综述还很少。在本文中,我们广泛调查了从21世纪头十年到2019年几乎所有与FSL相关的科学论文,以详细阐述一个系统的FSL调研。我们必须强调,这里讨论的FSL与zero-shot learning (ZSL)正交[346],这是机器学习的另一个热门话题。ZSL的设置需要与概念相关的侧面信息来支持跨概念的知识迁移,这与FSL有很大的不同。据我们所知,到目前为止,只有两份与fsl相关的预先打印的综述伦恩[305,349]。与他们相比,本次综述的新颖之处和贡献主要来自五个方面:

(1) 我们对2000年至2019年的200多篇与FSL相关的论文进行了更全面、更及时的综述,涵盖了从最早的凝固模型[233]到最新的元学习方法的所有FSL方法。详尽的阐述有助于把握FSL的整个发展过程,构建完整的FSL知识体系。

(2) 根据FSL问题的建模原则,我们提供了一种可理解的层次分类法,将现有的FSL方法分为基于生成模型的方法和基于判别模型的方法。在每个类中,我们根据可一般化的属性进一步进行更详细的分类。

(3) 我们强调当前主流目前的方法,例如,基于目前的元学习方法,和分类成五大类,他们希望通过元学习策略学习学习,包括Learn-to-Measure Learn-to-Finetune, Learn-to-Parameterize,学会调整和Learn-to-Remember。此外,本调查还揭示了各种基于元学习的FSL方法之间潜在的发展关系。

(4) 总结了最近在普通FSL之外出现的几个外延研究课题,并回顾了这些课题的最新进展。这些主题包括半监督FSL、无监督FSL、跨域FSL、广义FSL和多模态FSL,它们具有挑战性,同时也为许多现实机器学习问题的解决赋予了突出的现实意义。这些扩展主题在以前的综述中很少涉及。

(5) 我们广泛总结了现有FSL在计算机视觉、自然语言处理、音频和语音、增强学习和机器人、数据分析等各个领域的应用,以及目前FSL在基准测试中的表现,旨在为后续研究提供一本手册,这是之前综述中没有涉及到的。

本文的其余部分组织如下。在第2节中,我们给出了一个概述,包括FSL的发展历史、我们稍后将使用的符号和定义,以及现有FSL方法的分类建议。第3节和第4节分别详细讨论了基于生成模型的方法和基于判别模型的方法。然后,第5节总结了FSL中出现的几个扩展主题。在第6节中,我们广泛地研究了FSL在各个领域的应用以及FSL的基准性能。在第8节中,我们以对未来方向的讨论来结束这次综述。

成为VIP会员查看完整内容
0
123

当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现,那么它就被认为是有利的。这种心态无缝地反映在持续学习的重现领域,在这里研究的是持续到达的基准数据集。核心挑战是如何保护之前获得的表示,以免由于迭代参数更新而出现灾难性地遗忘的情况。然而,各个方法的比较是与现实应用程序隔离的,通常通过监视累积的测试集性能来判断。封闭世界的假设仍然占主导地位。假设在部署过程中,一个模型保证会遇到来自与用于训练的相同分布的数据。这带来了一个巨大的挑战,因为众所周知,神经网络会对未知的实例提供过于自信的错误预测,并在数据损坏的情况下崩溃。在这个工作我们认为值得注意的教训来自开放数据集识别,识别的统计偏差以外的数据观测数据集,和相邻的主动学习领域,数据增量查询等预期的性能收益最大化,这些常常在深度学习的时代被忽略。基于这些遗忘的教训,我们提出了一个统一的观点,以搭建持续学习,主动学习和开放集识别在深度神经网络的桥梁。我们的结果表明,这不仅有利于每个个体范式,而且突出了在一个共同框架中的自然协同作用。我们从经验上证明了在减轻灾难性遗忘、主动学习中查询数据、选择任务顺序等方面的改进,同时在以前提出的方法失败的地方展示了强大的开放世界应用。

https://www.zhuanzhi.ai/paper/e5bee7a1e93a93ef9139966643317e1c

概述:

随着实用机器学习系统的不断成熟,社区发现了对持续学习[1]、[2]的兴趣。与广泛练习的孤立学习不同,在孤立学习中,系统的算法训练阶段被限制在一个基于先前收集的i.i.d数据集的单一阶段,持续学习需要利用随着时间的推移而到来的数据的学习过程。尽管这种范式已经在许多机器学习系统中找到了各种应用,回顾一下最近关于终身机器学习[3]的书,深度学习的出现似乎已经将当前研究的焦点转向了一种称为“灾难性推理”或“灾难性遗忘”的现象[4],[5],正如最近的评论[6],[7],[8],[9]和对深度持续学习[8],[10],[11]的实证调查所表明的那样。后者是机器学习模型的一个特殊效应,机器学习模型贪婪地根据给定的数据群更新参数,比如神经网络迭代地更新其权值,使用随机梯度估计。当包括导致数据分布发生任何变化的不断到达的数据时,学习到的表示集被单向引导,以接近系统当前公开的数据实例上的任何任务的解决方案。自然的结果是取代以前学到的表征,导致突然忘记以前获得的信息。

尽管目前的研究主要集中在通过专门机制的设计来缓解持续深度学习中的这种遗忘,但我们认为,一种非常不同形式的灾难性遗忘的风险正在增长,即忘记从过去的文献中吸取教训的危险。尽管在连续的训练中保留神经网络表示的努力值得称赞,但除了只捕获灾难性遗忘[12]的度量之外,我们还高度关注了实际的需求和权衡,例如包括内存占用、计算成本、数据存储成本、任务序列长度和训练迭代次数等。如果在部署[14]、[15]、[16]期间遇到看不见的未知数据或小故障,那么大多数当前系统会立即崩溃,这几乎可以被视为误导。封闭世界的假设似乎无所不在,即认为模型始终只会遇到与训练过程中遇到的数据分布相同的数据,这在真实的开放世界中是非常不现实的,因为在开放世界中,数据可以根据不同的程度变化,而这些变化是不现实的,无法捕获到训练集中,或者用户能够几乎任意地向系统输入预测信息。尽管当神经网络遇到不可见的、未知的数据实例时,不可避免地会产生完全没有意义的预测,这是众所周知的事实,已经被暴露了几十年了,但是当前的努力是为了通过不断学习来规避这一挑战。选择例外尝试解决识别不可见的和未知的示例、拒绝荒谬的预测或将它们放在一边供以后使用的任务,通常总结在开放集识别的伞下。然而,大多数现有的深度连续学习系统仍然是黑盒,不幸的是,对于未知数据的错误预测、数据集的异常值或常见的图像损坏[16],这些系统并没有表现出理想的鲁棒性。

除了目前的基准测试实践仍然局限于封闭的世界之外,另一个不幸的趋势是对创建的持续学习数据集的本质缺乏理解。持续生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及类增量持续学习的大部分工作(如[12]中给出的工作,[23],[24],[25],[26],[27],[28])一般调查sequentialized版本的经过时间考验的视觉分类基准如MNIST [29], CIFAR[30]或ImageNet[31],单独的类只是分成分离集和序列所示。为了在基准中保持可比性,关于任务排序的影响或任务之间重叠的影响的问题通常会被忽略。值得注意的是,从邻近领域的主动机器学习(半监督学习的一种特殊形式)中吸取的经验教训,似乎并没有整合到现代的连续学习实践中。在主动学习中,目标是学会在让系统自己查询接下来要包含哪些数据的挑战下,逐步地找到与任务解决方案最接近的方法。因此,它可以被视为缓解灾难性遗忘的对抗剂。当前的持续学习忙于维护在每个步骤中获得的信息,而不是无休止地积累所有的数据,而主动学习则关注于识别合适的数据以纳入增量训练系统的补充问题。尽管在主动学习方面的早期开创性工作已经迅速识别出了通过使用启发式[32]、[33]、[34]所面临的强大应用的挑战和陷阱,但后者在深度学习[35]、[36]、[37]、[38]的时代再次占据主导地位,这些挑战将再次面临。

在这项工作中,我们第一次努力建立一个原则性和巩固的深度持续学习、主动学习和在开放的世界中学习的观点。我们首先单独回顾每一个主题,然后继续找出在现代深度学习中似乎较少受到关注的以前学到的教训。我们将继续争论,这些看似独立的主题不仅从另一个角度受益,而且应该结合起来看待。在这个意义上,我们建议将当前的持续学习实践扩展到一个更广泛的视角,将持续学习作为一个总括性术语,自然地包含并建立在先前的主动学习和开放集识别工作之上。本文的主要目的并不是引入新的技术或提倡一种特定的方法作为通用的解决方案,而是对最近提出的神经网络[39]和[40]中基于变分贝叶斯推理的方法进行了改进和扩展,以说明一种走向全面框架的可能选择。重要的是,它作为论证的基础,努力阐明生成建模作为深度学习系统关键组成部分的必要性。我们强调了在这篇论文中发展的观点的重要性,通过实证证明,概述了未来研究的含义和有前景的方向。

成为VIP会员查看完整内容
0
46

随着网络和信息技术的不断发展,全球数据量呈现爆炸式增长。这些海量、复杂的数据已经对社会经济、政治、文化以及生活等方面产生了深远的影响。然而,数据在采集或者传送过程中(例如:成像、扫描、传输等)难免会受到噪声的污染,这对数据的后续处理(例如:特征学习)是很不利的。目前存在的方法仅能够处理单一的有规则的噪声(例如:高斯、拉普拉斯噪声)。显然,这离实际的需求相差甚远。

为了解决这个问题,我们从学习者和攻击者的角度出发,提出一种对抗的非负矩阵分解方法。这是目前为止第一个有关对抗的非负矩阵分解的工作。与专注于常规输入或某些特定类型噪声的传统模型不同,我们的方法借助对抗训练的优势来处理各种不同类型的噪声。我们使用交替方向迭代法解决所提出的全新模型,并证明了算法的收敛性。为了在理论上保证模型的合理性,我们在不同条件下提供了模型的鲁棒性分析。我们在具有各种噪声条件(例如不规则的遮挡)的数据集上设计了一系列实验。所有的实验结果证明了我们的算法在性能上始终优于其他相关方法。

成为VIP会员查看完整内容
0
16
小贴士
相关主题
相关VIP内容
专知会员服务
16+阅读 · 10月2日
专知会员服务
40+阅读 · 9月20日
专知会员服务
46+阅读 · 9月7日
专知会员服务
28+阅读 · 8月22日
专知会员服务
20+阅读 · 8月9日
专知会员服务
16+阅读 · 7月31日
相关资讯
相关论文
Anupriya,Daniel J. Graham,Prateek Bansal,Daniel Hörcher,Richard Anderson
0+阅读 · 11月25日
Alex Bogatu,Norman W. Paton,Mark Douthwaite,Stuart Davie,Andre Freitas
0+阅读 · 11月20日
Yaozhong Hu,Junxi Zhang
0+阅读 · 11月19日
Learning by Abstraction: The Neural State Machine
Drew A. Hudson,Christopher D. Manning
4+阅读 · 2019年7月11日
Chengxiang Yin,Jian Tang,Zhiyuan Xu,Yanzhi Wang
4+阅读 · 2018年6月8日
Michiki Kurosawa,Yukio Matsumura,Hayahide Yamagishi,Mamoru Komachi
3+阅读 · 2018年5月25日
Shi Yan,Xue-cheng Tai,Jun Liu,Hai-yang Huang
4+阅读 · 2018年5月22日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
7+阅读 · 2018年5月15日
Marc Tanti,Albert Gatt,Kenneth P. Camilleri
3+阅读 · 2018年3月14日
Top