当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现,那么它就被认为是有利的。这种心态无缝地反映在持续学习的重现领域,在这里研究的是持续到达的基准数据集。核心挑战是如何保护之前获得的表示,以免由于迭代参数更新而出现灾难性地遗忘的情况。然而,各个方法的比较是与现实应用程序隔离的,通常通过监视累积的测试集性能来判断。封闭世界的假设仍然占主导地位。假设在部署过程中,一个模型保证会遇到来自与用于训练的相同分布的数据。这带来了一个巨大的挑战,因为众所周知,神经网络会对未知的实例提供过于自信的错误预测,并在数据损坏的情况下崩溃。在这个工作我们认为值得注意的教训来自开放数据集识别,识别的统计偏差以外的数据观测数据集,和相邻的主动学习领域,数据增量查询等预期的性能收益最大化,这些常常在深度学习的时代被忽略。基于这些遗忘的教训,我们提出了一个统一的观点,以搭建持续学习,主动学习和开放集识别在深度神经网络的桥梁。我们的结果表明,这不仅有利于每个个体范式,而且突出了在一个共同框架中的自然协同作用。我们从经验上证明了在减轻灾难性遗忘、主动学习中查询数据、选择任务顺序等方面的改进,同时在以前提出的方法失败的地方展示了强大的开放世界应用。

https://www.zhuanzhi.ai/paper/e5bee7a1e93a93ef9139966643317e1c

概述:

随着实用机器学习系统的不断成熟,社区发现了对持续学习[1]、[2]的兴趣。与广泛练习的孤立学习不同,在孤立学习中,系统的算法训练阶段被限制在一个基于先前收集的i.i.d数据集的单一阶段,持续学习需要利用随着时间的推移而到来的数据的学习过程。尽管这种范式已经在许多机器学习系统中找到了各种应用,回顾一下最近关于终身机器学习[3]的书,深度学习的出现似乎已经将当前研究的焦点转向了一种称为“灾难性推理”或“灾难性遗忘”的现象[4],[5],正如最近的评论[6],[7],[8],[9]和对深度持续学习[8],[10],[11]的实证调查所表明的那样。后者是机器学习模型的一个特殊效应,机器学习模型贪婪地根据给定的数据群更新参数,比如神经网络迭代地更新其权值,使用随机梯度估计。当包括导致数据分布发生任何变化的不断到达的数据时,学习到的表示集被单向引导,以接近系统当前公开的数据实例上的任何任务的解决方案。自然的结果是取代以前学到的表征,导致突然忘记以前获得的信息。

尽管目前的研究主要集中在通过专门机制的设计来缓解持续深度学习中的这种遗忘,但我们认为,一种非常不同形式的灾难性遗忘的风险正在增长,即忘记从过去的文献中吸取教训的危险。尽管在连续的训练中保留神经网络表示的努力值得称赞,但除了只捕获灾难性遗忘[12]的度量之外,我们还高度关注了实际的需求和权衡,例如包括内存占用、计算成本、数据存储成本、任务序列长度和训练迭代次数等。如果在部署[14]、[15]、[16]期间遇到看不见的未知数据或小故障,那么大多数当前系统会立即崩溃,这几乎可以被视为误导。封闭世界的假设似乎无所不在,即认为模型始终只会遇到与训练过程中遇到的数据分布相同的数据,这在真实的开放世界中是非常不现实的,因为在开放世界中,数据可以根据不同的程度变化,而这些变化是不现实的,无法捕获到训练集中,或者用户能够几乎任意地向系统输入预测信息。尽管当神经网络遇到不可见的、未知的数据实例时,不可避免地会产生完全没有意义的预测,这是众所周知的事实,已经被暴露了几十年了,但是当前的努力是为了通过不断学习来规避这一挑战。选择例外尝试解决识别不可见的和未知的示例、拒绝荒谬的预测或将它们放在一边供以后使用的任务,通常总结在开放集识别的伞下。然而,大多数现有的深度连续学习系统仍然是黑盒,不幸的是,对于未知数据的错误预测、数据集的异常值或常见的图像损坏[16],这些系统并没有表现出理想的鲁棒性。

除了目前的基准测试实践仍然局限于封闭的世界之外,另一个不幸的趋势是对创建的持续学习数据集的本质缺乏理解。持续生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及类增量持续学习的大部分工作(如[12]中给出的工作,[23],[24],[25],[26],[27],[28])一般调查sequentialized版本的经过时间考验的视觉分类基准如MNIST [29], CIFAR[30]或ImageNet[31],单独的类只是分成分离集和序列所示。为了在基准中保持可比性,关于任务排序的影响或任务之间重叠的影响的问题通常会被忽略。值得注意的是,从邻近领域的主动机器学习(半监督学习的一种特殊形式)中吸取的经验教训,似乎并没有整合到现代的连续学习实践中。在主动学习中,目标是学会在让系统自己查询接下来要包含哪些数据的挑战下,逐步地找到与任务解决方案最接近的方法。因此,它可以被视为缓解灾难性遗忘的对抗剂。当前的持续学习忙于维护在每个步骤中获得的信息,而不是无休止地积累所有的数据,而主动学习则关注于识别合适的数据以纳入增量训练系统的补充问题。尽管在主动学习方面的早期开创性工作已经迅速识别出了通过使用启发式[32]、[33]、[34]所面临的强大应用的挑战和陷阱,但后者在深度学习[35]、[36]、[37]、[38]的时代再次占据主导地位,这些挑战将再次面临。

在这项工作中,我们第一次努力建立一个原则性和巩固的深度持续学习、主动学习和在开放的世界中学习的观点。我们首先单独回顾每一个主题,然后继续找出在现代深度学习中似乎较少受到关注的以前学到的教训。我们将继续争论,这些看似独立的主题不仅从另一个角度受益,而且应该结合起来看待。在这个意义上,我们建议将当前的持续学习实践扩展到一个更广泛的视角,将持续学习作为一个总括性术语,自然地包含并建立在先前的主动学习和开放集识别工作之上。本文的主要目的并不是引入新的技术或提倡一种特定的方法作为通用的解决方案,而是对最近提出的神经网络[39]和[40]中基于变分贝叶斯推理的方法进行了改进和扩展,以说明一种走向全面框架的可能选择。重要的是,它作为论证的基础,努力阐明生成建模作为深度学习系统关键组成部分的必要性。我们强调了在这篇论文中发展的观点的重要性,通过实证证明,概述了未来研究的含义和有前景的方向。

成为VIP会员查看完整内容
0
45

相关内容

知识图谱是关于实体及其关系的集合,是非常有用资源。然而,由于知识图通常是不完备的,所以进行知识图补全或链接预测是有用的,即预测一个不在知识图谱中的关系是否可能是真的。本文综述了用于知识图谱完成的实体和关系嵌入模型,总结了在标准基准数据集上最新的实验结果,并指出了未来可能的研究方向。

https://www.zhuanzhi.ai/paper/723c2347b207c5ce18ec4f994fd9bff4

成为VIP会员查看完整内容
0
19

近年来,图神经网络(GNNs)由于具有建模和从图结构数据中学习的能力,在机器学习领域得到了迅猛发展。这种能力在数据具有内在关联的各种领域具有很强的影响,而传统的神经网络在这些领域的表现并不好。事实上,正如最近的评论可以证明的那样,GNN领域的研究已经迅速增长,并导致了各种GNN算法变体的发展,以及在化学、神经学、电子或通信网络等领域的突破性应用的探索。然而,在目前的研究阶段,GNN的有效处理仍然是一个开放的挑战。除了它们的新颖性之外,由于它们依赖于输入图,它们的密集和稀疏操作的组合,或者在某些应用中需要伸缩到巨大的图,GNN很难计算。在此背景下,本文旨在做出两大贡献。一方面,从计算的角度对GNNs领域进行了综述。这包括一个关于GNN基本原理的简短教程,在过去十年中该领域发展的概述,以及在不同GNN算法变体的多个阶段中执行的操作的总结。另一方面,对现有的软硬件加速方案进行了深入分析,总结出一种软硬件结合、图感知、以通信为中心的GNN加速方案。

成为VIP会员查看完整内容
0
65

视频中的异常检测是一个研究了十多年的问题。这一领域因其广泛的适用性而引起了研究者的兴趣。正因为如此,多年来出现了一系列广泛的方法,这些方法从基于统计的方法到基于机器学习的方法。在这一领域已经进行了大量的综述,但本文着重介绍了使用深度学习进行异常检测领域的最新进展。深度学习已成功应用于人工智能的许多领域,如计算机视觉、自然语言处理等。然而,这项调查关注的是深度学习是如何改进的,并为视频异常检测领域提供了更多的见解。本文针对不同的深度学习方法提供了一个分类。此外,还讨论了常用的数据集以及常用的评价指标。然后,对最近的研究方法进行了综合讨论,以提供未来研究的方向和可能的领域。

https://arxiv.org/abs/2009.14146

成为VIP会员查看完整内容
0
18

众包是一种计算范式,在这种范式中,人类积极参与计算任务,特别是那些本质上人类比计算机更容易完成的任务。空间众包是移动互联网和共享经济时代众包中日益流行的一种,任务是时空的,必须在特定的地点和时间完成。事实上,空间众包激发了最近一系列的产业成功,包括城市服务的共享经济(Uber和Gigwalk)和时空数据收集(OpenStreetMap和Waze)。本调查深入探讨了空间众包的独特性带来的挑战和技术。特别地,我们确定了空间众包的四个核心算法问题: (1)任务分配,(2)质量控制,(3)激励机制设计,(4)隐私保护。我们对上述四个问题的现有研究进行了全面和系统的回顾。我们还分析了具有代表性的空间众包应用程序,并解释了它们是如何通过这四个技术问题实现的。最后,我们讨论了未来空间众包研究和应用中需要解决的开放问题。

https://link.springer.com/article/10.1007/s00778-019-00568-7

成为VIP会员查看完整内容
0
11

主动学习试图在具有尽可能少标注样本的同时最大化模型的性能增益。深度学习(Deep learning, DL)需要大量标注数据,如果模型要学习如何提取高质量的特征,就需要大量的数据供应来优化大量的参数。近年来,由于互联网技术的飞速发展,我们进入了一个以海量可用数据为特征的信息丰富性时代。因此,DL得到了研究者的极大关注,并得到了迅速的发展。但与DL相比,研究者对AL的兴趣相对较低,这主要是因为在DL兴起之前,传统机器学习需要的标记样本相对较少,这意味着早期的AL很少被赋予应有的价值。虽然DL在各个领域都取得了突破,但大部分的成功都要归功于大量公开的带标注的数据集。然而,获取大量高质量的带注释数据集需要耗费大量人力,在需要较高专业知识水平的领域(如语音识别、信息提取、医学图像等)是不可行的,因此AL逐渐得到了它应该得到的重视。

因此,研究是否可以使用AL来降低数据标注的成本,同时保留DL强大的学习能力是很自然的。由于这些调研的结果,深度主动学习(DAL)出现了。虽然对这一课题的研究相当丰富,但至今还没有对相关著作进行全面的调研; 因此,本文旨在填补这一空白。我们为现有的工作提供了一个正式的分类方法,以及一个全面和系统的概述。此外,我们还从应用的角度对DAL的发展进行了分析和总结。最后,我们讨论了与DAL相关的问题,并提出了一些可能的发展方向。

概述:

深度学习(DL)和主动学习(AL)在机器学习领域都有重要的应用。由于其优良的特性,近年来引起了广泛的研究兴趣。更具体地说,DL在各种具有挑战性的任务上取得了前所未有的突破;然而,这很大程度上是由于大量标签数据集的发表[16,87]。因此,在一些需要丰富知识的专业领域,样品标注成本高限制了DL的发展。相比之下,一种有效的AL算法在理论上可以实现标注效率的指数加速。这将极大地节省数据标注成本。然而,经典的AL算法也难以处理高维数据[160]。因此,DL和AL的结合被称为DAL,有望取得更好的效果。DAL被广泛应用于多个领域,包括图像识别[35,47,53,68],文本分类[145,180,185],视觉答题[98],目标检测[3,39,121]等。虽然已经发表了丰富的相关工作,DAL仍然缺乏一个统一的分类框架。为了填补这一空白,在本文中,我们将全面概述现有的DAL相关工作,以及一种正式的分类方法。下面我们将简要回顾DL和AL在各自领域的发展现状。随后,在第二节中,进一步阐述了DL与AL结合的必要性和挑战。

图1所示。DL、AL和DAL的典型体系结构比较。(a)一种常见的DL模型:卷积神经网络。(b) 基于池化的AL框架: 使用查询策略查询未标记的样本池U和将其交给oracle进行标注,然后将查询样本添加到标记的训练数据集L,然后使用新学到的知识查询的下一轮。重复此过程,直到标签预算耗尽或达到预定义的终止条件。(c) DAL的一个典型例子:在标签训练集L0上初始化或预训练DL模型的参数的常变量,利用未标记池U的样本通过DL模型提取特征。然后根据相应的查询策略选择样本,在查询时对标签进行查询,形成新的标签训练集L,然后在L上训练DL模型,同时更新U。重复此过程,直到标签预算耗尽或达到预定义的终止条件。

DAL结合了DL和AL的共同优势:它不仅继承了DL处理高维图像数据和自动提取特征的能力,也继承了AL有效降低标注成本的潜力。因此,DAL具有令人着迷的潜力,特别是在标签需要高水平的专业知识和难以获得的领域。

成为VIP会员查看完整内容
0
36

摘要:这项工作考虑了这样一个问题: 获取大量数据的便利程度如何影响我们学习因果效应和关系的能力。在大数据时代,学习因果关系与传统因果关系有哪些不同或相同之处?为了回答这个问题,这项综述提供了一个在因果关系和机器学习之间联系的全面和结构化的回顾。

https://www.zhuanzhi.ai/paper/6ad7902913e98bd48540a5596b978edc

因果性是结果与引起结果的原因之间的一种一般性关系。它很难定义,而且我们通常只凭直觉知道原因和结果。因为下雨,街道是湿的。因为这个学生不学习,所以他考试考得很差。因为烤箱是热的,奶酪在披萨上融化了。当用数据学习因果关系时,我们需要意识到统计关联和因果之间的区别。例如,当天气炎热时,一家冰淇淋店的老板可能会注意到高昂的电费和较高的销售额。因此,她会观察到电费和销售数字之间有很强的联系,但电费并不是导致高销售额的原因——让商店的灯彻夜开着不会对销售产生影响。在这种情况下,外部温度是高电费和高销售额的共同原因,我们说它是一个混乱的因果关系。

学习因果关系的能力被认为是人类水平智能的重要组成部分,可以作为AI的基础(Pearl, 2018)。从历史上看,学习因果关系已经在包括教育在内的许多高影响领域被研究过(LaLonde, 1986;Dehejia和Wahba, 1999年;Heckerman et al ., 2006;希尔,2011),医学科学(马尼和库珀,2000;经济学(Imbens, 2004)、流行病学(Hernan et al., 2000;Robins等人,2000年;、气象学(Ebert-Uphoff和Deng, 2012)和环境卫生(Li et al., 2014)。受限于数据量,坚实的先验因果知识是学习因果关系所必需的。研究人员对通过精心设计的实验收集的数据进行研究,坚实的先验因果知识至关重要(Heckerman et al., 2006)。以随机对照试验的原型为例(Cook et al., 2002),为了研究一种药物的疗效,患者将被随机分配服用或不服用该药物,这将保证平均而言,治疗组和未治疗组(对照组)在所有相关方面是等同的,排除任何其他因素的影响。然后,药物对某些健康结果的影响——比如,偏头痛的持续时间——可以通过比较两组的平均结果来衡量。

这个综述的目的是考虑在现在的大数据时代学习因果关系的新可能性和挑战,这里指的是海量数据集的可用性。举个例子,考虑到无法测量的混杂因素的可能性——可能会被减轻,因为可以测量更多的特征。因此,一方面,研究人员有可能在大数据的帮助下回答有趣的因果问题。例如,Yelp的正面评论是促使顾客去餐馆,还是仅仅反映了受欢迎程度而没有影响?这个因果问题可以通过Yelp维护的庞大数据库中的数据来解决。另一方面,用大数据来回答因果问题,会带来一些独特的新问题。例如,尽管公共数据库或通过web爬行收集的数据或应用程序编程接口(api)是空前巨大的,我们有很少的直觉对什么类型的偏差数据集可以遭受——数据更丰富,也更神秘,因此,负责任地更难模型。与此同时,大数据给其他学习任务(如预测)带来的基本统计困难,使得因果调查更具挑战性。也许这方面最显著的例子是现代数据的高维性(Li et al., 2017a),比如文本数据(Imai et al., 2013)。

成为VIP会员查看完整内容
0
58

当前关于机器学习方面的资料非常丰富:Andrew NG在Coursera上的机器学习教程、Bishop的《机器学习与模式识别》 和周志华老师的《机器学习》都是非常好的基础教材;Goodfellow等人的《深度学习》是学习深度学习技术的首选资料;MIT、斯坦福等名校的公开课也非常有价值;一些主要会议的Tutorial、keynote也都可以在网上搜索到。然而,在对学生们进行培训的过程中, 我深感这些资料专业性很强,但入门不易。一方面可能是由于语言障碍,另一个主要原因在于机器学习覆盖 面广,研究方向众多,各种新方法层出不穷,初学者往往在各种复杂的名词,无穷无尽的 算法面前产生畏难情绪,导致半途而废。

本书的主体内容是基于该研讨班形成的总结性资料。基于作者的研究背景,这本书很难说 是机器学习领域的专业著作,而是一本学习笔记,是从一个机器学习 技术使用者角度对机器学习知识的一次总结,并加入我们在本领域研究中的一些经验和发现。与其说是一本教材,不如说是一本科普读物, 用轻松活泼的语言和深入浅出的描述为初学者打开机器学习这扇充满魔力的大门。打开大门以后,我们会发现这是个多么让人激动人心的 领域,每天都有新的知识、新的思路、新的方法产生,每天都有令人振奋的成果。我们希望这本书 可以让更多学生、工程师和相关领域的研究者对机器学习产生兴趣,在这片异彩纷呈的海域上找到 属于自己的那颗贝壳。

强烈推荐给所有初学机器学习的人,里面有: 书籍的pdf 课堂视频 课堂slides 各种延伸阅读 MIT等世界名校的slides 学生的学习笔记等

成为VIP会员查看完整内容
0
65

随着web技术的发展,多模态或多视图数据已经成为大数据的主要流,每个模态/视图编码数据对象的单个属性。不同的模态往往是相辅相成的。这就引起了人们对融合多模态特征空间来综合表征数据对象的研究。大多数现有的先进技术集中于如何融合来自多模态空间的能量或信息,以提供比单一模态的同行更优越的性能。最近,深度神经网络展示了一种强大的架构,可以很好地捕捉高维多媒体数据的非线性分布,对多模态数据自然也是如此。大量的实证研究证明了深多模态方法的优势,从本质上深化了多模态深特征空间的融合。在这篇文章中,我们提供了从浅到深空间的多模态数据分析领域的现有状态的实质性概述。在整个调查过程中,我们进一步指出,该领域的关键要素是多模式空间的协作、对抗性竞争和融合。最后,我们就这一领域未来的一些方向分享我们的观点。

成为VIP会员查看完整内容
0
88

当对大量的标记数据集合(如ImageNet)进行训练时,深度神经网络展示了它们在特殊监督学习任务(如图像分类)上的卓越表现。然而,创建这样的大型数据集需要大量的资源、时间和精力。这些资源在很多实际案例中可能无法获得,限制了许多深度学习方法的采用和应用。为了寻找数据效率更高的深度学习方法,以克服对大型标注数据集的需求,近年来,我们对半监督学习应用于深度神经网络的研究兴趣日益浓厚,通过开发新的方法和采用现有的半监督学习框架进行深度学习设置。在本文中,我们从介绍半监督学习开始,对深度半监督学习进行了全面的概述。然后总结了在深度学习中占主导地位的半监督方法。

成为VIP会员查看完整内容
0
59
小贴士
相关VIP内容
专知会员服务
65+阅读 · 10月3日
专知会员服务
11+阅读 · 9月27日
专知会员服务
65+阅读 · 7月27日
专知会员服务
88+阅读 · 6月16日
专知会员服务
59+阅读 · 6月12日
相关论文
Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding
Yun Tang,Jing Huang,Guangtao Wang,Xiaodong He,Bowen Zhou
7+阅读 · 4月9日
Bernhard Schölkopf
8+阅读 · 2019年11月24日
Wei-Lin Chiang,Xuanqing Liu,Si Si,Yang Li,Samy Bengio,Cho-Jui Hsieh
6+阅读 · 2019年5月20日
NSCaching: Simple and Efficient Negative Sampling for Knowledge Graph Embedding
Yongqi Zhang,Quanming Yao,Yingxia Shao,Lei Chen
4+阅读 · 2019年1月18日
Kevin Scaman,Francis Bach,Sébastien Bubeck,Yin Tat Lee,Laurent Massoulié
6+阅读 · 2018年6月1日
Shi Yan,Xue-cheng Tai,Jun Liu,Hai-yang Huang
4+阅读 · 2018年5月22日
Yu-Siang Wang,Chenxi Liu,Xiaohui Zeng,Alan Yuille
5+阅读 · 2018年3月25日
Denghui Zhang,Manling Li,Yantao Jia,Yuanzhuo Wang,Xueqi Cheng
5+阅读 · 2018年1月9日
Tomasz Jurczyk,Amit Deshmane,Jinho Choi
5+阅读 · 2018年1月6日
Top