【导读】2020注定是写入到历史的一年,新冠变成主题词。在2019年机器学习领域继续快速发展,深度学习理论、对比学习、自监督学习、元学习、持续学习、小样本学习等取得很多进展。在此,专知小编整理这一年这些研究热点主题的综述进展,共十篇,了解当下,方能向前。

1、Recent advances in deep learning theory(深度学习理论)

陶大程院士等最新《深度学习理论进展》综述论文,41页pdf255篇文献阐述六大方面进展

作者:Fengxiang He,Dacheng Tao

摘要:深度学习通常被描述为一个实验驱动的领域,并不断受到缺乏理论基础的批评。这个问题已经部分地被大量的文献解决了,这些文献至今没有被很好地组织起来。本文对深度学习理论的最新进展进行了综述和整理。文献可分为六类: (1)基于模型复杂度和容量的深度学习泛化; (2)用于建模随机梯度下降及其变量的随机微分方程及其动力学系统,其特征是深度学习的优化和泛化,部分受到贝叶斯推理启发; (3)驱动动力系统轨迹的损失的几何结构; (4)深度神经网络的过参数化从积极和消极两个方面的作用; (5)网络架构中几种特殊结构的理论基础; (6)对伦理和安全及其与泛化性的关系的日益关注。

网址: https://www.zhuanzhi.ai/paper/b5ac0f259b59817b890b6c253123ee84

2、Learning from Very Few Samples: A Survey(少样本学习)

清华大学张长水等最新《少样本学习FSL》2020综述论文,30页pdf414篇参考文献

作者:Jiang Lu,Pinghua Gong,Jieping Ye,Changshui Zhang

摘要:少样本学习(FSL)在机器学习领域具有重要意义和挑战性。成功地从很少的样本中学习和归纳的能力是区分人工智能和人类智能的一个明显的界限,因为人类可以很容易地从一个或几个例子中建立他们对新颖性的认知,而机器学习算法通常需要数百或数千个监督样本来保证泛化能力。尽管FSL的悠久历史可以追溯到21世纪初,近年来随着深度学习技术的蓬勃发展也引起了广泛关注,但迄今为止,有关FSL的调研或评论还很少。在此背景下,我们广泛回顾了2000年至2019年FSL的200多篇论文,为FSL提供了及时而全面的调研。在本综述中,我们回顾了FSL的发展历史和目前的进展,原则上将FSL方法分为基于生成模型和基于判别模型的两大类,并特别强调了基于元学习的FSL方法。我们还总结了FSL中最近出现的几个扩展主题,并回顾了这些主题的最新进展。此外,我们重点介绍了FSL在计算机视觉、自然语言处理、音频和语音、强化学习和机器人、数据分析等领域的重要应用。最后,我们对调查进行了总结,并对未来的发展趋势进行了讨论,希望对后续研究提供指导和见解。

网址:

https://www.zhuanzhi.ai/paper/ffc99a53aeb6629e21b9a42db76b9dd1

3、A Survey on Knowledge Graphs: Representation, Acquisition and Applications(知识图谱研究综述论文)

最新!知识图谱研究综述论文: 表示学习、知识获取与应用,25页pdf详述Knowledge Graphs技术趋势

作者:Shaoxiong Ji, Shirui Pan, Erik Cambria, Pekka Marttinen, Philip S. Yu

摘要:人类知识提供了对世界的认知理解。表征实体间结构关系的知识图谱已经成为认知和人类智能研究的一个日益流行的方向。在本次综述论文中,我们对知识图谱进行了全面的综述,涵盖了知识图谱表示学习、知识获取与补全、时序知识图谱、知识感知应用等方面的研究课题,并总结了最近的突破和未来的研究方向。我们提出对这些主题进行全视角分类和新的分类法。知识图谱嵌入从表示空间、得分函数、编码模型和辅助信息四个方面进行组织。对知识获取,特别是知识图谱的补全、嵌入方法、路径推理和逻辑规则推理进行了综述。我们进一步探讨了几个新兴的主题,包括元关系学习、常识推理和时序知识图谱。为了方便未来对知识图的研究,我们还提供了不同任务的数据集和开源库的集合。最后,我们对几个有前景的研究方向进行了深入的展望。

网址:

https://www.zhuanzhi.ai/paper/00ef54883a71e52b240e26b2a6d25255

4、A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications(生成式对抗网络综述论文)

密歇根大学28页最新《GANs生成式对抗网络综述:算法、理论与应用》最新论文,带你全面了解GAN技术趋势

作者:Jie Gui,Zhenan Sun,Yonggang Wen,Dacheng Tao,Jieping Ye

摘要:生成对抗网络(GANs)是最近的热门研究主题。自2014年以来,人们对GAN进行了广泛的研究,并且提出了许多算法。但是,很少有全面的研究来解释不同GANs变体之间的联系以及它们是如何演变的。在本文中,我们尝试从算法,理论和应用的角度对各种GANs方法进行叙述。首先,详细介绍了大多数GANs算法的动机,数学表示形式和结构。此外,GANs已与其他机器学习算法结合用于特定应用,例如半监督学习,迁移学习和强化学习。本文比较了这些GANs方法的共性和差异。其次,研究了与GANs相关的理论问题。第三,说明了GANs在图像处理和计算机视觉,自然语言处理,音乐,语音和音频,医学领域以及数据科学中的典型应用。最后,指出了GANs未来的开放性研究问题。

网址:

https://www.zhuanzhi.ai/paper/8b531e33d7c934d81892a029bc080a9c

5、A Survey on Causal Inference(因果推断综述论文)

最新「因果推断Causal Inference」综述论文38页pdf,阿里巴巴、Buffalo、Georgia、Virginia

作者:Liuyi Yao,Zhixuan Chu,Sheng Li,Yaliang Li,Jing Gao,Aidong Zhang

摘要:数十年来,因果推理是一个跨统计、计算机科学、教育、公共政策和经济学等多个领域的重要研究课题。目前,与随机对照试验相比,利用观测数据进行因果关系估计已经成为一个有吸引力的研究方向,因为有大量的可用数据和较低的预算要求。随着机器学习领域的迅速发展,各种针对观测数据的因果关系估计方法层出不穷。在这项综述中,我们提供了一个全面的综述因果推理方法下的潜在结果框架,一个众所周知的因果推理框架。这些方法根据是否需要潜在结果框架的所有三个假设分为两类。对于每一类,分别对传统的统计方法和最近的机器学习增强方法进行了讨论和比较。并介绍了这些方法的合理应用,包括在广告、推荐、医药等方面的应用。此外,还总结了常用的基准数据集和开放源代码,便于研究者和实践者探索、评价和应用因果推理方法。

网址:

https://www.zhuanzhi.ai/paper/a37f27ed97e5318b30be2999e9a768c3

6、Pre-trained Models for Natural Language Processing: A Survey(预训练语言模型)

【复旦大学】最新《预训练语言模型》2020综述论文大全,50+PTMs分类体系,25页pdf205篇参考文献

作者:Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang

摘要:近年来,预训练模型(PTMs)的出现将自然语言处理(NLP)带入了一个新的时代。在这项综述中,我们提供了一个全面的PTMs调研。首先简要介绍了语言表示学习及其研究进展。然后,我们根据四种观点对现有的PTMs进行了系统的分类。接下来,我们将描述如何将PTMs的知识应用于下游任务。最后,我们概述了未来PTMs研究的一些潜在方向。本调查旨在为理解、使用和开发各种NLP任务的PTMs提供实际指导。

网址:

https://www.zhuanzhi.ai/paper/09d78eda59ebfb6f51a54a3ba0a4c4b1

7、A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources(异质图网络嵌入)

异质图嵌入综述: 方法、技术、应用和资源, 23页pdf

作者:Xiao Wang, Deyu Bo, Chuan Shi, Shaohua Fan, Yanfang Ye, Philip S. Yu

摘要:

异质图(Heterogeneous Graph, HG)也称为异质信息网络(Heterogeneous Information Network, HIN),在现实世界中已经无处不在。异质图嵌入(Heterogeneous Graph Embedding, HGE),旨在在低维的空间中学习节点表示,同时保留异质结构和语义用于下游任务(例如,节点/图分类,节点聚类,链接预测),在近年来受到了广泛的关注。在综述中,我们对异质图嵌入的方法和技术的最新进展进行了全面回顾,探索了异质图嵌入的问题和挑战,并预测了该领域的未来研究方向。

该论文的主要贡献如下:

讨论了与同质图相比,异质图的异质性带来的独特挑战 。该论文对现有的异质图嵌入方法进行了全面的调研,并基于它们在学习过程中使用的信息进行分类,以解决异质性带来的特定的挑战。 对于每类代表性的异质图嵌入方法和技术,提供详细的介绍并进一步分析了其优缺点。此外,该论文首次探索了异质图嵌入方法在现实工业环境中的可转换性和适用性。 总结了开源代码和基准数据集,并对现有的图学习平台进行了详细介绍,以促进该领域的未来研究和应用。 探讨异质图嵌入的其他问题和挑战,并预测该领域的未来研究方向。

网址:

https://arxiv.org/abs/2011.14867

8、Graph Neural Networks: Taxonomy, Advances and Trends(图神经网络)

太原理工最新《图神经网络:分类,进展,趋势》综述论文,50页pdf400篇文献

作者:Yu Zhou,Haixia Zheng,Xin Huang

摘要:图神经网络为根据特定任务将真实世界的图嵌入低维空间提供了一个强大的工具包。到目前为止,已经有一些关于这个主题的综述。然而,它们往往侧重于不同的角度,使读者看不到图神经网络的全貌。本论文旨在克服这一局限性,并对图神经网络进行了全面的综述。首先,我们提出了一种新的图神经网络分类方法,然后参考了近400篇相关文献,全面展示了图神经网络的全貌。它们都被分类到相应的类别中。为了推动图神经网络进入一个新的阶段,我们总结了未来的四个研究方向,以克服所面临的挑战。希望有越来越多的学者能够理解和开发图神经网络,并将其应用到自己的研究领域。

网址:

https://www.zhuanzhi.ai/paper/5d0088fdc236ec1a522b91077290e6f2

9、Efficient Transformers: A Survey(高效Transformer)

【Google】最新《高效Transformers》综述大全,Efficient Transformers: A Survey

作者:Yi Tay, Mostafa Dehghani, Dara Bahri, Donald Metzler

摘要:Transformer模型架构最近引起了极大的兴趣,因为它们在语言、视觉和强化学习等领域的有效性。例如,在自然语言处理领域,Transformer已经成为现代深度学习堆栈中不可缺少的主要部分。最近,提出的令人眼花缭乱的X-former模型如Linformer, Performer, Longformer等这些都改进了原始Transformer架构的X-former模型,其中许多改进了计算和内存效率。为了帮助热心的研究人员在这一混乱中给予指导,本文描述了大量经过深思熟虑的最新高效X-former模型的选择,提供了一个跨多个领域的现有工作和模型的有组织和全面的概述。

图片

网址:

https://www.zhuanzhi.ai/paper/6f9193ca17c92d58e9e93a21335039f1

10、Self-supervised Learning: Generative or Contrastive(自监督学习)

作者:Xiao Liu, Fanjin Zhang, Zhenyu Hou, Zhaoyu Wang, Li Mian, Jing Zhang, Jie Tang

摘要:深度监督学习在过去的十年中取得了巨大的成功。然而,它依赖于手工标签的缺陷和易受攻击的弱点促使人们探索更好的解决方案。作为另一种学习方式,自监督学习以其在表征学习领域的飞速发展吸引了众多研究者的关注。自监督表示学习利用输入数据本身作为监督,并使得几乎所有类型的下游任务从中受益。在这项综述中,我们着眼于新的自监督学习方法,用于计算机视觉、自然语言处理和图学习。我们全面回顾了现有的实证方法,并根据它们的目的将它们归纳为三大类:生成型、对比型和生成-对比型(对抗型)。我们进一步研究了相关的理论分析工作,以提供对自监督学习如何工作的更深层次的思考。最后,我们简要讨论了自监督学习有待解决的问题和未来的发展方向。

网址: https://www.zhuanzhi.ai/paper/3bcc4f616c3e16d8b13a95a32e335101

成为VIP会员查看完整内容
0
41

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

深度学习通常被描述为一个实验驱动的领域,并不断受到缺乏理论基础的批评。这个问题已经部分地被大量的文献解决了,这些文献至今没有被很好地组织起来。本文对深度学习理论的最新进展进行了综述和整理。文献可分为六类: (1)基于模型复杂度和容量的深度学习泛化; (2)用于建模随机梯度下降及其变量的随机微分方程及其动力学系统,其特征是深度学习的优化和泛化,部分受到贝叶斯推理启发; (3)驱动动力系统轨迹的损失的几何结构; (4)深度神经网络的过参数化从积极和消极两个方面的作用; (5)网络架构中几种特殊结构的理论基础; (6)对伦理和安全及其与普遍性的关系的日益关注。

https://arxiv.org/pdf/2012.10931.pdf

概述

深度学习可以广义定义为使用人工神经网络从经验中发现知识以进行预测或决策的一系列算法[138]。经验的规范形式可以是人类注解的电子记录作为数据集,也可以是学习者或电子环境之间的交互作用,取决于场景[169]。在深度学习中,一般的人工神经网络通常是把一个由非线性激活函数组成的序列的权值矩阵连接成一个网络,这种网络具有相当大的参数大小。

深度学习的术语是由Dechter[62]引入机器学习,然后由Aizenberg等人[5]引入脑启发算法,其中几个主要概念可以追溯到20世纪40年代早期。深度学习的研究在20世纪40 - 60年代[162,111,199]和80 - 90年代[201]经历了两次上升后下降。第三次和当前的浪潮开始于2006年[24,114,196],一直持续到现在。最近的浪潮已经从本质上重塑了许多真实世界的应用领域,包括计算机视觉[110]、自然语言处理[63,184]、语音处理[64]、3D点云处理[98]、数据挖掘[232]、推荐系统[247]、自动驾驶汽车[152,215]、医疗诊断[135,209]和药物发现[43]。

然而,到目前为止,深度学习的发展严重依赖实验,缺乏坚实的理论基础。深度学习机制的许多方面仍然是未知的。我们不断地惊讶地发现启发式方法可以在广泛的领域实现出色的性能,尽管有时也相当不稳定。与此同时,直觉方法往往未被证实,甚至未被验证。这种做法是可以容忍的,并且在深度学习研究中已经变得普遍。这种黑盒特性给深度学习应用带来了未知的风险。这种不了解在很大程度上削弱了我们识别、管理和预防算法导致的灾难的能力,并进一步严重损害了我们将最近的进展应用于许多工业部门的信心,特别是在安全关键领域,如自动驾驶汽车、医疗诊断和药物发现。这也对深度学习算法设计的未来发展产生了冲击。

理论基础的一个主要部分是泛化,泛化是指通过深度学习算法对未见数据进行预测,在训练数据上训练好的模型的能力[224,169]。由于训练数据不能覆盖未来的所有情况,良好的泛化性保证了所学的模型能够处理未知事件。在长尾事件经常出现并有可能造成致命灾难的地方,这一点尤其重要。

统计学习理论建立了基于假设复杂度的泛化理论[224,169]。这些工具能解决深度学习理论中的问题吗?答案是否定的。传统工具通常根据假设复杂度构建泛化边界,如vc维[28,223]、Rademacher复杂度[130,129,21]和覆盖数[73,104]。在经典的结果中,这些复杂性很大程度上依赖于模型的大小。这就引入了奥卡姆剃刀原理:

如无必要,勿增实体

即,只要模型能够拟合训练样本,就需要找到一个足够小的模型来防止过拟合。然而,深度学习模型通常具有非常大的模型规模,这有时会使泛化界甚至大于损失函数的潜在最大值。此外,根据Occam 's razor原理,可泛化性与模型大小之间存在正相关关系,而这在深度学习中已经不存在了。相比之下,更深更广的网络往往具有优越的性能[38]。深度学习卓越的泛化能力与其极端的过参数化之间的矛盾,就像传统复杂学习理论的一朵“云”。

早期的工作试图建立深度学习的理论基础[172,90,22,20,23,158,11],但很大程度上由于深度学习研究的广泛发展而停滞不前。

最近的研究始于Zhang等人在2017年的工作[244]。作者进行了系统的实验来探索深度神经网络的泛化能力。他们表明,即使训练标签是随机的,神经网络也能几乎完美地拟合训练数据。如何从理论上解释深度神经网络的成功,是学习理论界关注的一个重要话题。Kawaguchi等人[122]讨论了许多关于深度神经网络在容量大、复杂性、算法可能不稳定、非鲁棒性和极小值尖锐的情况下仍具有出色泛化能力的开放问题。作者也提出了一些解决问题的见解。从那时起,深度学习理论的重要性得到了广泛的认识。大量文献的出现建立了深度学习的理论基础。在本文中,我们回顾了相关文献,并将其归纳为以下六类:

  • **基于复杂度和容量的方法分析深度学习泛化性。**传统的统计学习理论根据假设空间的复杂度,建立了一系列泛化误差(泛化界)的上界,如vc维[28,223],Rademacher复杂度[130,129,21],覆盖数[73,104]。通常,这些泛化范围明确地依赖于模型的大小。他们认为,控制模型的大小可以帮助模型更好地泛化。然而,深度学习模型庞大的模型规模也使得泛化范围显得空洞。因此,如果我们能够开发出大小无关的假设复杂度度量和泛化边界是非常值得期待的。一种有前景的方法是刻画深度学习中可以学习的“有效”假设空间的复杂性。有效假设空间可以明显小于整个假设空间。因此,我们可以期望得到一个小得多的泛化保证。

  • **随机梯度下降(SGD)及其变体模型的随机偏微分方程(SDE)在深度学习优化算法中占主导地位。**这些SDEs的动态系统决定了训练神经网络中权值的轨迹,其稳定分布代表了学习网络。通过SDEs及其动力学,许多工作为深度学习的优化和泛化提供了保障。“有效”假设空间正是“SGD能找到的”假设空间。因此,通过SGD研究深度学习的普遍性将是直接的。此外,这一系列的方法部分受到贝叶斯推断的启发。这与前面的变异推断相似,后者以优化的方式解决了贝叶斯推断,以解决缩放问题。这种随机梯度方法和贝叶斯推断之间的相互作用将有助于这两个领域的发展。

  • **高度复杂的经验风险曲面的几何结构驱动动态系统的轨迹。**损失曲面观的几何形状在驱动SDEs的轨迹方面起着重要作用:(1)损失的导数是SDEs的组成部分;(2)损失作为SDEs的边界条件。因此,理解损失面是建立深度学习理论基础的关键一步。通常,“正则化”问题的可学习性和优化能力是有保证的。1“正则化”可以用许多术语来描述,包括凸性、李普希茨连续性和可微性。然而,在深度学习中,这些因素不再得到保障,至少不是很明显。神经网络通常由大量的非线性激活组成。激活过程中的非线性使得损失曲面极其不光滑和非凸。所建立的凸优化保证失效。损失曲面令人望而却步的复杂性,使社区长时间难以接触到损失曲面的几何形状,甚至深度学习理论。然而,损失面复杂的几何形状恰恰表征了深度学习的行为。通过损失曲面是理解深度学习的“捷径”。

  • 深度神经网络的过参数化作用。 过度参数化通常被认为是通过基于复杂性的方法为深度学习开发有意义的泛化边界的主要障碍。然而,最近的研究表明,过度参数化将对塑造深度学习的损失曲面做出主要贡献——使损失曲面更加光滑,甚至“类似”凸。此外,许多研究也证明了神经网络在极端过参数化情况下与一些更简单的模型(如高斯核)等效。

  • **网络架构中几种特殊结构的理论基础。**在前面的综述中,我们主要关注的结果一般代表所有的神经网络。同时,深度神经网络的设计涉及到许多特殊的技术。这些结构也对深度学习的卓越性能做出了重要贡献。我们回顾了卷积神经网络、递归神经网络和置换不变/等变函数网络的理论成果。

  • **深入关注伦理和安全以及它们与深度学习理论的关系。**深度学习已经被部署在越来越广泛的应用领域。其中一些涉及高度隐私的个人数据,如手机上的图像和视频、健康数据和最终记录。其他一些场景可能需要深度学习来提供高度敏感的决策,比如抵押贷款审批、大学入学和信用评估。此外,研究表明,深度学习模型容易受到对抗性例子的攻击。如何保护深度学习系统免受隐私保护、公平保护和对抗攻击等方面的破坏是非常重要的。

本文结构

本文综述了深度学习理论基础研究的最新进展。我们承认有一些论文回顾了深度学习理论。Alom等人[9]对深度学习中使用的技术进行了调查。Sun[214]综述了深度学习中的优化理论。E等人[81]总结了深度学习中最优化的近似和ademacher复杂性、损失面以及收敛和隐式正则化相关的结果和挑战。我们的调查是最全面的。我们以独特的视角组织文献,并为未来的作品提供新的见解。

深度学习的极好的泛化性就像传统复杂学习理论的“云”:深度学习的过度参数化使得几乎所有现有的工具都变得空洞。现有的工作试图通过三个主要途径来解决这一问题: (1)开发大小无关的复杂性测度,它可以表征可学习的“有效”假设空间的复杂性,而不是整个假设空间。第二节讨论了相关工作; (2) 基于随机微分函数和相关损失函数的几何性质,利用深度学习中占主导地位的优化器随机梯度方法对所学假设进行建模。有关的工作在第3及4节检讨; (3) 过度参数化出人意料地为损失函数带来了许多良好的性质,进一步保证了优化和泛化性能。相关工作在第5节中给出。与此同时,第6节回顾了网络体系结构特殊结构的理论基础。

机器学习的另一个重要方面是对道德和安全问题的日益关注,包括隐私保护、对抗鲁棒性和公平保护。具体地说,隐私保护和对抗鲁棒性与可泛化性密切相关:泛化性好通常意味着隐私保护能力强;更稳健的算法可能会有。本文还讨论了在深度学习场景中,如何理解这些问题之间的相互作用。相关工作将在第7节讨论。

成为VIP会员查看完整内容
0
60

少样本学习(FSL)在机器学习领域具有重要意义和挑战性。成功地从很少的样本中学习和归纳的能力是区分人工智能和人类智能的一个明显的界限,因为人类可以很容易地从一个或几个例子中建立他们对新颖性的认知,而机器学习算法通常需要数百或数千个监督样本来保证泛化能力。尽管FSL的悠久历史可以追溯到21世纪初,近年来随着深度学习技术的蓬勃发展也引起了广泛关注,但迄今为止,有关FSL的调研或评论还很少。在此背景下,我们广泛回顾了2000年至2019年FSL的200多篇论文,为FSL提供了及时而全面的调研。在本综述中,我们回顾了FSL的发展历史和目前的进展,原则上将FSL方法分为基于生成模型和基于判别模型的两大类,并特别强调了基于元学习的FSL方法。我们还总结了FSL中最近出现的几个扩展主题,并回顾了这些主题的最新进展。此外,我们重点介绍了FSL在计算机视觉、自然语言处理、音频和语音、强化学习和机器人、数据分析等领域的重要应用。最后,我们对调查进行了总结,并对未来的发展趋势进行了讨论,希望对后续研究提供指导和见解。

地址:

https://www.zhuanzhi.ai/paper/ffc99a53aeb6629e21b9a42db76b9dd1

概述:

人类智能的一个令人印象深刻的特点是能够从一个或几个例子中迅速建立对新概念的认知。许多认知和心理学证据[184,224,371]表明,人类可以通过很少的图像[23]识别视觉物体,甚至儿童也可以通过一次偶见就记住一个新单词[35,51]。虽然从很少的样本中支持人类学习和归纳能力的确切原因仍是一个深刻的谜,但一些神经生物学研究[285,29,157]认为,人类显著的学习能力得益于人脑中的前额叶皮层(PFC)和工作记忆,特别是PFC特有的神经生物学机制与大脑中存储的以往经验之间的相互作用。相比之下,最先进的机器学习算法都需要大量数据,尤其是最广为人知的深度学习[186],它将人工智能推向了一个新的高潮。深度学习作为机器学习发展的重要里程碑,在视觉[172,319,120]、语言[231,318]、语言[127]、游戏[308]、人口学[97]、医学[74]、植物病理学[100]、动物学[252]等广泛的研究领域都取得了显著的成就。一般来说,深度学习的成功可以归结为三个关键因素:强大的计算资源(如GPU)、复杂的神经网络(如CNN[172]、LSTM[129])和大规模数据集(如ImageNet[287]、Pascal-VOC[75])。然而,在现实的应用场景中,比如在医学、军事、金融等领域,由于隐私、安全、数据标注成本高等因素,我们无法获得足够的标签训练样本。因此,使学习系统能够有效地从很少的样本中进行学习和归纳,成为几乎所有机器学习研究人员所期待的蓝图。

从高层次上看,研究少样本学习的理论和现实意义主要来自三个方面。首先,FSL方法不依赖于大规模的训练样本,从而避免了在某些特定应用中数据准备的高昂成本。第二,FSL可以缩小人类智能和人工智能之间的差距,是发展通用人工智能的必要之旅[191]。第三,FSL可以实现一个新兴任务的低成本和快速的模型部署,而这个任务只有几个暂时可用的样本,这有利于阐明任务早期的潜在规律。

少数样本学习(FSL),又称小样本学习、少样本学习或一次性学习,可以追溯到21世纪初。尽管该研究已有近20年的历史,在理论和应用层面上都具有重要意义,但到目前为止,相关的调查和综述还很少。在本文中,我们广泛调查了从21世纪头十年到2019年几乎所有与FSL相关的科学论文,以详细阐述一个系统的FSL调研。我们必须强调,这里讨论的FSL与zero-shot learning (ZSL)正交[346],这是机器学习的另一个热门话题。ZSL的设置需要与概念相关的侧面信息来支持跨概念的知识迁移,这与FSL有很大的不同。据我们所知,到目前为止,只有两份与fsl相关的预先打印的综述伦恩[305,349]。与他们相比,本次综述的新颖之处和贡献主要来自五个方面:

(1) 我们对2000年至2019年的200多篇与FSL相关的论文进行了更全面、更及时的综述,涵盖了从最早的凝固模型[233]到最新的元学习方法的所有FSL方法。详尽的阐述有助于把握FSL的整个发展过程,构建完整的FSL知识体系。

(2) 根据FSL问题的建模原则,我们提供了一种可理解的层次分类法,将现有的FSL方法分为基于生成模型的方法和基于判别模型的方法。在每个类中,我们根据可一般化的属性进一步进行更详细的分类。

(3) 我们强调当前主流目前的方法,例如,基于目前的元学习方法,和分类成五大类,他们希望通过元学习策略学习学习,包括Learn-to-Measure Learn-to-Finetune, Learn-to-Parameterize,学会调整和Learn-to-Remember。此外,本调查还揭示了各种基于元学习的FSL方法之间潜在的发展关系。

(4) 总结了最近在普通FSL之外出现的几个外延研究课题,并回顾了这些课题的最新进展。这些主题包括半监督FSL、无监督FSL、跨域FSL、广义FSL和多模态FSL,它们具有挑战性,同时也为许多现实机器学习问题的解决赋予了突出的现实意义。这些扩展主题在以前的综述中很少涉及。

(5) 我们广泛总结了现有FSL在计算机视觉、自然语言处理、音频和语音、增强学习和机器人、数据分析等各个领域的应用,以及目前FSL在基准测试中的表现,旨在为后续研究提供一本手册,这是之前综述中没有涉及到的。

本文的其余部分组织如下。在第2节中,我们给出了一个概述,包括FSL的发展历史、我们稍后将使用的符号和定义,以及现有FSL方法的分类建议。第3节和第4节分别详细讨论了基于生成模型的方法和基于判别模型的方法。然后,第5节总结了FSL中出现的几个扩展主题。在第6节中,我们广泛地研究了FSL在各个领域的应用以及FSL的基准性能。在第8节中,我们以对未来方向的讨论来结束这次综述。

成为VIP会员查看完整内容
0
137

在海量大数据的帮助下,深度学习在许多领域都取得了显著的成功。但是,数据标签的质量是一个问题,因为在许多现实场景中缺乏高质量的标签。由于带噪标签严重降低了深度神经网络的泛化性能,从带噪标签中学习(鲁棒训练)已成为现代深度学习应用的一项重要任务。在这个综述中,我们首先从监督学习的角度来描述标签噪声的学习问题。接下来,我们提供了对46种最先进的鲁棒训练方法的全面回顾,所有这些方法根据其方法上的差异被归类为7组,然后系统地比较用于评价其优越性的6种属性。然后,总结了常用的评价方法,包括公共噪声数据集和评价指标。最后,我们提出了几个有前景的研究方向,可以作为未来研究的指导。

https://arxiv.org/abs/2007.08199

成为VIP会员查看完整内容
0
41

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
111

【简介】近些年,将计算智能应用于金融业已经引起了学术界和金融界的广泛关注。研究人员发布了大量的研究成果和各种各样的模型。同时,在机器学习领域,深度学习在近期也引起了大量的关注,主要是因为这些经典的深度学习模型表现优于传统模型。金融是深度学习模型开始受到关注的一个特殊领域,然而,这个领域非常开放,仍然存在很多研究机会。在这篇综述中,我们尝试着提供一个已经开发好的,可用在金融应用当中的深度学习模型。我们不仅根据模型的实现进行了分类,还对这些深度学习模型进行了分析。此外,我们还旨在确定未来深度学习模型在金融领域有可能的实现,以及强调了该领域正在进行的研究。

原始链接:

https://arxiv.org/abs/2002.05786

介绍

股票市场预测、算法交易、信用风险评估、投资组合配置、资产定价和衍生品市场都是机器学习研究人员关注的领域,他们致力于开发出能够为金融业提供实时工作解决方案的模型。因此,目前文献中存在大量有关的出版物和实现。

然而,在机器学习领域中,深度学习是一个新兴的领域,并且每年都在快速增长。结果越来越多的深度学习金融模型开始出现在会议和期刊上。我们在这篇论文中关注的是目前在金融领域深度学习模型之间的不同之处。在这种方式下,依据各自的兴趣点研究人员和从业者可以决定他们应该走哪条路。

在这篇论文中,我们尝试着为下列研究中的问题提供答案:

  • 有哪些金融应用可以用到深度学习?
  • 当前在这些应用领域中的研究现状如何?
  • 从学术/工业研究的角度来看,哪些领域有很大的潜力?
  • 在不同的应用环境中哪些深度学习模型表现更好?
  • 深度学习模型和传统的机器学习技术相比如何?
  • 在金融领域深度学习研究的未来方向是什么?

金融领域中的机器学习

早在40年前,金融就一直是最受机器学习关注的应用领域之一。到目前为止,在金融的各个领域已经发表了成千上万的研究论文,整体的兴趣似乎不会很快消失。尽管这篇调查论文仅仅关注于深度学习的实现,但是我们希望通过引用过去20年的相关调查,为读者提供一些以前在金融领域关于机器学习研究的见解。

深度学习

深度学习是一种特定类型的机器学习,由多个ANN层组成。它为数据建模提供了高级别的抽象。目前,主要的深度学习模型有以下几种:

DMLP(深度多层感知机)、CNNs、RNNs、LSTM、RBMs(受限波兹曼机)、DBNs(Deep Belief Networks 和自编码器(AEs)。

成为VIP会员查看完整内容
0
58

题目: A Survey of Deep Learning Techniques for Neural Machine Translation

摘要: 近年来,随着深度学习技术的发展,自然语言处理(NLP)得到了很大的发展。在机器翻译领域,出现了一种新的方法——神经机器翻译(NMT),引起了学术界和工业界的广泛关注。然而,在过去的几年里提出的大量的研究,很少有人研究这一新技术趋势的发展过程。本文回顾了神经机器翻译的起源和主要发展历程,描述了神经机器翻译的重要分支,划分了不同的研究方向,并讨论了未来该领域的一些研究趋势。

成为VIP会员查看完整内容
0
47

【简介】随着深度表示学习的发展,强化学习(RL)已经成为了一个强大的学习框架,其可以在高维度空间中学习复杂的规则。这篇综述总结了深度强化学习(DRL)算法,提供了采用强化学习的自动驾驶任务的分类方法,重点介绍了算法上的关键挑战和在现实世界中将强化学习部署在自动驾驶方面的作用,以及最终评估,测试和加强强化学习和模仿学习健壮性的现有解决方案。

论文链接: https://arxiv.org/abs/2002.00444

介绍:

自动驾驶(AD)系统由多个感知级任务组成,由于采用了深度学习架构,这些任务现在已经达到了很高的精度。除了感知任务之外,自主驾驶系统还包含多个其他任务,传统的监督学习方法已经不再适用。首先,当对agent行为的预测发生变化时,从自动驾驶agent所处的环境中接收到的未来传感器观察到的结果,例如获取市区最佳驾驶速度的任务。其次,监督信号(如碰撞时间(TTC),相对于agent最佳轨迹的侧向误差)表示agent的动态变化以及环境中的不确定性。这些问题都需要定义随机损失函数来使其最大化。最后,agent需要学习当前环境新的配置参数,预测其所处的环境中每一时刻的最优决策。这表明在观察agent和其所处环境的情况下,一个高维度的空间能够给出大量唯一的配置参数。在这些场景中,我们的目标是解决一个连续决策的问题。在这篇综述中,我们将介绍强化学习的概念,强化学习是一种很有前景的解决方案和任务分类方法,特别是在驱动策略、预测感知、路径规划以及低层控制器设计等领域。我们还重点回顾了强化学习在自动驾驶领域当中各种现实的应用。最后,我们通过阐述应用当前诸如模仿学习和Q学习等强化学习算法时所面临的算力挑战和风险来激励使用者对强化学习作出改进。

章节目录:

section2: 介绍一个典型的自动驾驶系统及其各个组件。

section3: 对深度强化学习进行介绍,并简要讨论关键概念。

section4: 探讨在强化学习基本框架上对其进行更深层次,更加复杂的扩展。

section5: 对强化学习用于自动驾驶领域的所面临的问题提供一个概述。

section6: 介绍将强化学习部署到真实世界自动驾驶系统中所面临的挑战。

section7: 总结

成为VIP会员查看完整内容
0
52

【导读】辞九迎零,我们迎来2020,到下一个十年。在2019年机器学习领域继续快速发展,元学习、迁移学习、小样本学习、深度学习理论等取得很多进展。在此,专知小编整理这一年这些研究热点主题的综述进展,共十篇,了解当下,方能向前。

1、A guide to deep learning in healthcare(医疗深度学习技术指南)

斯坦福&谷歌Jeff Dean最新Nature论文:医疗深度学习技术指南(29页综述)

Google 斯坦福 Nature Medicine

作者:Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean

摘要:我们介绍了医疗保健的深度学习技术,重点讨论了计算机视觉、自然语言处理、强化学习和广义方法的深度学习。我们将描述这些计算技术如何影响医学的几个关键领域,并探讨如何构建端到端系统。我们对计算机视觉的讨论主要集中在医学成像上,我们描述了自然语言处理在电子健康记录数据等领域的应用。同样,在机器人辅助手术的背景下讨论了强化学习,并综述了基因组学的广义深度学习方法。

网址:

https://www.nature.com/articles/s41591-018-0316-z

2、Multimodal Machine Learning: A Survey and Taxonomy(多模态机器学习)

人工智能顶刊TPAMI2019最新《多模态机器学习综述》

CMU TPAMI

作者:Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency

摘要:我们对世界的体验是多模态的 - 我们看到物体,听到声音,感觉质地,闻到异味和味道。情态是指某种事物发生或经历的方式,并且当研究问题包括多种这样的形式时,研究问题被描述为多模式。为了使人工智能在理解我们周围的世界方面取得进展,它需要能够将这种多模态信号一起解释。多模态机器学习旨在构建可以处理和关联来自多种模态的信息的模型。这是一个充满活力的多学科领域,具有越来越重要的意义和非凡的潜力。本文不是关注特定的多模态应用,而是研究多模态机器学习本身的最新进展。我们超越了典型的早期和晚期融合分类,并确定了多模式机器学习所面临的更广泛的挑战,即:表示,翻译,对齐,融合和共同学习。这种新的分类法将使研究人员能够更好地了解该领域的状况,并确定未来研究的方向。

网址:

http://www.zhuanzhi.ai/paper/2236c08ef0cd1bc87cae0f14cfbb9915

https://ieeexplore.ieee.org/document/8269806

3、Few-shot Learning: A Survey(小样本学习)

《小样本学习(Few-shot learning)》最新41页综述论文,来自港科大和第四范式

香港科大 第四范式

作者:Yaqing Wang,Quanming Yao

摘要:“机器会思考吗”和“机器能做人类做的事情吗”是推动人工智能发展的任务。尽管最近的人工智能在许多数据密集型应用中取得了成功,但它仍然缺乏从有限的数据示例学习和对新任务的快速泛化的能力。为了解决这个问题,我们必须求助于机器学习,它支持人工智能的科学研究。特别地,在这种情况下,有一个机器学习问题称为小样本学习(Few-Shot Learning,FSL)。该方法利用先验知识,可以快速地推广到有限监督经验的新任务中,通过推广和类比,模拟人类从少数例子中获取知识的能力。它被视为真正人工智能,是一种减少繁重的数据收集和计算成本高昂的培训的方法,也是罕见案例学习有效方式。随着FSL研究的广泛开展,我们对其进行了全面的综述。我们首先给出了FSL的正式定义。然后指出了FSL的核心问题,将问题从“如何解决FSL”转变为“如何处理核心问题”。因此,从FSL诞生到最近发表的作品都被归为一个统一的类别,并对不同类别的优缺点进行了深入的讨论。最后,我们从问题设置、技术、应用和理论等方面展望了FSL未来可能的发展方向,希望为初学者和有经验的研究者提供一些见解。

网址:

https://www.zhuanzhi.ai/paper/c7a2464c0865b9602a4103fb44659858

4、meta Learning: A Survey(元学习)

元学习(Meta-Learning) 综述及五篇顶会论文推荐

作者:Joaquin Vanschoren

摘要:元学习,或学习学习,是一门系统地观察不同机器学习方法如何在广泛的学习任务中执行的科学,然后从这种经验或元数据中学习,以比其他方法更快的速度学习新任务。这不仅极大地加快和改进了机器学习管道或神经体系结构的设计,还允许我们用以数据驱动方式学习的新方法取代手工设计的算法。在本文中,我们将概述这一迷人且不断发展的领域的最新进展。

网址:

http://www.zhuanzhi.ai/paper/dd60eaffea966331e199fa531bae7044

5、A Comprehensive Survey on Transfer Learning(迁移学习)

中科院发布最新迁移学习综述论文,带你全面了解40种迁移学习方法

作者:Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

摘要:迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域上的学习表现。这样,可以减少对大量目标域数据的依赖,以构建目标学习者。由于其广泛的应用前景,迁移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本文试图将已有的迁移学习研究进行梳理使其系统化,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的文章不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。还简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20种有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即Amazon Reviews,Reuters-21578和Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。。

网址:

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications(多模态智能论文综述:表示学习,信息融合与应用) 【IEEE Fellow何晓东&邓力】多模态智能论文综述:表示学习,信息融合与应用,259篇文献带你了解AI热点技术

京东

作者:Chao Zhang,Zichao Yang,Xiaodong He,Li Deng

【摘要】自2010年以来,深度学习已经使语音识别、图像识别和自然语言处理发生了革命性的变化,每种方法在输入信号中都只涉及一种模态。然而,人工智能的许多应用涉及到多种模态。因此,研究跨多种模态的建模和学习的更困难和更复杂的问题具有广泛的意义。本文对多模态智能的模型和学习方法进行了技术综述。视觉与自然语言的结合已成为计算机视觉和自然语言处理研究的一个重要领域。本文从学习多模态表示、多模态信号在不同层次上的融合以及多模态应用三个新角度对多模态深度学习的最新研究成果进行了综合分析。在多模态表示学习中,我们回顾了嵌入的关键概念,将多模态信号统一到同一个向量空间中,从而实现了多模态信号的交叉处理。我们还回顾了许多类型的嵌入的性质,构造和学习的一般下游任务。在多模态融合方面,本文着重介绍了用于集成单模态信号表示的特殊结构。在应用方面,涵盖了当前文献中广泛关注的选定领域,包括标题生成、文本到图像生成和可视化问题回答。我们相信这项综述可促进未来多模态智能的研究。

网址:

https://arxiv.org/abs/1911.03977

https://www.zhuanzhi.ai/paper/efe8f986342d215a8179d447624801ee

7、Object Detection in 20 Years: A Survey(目标检测)

密歇根大学40页《20年目标检测综述》最新论文,带你全面了解目标检测方法

作者:Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye

摘要:目标检测作为计算机视觉中最基本、最具挑战性的问题之一,近年来受到了广泛的关注。它在过去二十年的发展可以说是计算机视觉历史的缩影。如果我们把今天的目标检测看作是深度学习力量下的一种技术美学,那么让时光倒流20年,我们将见证冷兵器时代的智慧。本文从目标检测技术发展的角度,对近四分之一世纪(20世纪90年代至2019年)的400余篇论文进行了广泛的回顾。本文涵盖了许多主题,包括历史上的里程碑检测器、检测数据集、度量、检测系统的基本构建模块、加速技术以及最新的检测方法。本文还综述了行人检测、人脸检测、文本检测等重要的检测应用,并对其面临的挑战以及近年来的技术进步进行了深入分析。

网址:

https://arxiv.org/abs/1905.05055

https://www.zhuanzhi.ai/paper/4d9c0fdcc5a0a2b796e44e214fc9cb02

8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications(中文知识图谱)

作者:Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang

摘要:随着智能技术的不断发展,作为人工智能支柱的知识图谱以其强大的知识表示和推理能力受到了学术界和产业界的广泛关注。近年来,知识图谱在语义搜索、问答、知识管理等领域得到了广泛的应用。构建中文知识图谱的技术也在迅速发展,不同的中文知识图谱以支持不同的应用。同时,我国在知识图谱开发方面积累的经验对非英语知识图谱的开发也有很好的借鉴意义。本文旨在介绍中文知识图谱的构建技术及其应用,然后介绍了典型的中文知识图谱,此外我们介绍了构建中文知识图谱的技术细节,并介绍了了中文知识图谱的几种应用。

网址:

https://www.mdpi.com/2071-1050/10/9/3245

9、Advances and Open Problems in Federated Learning(联邦学习)

【重磅】联邦学习FL进展与开放问题万字综述论文,58位学者25家机构联合出品,105页pdf438篇文献

摘要:联邦学习(FL)是一种机器学习设置,在这种设置中,许多客户(例如移动设备或整个组织)在中央服务器(例如服务提供商)的协调下协作地训练模型,同时保持训练数据分散。FL体现了集中数据收集和最小化的原则,可以减轻由于传统的、集中的机器学习和数据科学方法所带来的许多系统隐私风险和成本。在FL研究爆炸性增长的推动下,本文讨论了近年来的进展,并提出了大量的开放问题和挑战。

网址:

https://arxiv.org/abs/1912.04977

10、Optimization for deep learning: theory and algorithms(深度学习优化理论算法)

【2019年末硬货】深度学习的最优化:理论和算法综述论文,60页pdf257篇文献

摘要:什么时候以及为什么能够成功地训练神经网络?本文概述了神经网络的优化算法和训练理论。首先,我们讨论了梯度爆炸/消失问题和更一般的不期望谱问题,然后讨论了实际的解决方案,包括仔细的初始化和归一化方法。其次,我们回顾了用于训练神经网络的一般优化方法,如SGD、自适应梯度方法和分布式方法,以及这些算法的现有理论结果。第三,我们回顾了现有的关于神经网络训练的全局问题的研究,包括局部极值的结果、模式连接、彩票假设和无限宽度分析。

网址:

https://www.zhuanzhi.ai/paper/2a5e7596942977067240c946ecd4bd47

成为VIP会员查看完整内容
0
183
小贴士
相关VIP内容
专知会员服务
41+阅读 · 2020年7月20日
专知会员服务
58+阅读 · 2020年4月23日
专知会员服务
111+阅读 · 2020年3月6日
专知会员服务
58+阅读 · 2020年2月27日
机器翻译深度学习最新综述
专知会员服务
47+阅读 · 2020年2月20日
专知会员服务
52+阅读 · 2020年2月8日
专知会员服务
183+阅读 · 2020年1月1日
相关资讯
2019->2020必看的十篇「深度学习领域综述」论文
极市平台
15+阅读 · 2020年1月2日
元学习(Meta-Learning) 综述及五篇顶会论文推荐
【人工智能】深度学习的应用和价值、深度学习综述
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
18+阅读 · 2018年6月13日
深度学习领域引用量前10篇论文(附下载地址)
七月在线实验室
4+阅读 · 2018年4月20日
2017深度学习NLP进展与趋势
全球人工智能
4+阅读 · 2017年12月19日
相关论文
Sayar Ghosh Roy,Nikhil Pinnaparaju,Risubh Jain,Manish Gupta,Vasudeva Varma
0+阅读 · 1月10日
Jiang Lu,Pinghua Gong,Jieping Ye,Changshui Zhang
96+阅读 · 2020年9月6日
Anomalous Instance Detection in Deep Learning: A Survey
Saikiran Bulusu,Bhavya Kailkhura,Bo Li,Pramod K. Varshney,Dawn Song
18+阅读 · 2020年3月16日
A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis
Jorge Agnese,Jonathan Herrera,Haicheng Tao,Xingquan Zhu
4+阅读 · 2019年10月21日
Yu Cheng,Duo Wang,Pan Zhou,Tao Zhang
31+阅读 · 2019年9月8日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
267+阅读 · 2019年4月10日
Yao Quanming,Wang Mengshuo,Jair Escalante Hugo,Guyon Isabelle,Hu Yi-Qi,Li Yu-Feng,Tu Wei-Wei,Yang Qiang,Yu Yang
6+阅读 · 2018年10月31日
Chunwei Tian,Yong Xu,Lunke Fei,Ke Yan
3+阅读 · 2018年10月11日
Joaquin Vanschoren
103+阅读 · 2018年10月8日
Alexander Jung
9+阅读 · 2018年8月19日
Top