【简介】自然语言处理(NLP)能够帮助智能型机器更好地理解人类的语言,实现基于语言的人机交流。目前随着计算能力的发展和大量语言数据的出现,推动了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域取得了显著的进步,数据驱动策略的应用已经非常的普遍。本综述对NLP领域中所应用的深度学习进行了分类和讨论。它涵盖了NLP的核心任务和应用领域,并对深度学习方法如何推进这些领域的发展进行了细致的描述。最后我们进一步分析和比较了不同的方法和目前最先进的模型。

原文连接:https://arxiv.org/abs/2003.01200

介绍

自然语言处理(NLP)是计算机科学的一个分支,能够为自然语言和计算机之间提高沟通的桥梁。它帮助机器理解、处理和分析人类语言。NLP通过深入地理解数据的上下文,使得数据变得更有意义,这反过来又促进了文本分析和数据挖掘。NLP通过人类的通信结构和通信模式来实现这一点。这篇综述涵盖了深度学习在NLP领域中所扮演的新角色以及各种应用。我们的研究主要集中在架构上,很少讨论具体的应用程序。另一方面,本文描述了将深度学习应用于NLP问题中时所面临的挑战、机遇以及效果评估方式。

章节目录

section 2: 在理论层面介绍了NLP和人工智能,并将深度学习视为解决现实问题的一种方法。

section 3:讨论理解NLP所必需的基本概念,包括各种表示法、模型框架和机器学习中的示例性问题。

section 4:总结了应用在NLP领域中的基准数据集。

section 5:重点介绍一些已经被证明在NLP任务中有显著效果的深度学习方法。

section 6:进行总结,同时解决了一些开放的问题和有希望改善的领域。

成为VIP会员查看完整内容
0
63

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【简介】在智能交通系统中交通预测扮演着重要的角色。精准的交通预测有助于优化通行路线,指导车辆调度,缓解交通拥堵。由于道路网络中不同区域之间复杂且动态的时空依赖关系,这一问题具有很大挑战性。最近几年,有大量的研究工作推进了这一领域的发展,提高了交通系统预测交通的能力。这篇论文对于近些年的交通预测发展提供了一个全面的综述。具体来说,我们对目前的交通预测方法进行了总结,并且对它们进行了分类。然后,我们列举了应用交通预测的常见领域,以及这些应用任务的最新进展。同时,我们也收集和整理了几个相关的公共数据集,并分别在两个数据集上通过对相关的交通预测方法的表现进行了评估。最后,我们对这一领域未来的发展方向进行了探讨。

成为VIP会员查看完整内容
0
69

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
126

题目: Natural Language Processing Advancements By Deep Learning: A Survey

摘要: 自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。算力的最新发展和语言大数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本综述对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们并进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
53

【简介】近些年,将计算智能应用于金融业已经引起了学术界和金融界的广泛关注。研究人员发布了大量的研究成果和各种各样的模型。同时,在机器学习领域,深度学习在近期也引起了大量的关注,主要是因为这些经典的深度学习模型表现优于传统模型。金融是深度学习模型开始受到关注的一个特殊领域,然而,这个领域非常开放,仍然存在很多研究机会。在这篇综述中,我们尝试着提供一个已经开发好的,可用在金融应用当中的深度学习模型。我们不仅根据模型的实现进行了分类,还对这些深度学习模型进行了分析。此外,我们还旨在确定未来深度学习模型在金融领域有可能的实现,以及强调了该领域正在进行的研究。

原始链接:

https://arxiv.org/abs/2002.05786

介绍

股票市场预测、算法交易、信用风险评估、投资组合配置、资产定价和衍生品市场都是机器学习研究人员关注的领域,他们致力于开发出能够为金融业提供实时工作解决方案的模型。因此,目前文献中存在大量有关的出版物和实现。

然而,在机器学习领域中,深度学习是一个新兴的领域,并且每年都在快速增长。结果越来越多的深度学习金融模型开始出现在会议和期刊上。我们在这篇论文中关注的是目前在金融领域深度学习模型之间的不同之处。在这种方式下,依据各自的兴趣点研究人员和从业者可以决定他们应该走哪条路。

在这篇论文中,我们尝试着为下列研究中的问题提供答案:

  • 有哪些金融应用可以用到深度学习?
  • 当前在这些应用领域中的研究现状如何?
  • 从学术/工业研究的角度来看,哪些领域有很大的潜力?
  • 在不同的应用环境中哪些深度学习模型表现更好?
  • 深度学习模型和传统的机器学习技术相比如何?
  • 在金融领域深度学习研究的未来方向是什么?

金融领域中的机器学习

早在40年前,金融就一直是最受机器学习关注的应用领域之一。到目前为止,在金融的各个领域已经发表了成千上万的研究论文,整体的兴趣似乎不会很快消失。尽管这篇调查论文仅仅关注于深度学习的实现,但是我们希望通过引用过去20年的相关调查,为读者提供一些以前在金融领域关于机器学习研究的见解。

深度学习

深度学习是一种特定类型的机器学习,由多个ANN层组成。它为数据建模提供了高级别的抽象。目前,主要的深度学习模型有以下几种:

DMLP(深度多层感知机)、CNNs、RNNs、LSTM、RBMs(受限波兹曼机)、DBNs(Deep Belief Networks 和自编码器(AEs)。

成为VIP会员查看完整内容
0
77

【简介】随着深度表示学习的发展,强化学习(RL)已经成为了一个强大的学习框架,其可以在高维度空间中学习复杂的规则。这篇综述总结了深度强化学习(DRL)算法,提供了采用强化学习的自动驾驶任务的分类方法,重点介绍了算法上的关键挑战和在现实世界中将强化学习部署在自动驾驶方面的作用,以及最终评估,测试和加强强化学习和模仿学习健壮性的现有解决方案。

论文链接: https://arxiv.org/abs/2002.00444

介绍:

自动驾驶(AD)系统由多个感知级任务组成,由于采用了深度学习架构,这些任务现在已经达到了很高的精度。除了感知任务之外,自主驾驶系统还包含多个其他任务,传统的监督学习方法已经不再适用。首先,当对agent行为的预测发生变化时,从自动驾驶agent所处的环境中接收到的未来传感器观察到的结果,例如获取市区最佳驾驶速度的任务。其次,监督信号(如碰撞时间(TTC),相对于agent最佳轨迹的侧向误差)表示agent的动态变化以及环境中的不确定性。这些问题都需要定义随机损失函数来使其最大化。最后,agent需要学习当前环境新的配置参数,预测其所处的环境中每一时刻的最优决策。这表明在观察agent和其所处环境的情况下,一个高维度的空间能够给出大量唯一的配置参数。在这些场景中,我们的目标是解决一个连续决策的问题。在这篇综述中,我们将介绍强化学习的概念,强化学习是一种很有前景的解决方案和任务分类方法,特别是在驱动策略、预测感知、路径规划以及低层控制器设计等领域。我们还重点回顾了强化学习在自动驾驶领域当中各种现实的应用。最后,我们通过阐述应用当前诸如模仿学习和Q学习等强化学习算法时所面临的算力挑战和风险来激励使用者对强化学习作出改进。

章节目录:

section2: 介绍一个典型的自动驾驶系统及其各个组件。

section3: 对深度强化学习进行介绍,并简要讨论关键概念。

section4: 探讨在强化学习基本框架上对其进行更深层次,更加复杂的扩展。

section5: 对强化学习用于自动驾驶领域的所面临的问题提供一个概述。

section6: 介绍将强化学习部署到真实世界自动驾驶系统中所面临的挑战。

section7: 总结

成为VIP会员查看完整内容
0
59

【导读】辞九迎零,我们迎来2020,到下一个十年。在2019年机器学习领域继续快速发展,元学习、迁移学习、小样本学习、深度学习理论等取得很多进展。在此,专知小编整理这一年这些研究热点主题的综述进展,共十篇,了解当下,方能向前。

1、A guide to deep learning in healthcare(医疗深度学习技术指南)

斯坦福&谷歌Jeff Dean最新Nature论文:医疗深度学习技术指南(29页综述)

Google 斯坦福 Nature Medicine

作者:Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean

摘要:我们介绍了医疗保健的深度学习技术,重点讨论了计算机视觉、自然语言处理、强化学习和广义方法的深度学习。我们将描述这些计算技术如何影响医学的几个关键领域,并探讨如何构建端到端系统。我们对计算机视觉的讨论主要集中在医学成像上,我们描述了自然语言处理在电子健康记录数据等领域的应用。同样,在机器人辅助手术的背景下讨论了强化学习,并综述了基因组学的广义深度学习方法。

网址:

https://www.nature.com/articles/s41591-018-0316-z

2、Multimodal Machine Learning: A Survey and Taxonomy(多模态机器学习)

人工智能顶刊TPAMI2019最新《多模态机器学习综述》

CMU TPAMI

作者:Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency

摘要:我们对世界的体验是多模态的 - 我们看到物体,听到声音,感觉质地,闻到异味和味道。情态是指某种事物发生或经历的方式,并且当研究问题包括多种这样的形式时,研究问题被描述为多模式。为了使人工智能在理解我们周围的世界方面取得进展,它需要能够将这种多模态信号一起解释。多模态机器学习旨在构建可以处理和关联来自多种模态的信息的模型。这是一个充满活力的多学科领域,具有越来越重要的意义和非凡的潜力。本文不是关注特定的多模态应用,而是研究多模态机器学习本身的最新进展。我们超越了典型的早期和晚期融合分类,并确定了多模式机器学习所面临的更广泛的挑战,即:表示,翻译,对齐,融合和共同学习。这种新的分类法将使研究人员能够更好地了解该领域的状况,并确定未来研究的方向。

网址:

http://www.zhuanzhi.ai/paper/2236c08ef0cd1bc87cae0f14cfbb9915

https://ieeexplore.ieee.org/document/8269806

3、Few-shot Learning: A Survey(小样本学习)

《小样本学习(Few-shot learning)》最新41页综述论文,来自港科大和第四范式

香港科大 第四范式

作者:Yaqing Wang,Quanming Yao

摘要:“机器会思考吗”和“机器能做人类做的事情吗”是推动人工智能发展的任务。尽管最近的人工智能在许多数据密集型应用中取得了成功,但它仍然缺乏从有限的数据示例学习和对新任务的快速泛化的能力。为了解决这个问题,我们必须求助于机器学习,它支持人工智能的科学研究。特别地,在这种情况下,有一个机器学习问题称为小样本学习(Few-Shot Learning,FSL)。该方法利用先验知识,可以快速地推广到有限监督经验的新任务中,通过推广和类比,模拟人类从少数例子中获取知识的能力。它被视为真正人工智能,是一种减少繁重的数据收集和计算成本高昂的培训的方法,也是罕见案例学习有效方式。随着FSL研究的广泛开展,我们对其进行了全面的综述。我们首先给出了FSL的正式定义。然后指出了FSL的核心问题,将问题从“如何解决FSL”转变为“如何处理核心问题”。因此,从FSL诞生到最近发表的作品都被归为一个统一的类别,并对不同类别的优缺点进行了深入的讨论。最后,我们从问题设置、技术、应用和理论等方面展望了FSL未来可能的发展方向,希望为初学者和有经验的研究者提供一些见解。

网址:

https://www.zhuanzhi.ai/paper/c7a2464c0865b9602a4103fb44659858

4、meta Learning: A Survey(元学习)

元学习(Meta-Learning) 综述及五篇顶会论文推荐

作者:Joaquin Vanschoren

摘要:元学习,或学习学习,是一门系统地观察不同机器学习方法如何在广泛的学习任务中执行的科学,然后从这种经验或元数据中学习,以比其他方法更快的速度学习新任务。这不仅极大地加快和改进了机器学习管道或神经体系结构的设计,还允许我们用以数据驱动方式学习的新方法取代手工设计的算法。在本文中,我们将概述这一迷人且不断发展的领域的最新进展。

网址:

http://www.zhuanzhi.ai/paper/dd60eaffea966331e199fa531bae7044

5、A Comprehensive Survey on Transfer Learning(迁移学习)

中科院发布最新迁移学习综述论文,带你全面了解40种迁移学习方法

作者:Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

摘要:迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域上的学习表现。这样,可以减少对大量目标域数据的依赖,以构建目标学习者。由于其广泛的应用前景,迁移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本文试图将已有的迁移学习研究进行梳理使其系统化,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的文章不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。还简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20种有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即Amazon Reviews,Reuters-21578和Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。。

网址:

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications(多模态智能论文综述:表示学习,信息融合与应用) 【IEEE Fellow何晓东&邓力】多模态智能论文综述:表示学习,信息融合与应用,259篇文献带你了解AI热点技术

京东

作者:Chao Zhang,Zichao Yang,Xiaodong He,Li Deng

【摘要】自2010年以来,深度学习已经使语音识别、图像识别和自然语言处理发生了革命性的变化,每种方法在输入信号中都只涉及一种模态。然而,人工智能的许多应用涉及到多种模态。因此,研究跨多种模态的建模和学习的更困难和更复杂的问题具有广泛的意义。本文对多模态智能的模型和学习方法进行了技术综述。视觉与自然语言的结合已成为计算机视觉和自然语言处理研究的一个重要领域。本文从学习多模态表示、多模态信号在不同层次上的融合以及多模态应用三个新角度对多模态深度学习的最新研究成果进行了综合分析。在多模态表示学习中,我们回顾了嵌入的关键概念,将多模态信号统一到同一个向量空间中,从而实现了多模态信号的交叉处理。我们还回顾了许多类型的嵌入的性质,构造和学习的一般下游任务。在多模态融合方面,本文着重介绍了用于集成单模态信号表示的特殊结构。在应用方面,涵盖了当前文献中广泛关注的选定领域,包括标题生成、文本到图像生成和可视化问题回答。我们相信这项综述可促进未来多模态智能的研究。

网址:

https://arxiv.org/abs/1911.03977

https://www.zhuanzhi.ai/paper/efe8f986342d215a8179d447624801ee

7、Object Detection in 20 Years: A Survey(目标检测)

密歇根大学40页《20年目标检测综述》最新论文,带你全面了解目标检测方法

作者:Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye

摘要:目标检测作为计算机视觉中最基本、最具挑战性的问题之一,近年来受到了广泛的关注。它在过去二十年的发展可以说是计算机视觉历史的缩影。如果我们把今天的目标检测看作是深度学习力量下的一种技术美学,那么让时光倒流20年,我们将见证冷兵器时代的智慧。本文从目标检测技术发展的角度,对近四分之一世纪(20世纪90年代至2019年)的400余篇论文进行了广泛的回顾。本文涵盖了许多主题,包括历史上的里程碑检测器、检测数据集、度量、检测系统的基本构建模块、加速技术以及最新的检测方法。本文还综述了行人检测、人脸检测、文本检测等重要的检测应用,并对其面临的挑战以及近年来的技术进步进行了深入分析。

网址:

https://arxiv.org/abs/1905.05055

https://www.zhuanzhi.ai/paper/4d9c0fdcc5a0a2b796e44e214fc9cb02

8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications(中文知识图谱)

作者:Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang

摘要:随着智能技术的不断发展,作为人工智能支柱的知识图谱以其强大的知识表示和推理能力受到了学术界和产业界的广泛关注。近年来,知识图谱在语义搜索、问答、知识管理等领域得到了广泛的应用。构建中文知识图谱的技术也在迅速发展,不同的中文知识图谱以支持不同的应用。同时,我国在知识图谱开发方面积累的经验对非英语知识图谱的开发也有很好的借鉴意义。本文旨在介绍中文知识图谱的构建技术及其应用,然后介绍了典型的中文知识图谱,此外我们介绍了构建中文知识图谱的技术细节,并介绍了了中文知识图谱的几种应用。

网址:

https://www.mdpi.com/2071-1050/10/9/3245

9、Advances and Open Problems in Federated Learning(联邦学习)

【重磅】联邦学习FL进展与开放问题万字综述论文,58位学者25家机构联合出品,105页pdf438篇文献

摘要:联邦学习(FL)是一种机器学习设置,在这种设置中,许多客户(例如移动设备或整个组织)在中央服务器(例如服务提供商)的协调下协作地训练模型,同时保持训练数据分散。FL体现了集中数据收集和最小化的原则,可以减轻由于传统的、集中的机器学习和数据科学方法所带来的许多系统隐私风险和成本。在FL研究爆炸性增长的推动下,本文讨论了近年来的进展,并提出了大量的开放问题和挑战。

网址:

https://arxiv.org/abs/1912.04977

10、Optimization for deep learning: theory and algorithms(深度学习优化理论算法)

【2019年末硬货】深度学习的最优化:理论和算法综述论文,60页pdf257篇文献

摘要:什么时候以及为什么能够成功地训练神经网络?本文概述了神经网络的优化算法和训练理论。首先,我们讨论了梯度爆炸/消失问题和更一般的不期望谱问题,然后讨论了实际的解决方案,包括仔细的初始化和归一化方法。其次,我们回顾了用于训练神经网络的一般优化方法,如SGD、自适应梯度方法和分布式方法,以及这些算法的现有理论结果。第三,我们回顾了现有的关于神经网络训练的全局问题的研究,包括局部极值的结果、模式连接、彩票假设和无限宽度分析。

网址:

https://www.zhuanzhi.ai/paper/2a5e7596942977067240c946ecd4bd47

成为VIP会员查看完整内容
0
196

在过去的几年里,自然语言处理领域由于深度学习模型的大量使用而得到了发展。这份综述提供了一个NLP领域的简要介绍和一个快速的深度学习架构和方法的概述。然后,筛选了大量最近的研究论文,并总结了大量相关的贡献。NLP研究领域除了计算语言学的一些应用外,还包括几个核心的语言处理问题。然后讨论了目前的技术水平,并对该领域今后的研究提出了建议。

成为VIP会员查看完整内容
0
129
小贴士
相关VIP内容
专知会员服务
69+阅读 · 2020年4月23日
专知会员服务
126+阅读 · 2020年3月6日
专知会员服务
77+阅读 · 2020年2月27日
机器翻译深度学习最新综述
专知会员服务
56+阅读 · 2020年2月20日
专知会员服务
59+阅读 · 2020年2月8日
专知会员服务
196+阅读 · 2020年1月1日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
129+阅读 · 2019年10月12日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
45+阅读 · 2019年10月12日
相关资讯
2019->2020必看的十篇「深度学习领域综述」论文
极市平台
16+阅读 · 2020年1月2日
【NLP】万字长文概述NLP中的深度学习技术
产业智能官
15+阅读 · 2019年7月7日
Attention!注意力机制模型最新综述(附下载)
THU数据派
19+阅读 · 2019年4月13日
深度学习综述(下载PDF版)
机器学习算法与Python学习
20+阅读 · 2018年7月3日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
18+阅读 · 2018年6月13日
最全面的百度NLP自然语言处理技术解析
InfoQ
7+阅读 · 2017年11月12日
相关论文
Hierarchical Human Parsing with Typed Part-Relation Reasoning
Wenguan Wang,Hailong Zhu,Jifeng Dai,Yanwei Pang,Jianbing Shen,Ling Shao
5+阅读 · 2020年3月10日
TinyBERT: Distilling BERT for Natural Language Understanding
Xiaoqi Jiao,Yichun Yin,Lifeng Shang,Xin Jiang,Xiao Chen,Linlin Li,Fang Wang,Qun Liu
8+阅读 · 2019年9月23日
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Zihang Dai,Zhilin Yang,Yiming Yang,Jaime Carbonell,Quoc V. Le,Ruslan Salakhutdinov
9+阅读 · 2019年6月2日
Liang Sun,Bing Li,Chunfeng Yuan,Zhengjun Zha,Weiming Hu
4+阅读 · 2019年5月8日
Yu Cheng,Mo Yu,Xiaoxiao Guo,Bowen Zhou
11+阅读 · 2019年1月26日
Quantization Mimic: Towards Very Tiny CNN for Object Detection
Yi Wei,Xinyu Pan,Hongwei Qin,Wanli Ouyang,Junjie Yan
4+阅读 · 2018年9月13日
Image Captioning based on Deep Reinforcement Learning
Haichao Shi,Peng Li,Bo Wang,Zhenyu Wang
7+阅读 · 2018年9月13日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Di Lu,Spencer Whitehead,Lifu Huang,Heng Ji,Shih-Fu Chang
7+阅读 · 2018年4月21日
Wenlin Wang,Zhe Gan,Wenqi Wang,Dinghan Shen,Jiaji Huang,Wei Ping,Sanjeev Satheesh,Lawrence Carin
5+阅读 · 2017年12月29日
Top