智能需要记忆。没有记忆,人类就无法完成各种重要的任务,比如读小说、玩游戏或解决数学问题。机器学习的最终目标是开发出像人类一样自动学习和行动的智能系统,因此机器的记忆构建是必然的。人工神经网络通过权值将计算单元连接起来,对大脑中的神经元和突触进行建模,这是一种典型的类似于记忆结构的机器学习算法。他们的后代拥有更复杂的建模技术(即深度学习),已经成功地应用于许多实际问题,并证明了记忆在机器系统学习过程中的重要性。近年来,深度学习中记忆建模的研究主要围绕外部记忆结构展开,受到计算图灵模型和生物神经元系统的启发。注意力机制的产生是为了支持外部记忆的获取和保留操作。尽管缺乏理论基础,这些方法已经显示出帮助机器系统达到更高智能水平的希望。本文的目的是提高对深度学习中记忆和注意力的认识。它的贡献包括: (i) 呈现记忆分类的集合,(ii)构建支持多个控制和记忆单元的新的记忆增强神经网络(MANN), (iii)通过序列生成模型中的记忆引入可变性,(iv)在基于槽的记忆网络中寻找最佳的写操作以最大限度地提高记忆能力;(v)通过神经网络的一种新型外部存储器——神经存储程序存储器来模拟通用图灵机。

目录内容: 1 Introduction 2 Taxonomy for Memory in RNNs 3 Memory-augmented Neural Networks 4 Memory Models for Multiple Processes 5 Variational Memory in Generative Models 6 Optimal Writing Memory 7 Neural Stored-Program Memory 8 Conclusions

在这篇论文中,我们介绍了神经网络的几种记忆类型,特别是递归神经网络(RNNs)。我们强调记忆作为RNN的外部存储的概念,其中rnn可以学习读写外部记忆,以支持其工作记忆(第2章)。我们回顾了解决训练RNN困难的进展,如门控和注意机制,特别是基于槽的MANN,这是本文第三章提出的新模型的主要内容。我们的主要贡献有四方面。首先, 我们MANN作为一个多进程多视点模型来处理复杂的问题,如sequence-to-sequence映射和多视角序列学习(第四章)。我们进一步扩展MANNs作为离散序列的模型生成会话数据可变性和一致性要求(第5章)。我们也解释到内存中最后,我们介绍了一类新的MANN,它遵循存储程序存储原理,可以通过切换控制器的程序来执行不同的功能。

成为VIP会员查看完整内容
0
42

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

向量嵌入模型是现代机器学习知识表示和推理方法的基石。这些方法旨在通过在低维向量空间中学习概念和其他领域对象的表示,将语义问题转化为几何问题。本着这种精神,这项工作提倡基于密度和区域的表示学习。将领域元素作为几何对象嵌入到单点之外,使我们能够自然地表示广度和一词多义,进行不对称比较,回答复杂的查询,并在标记数据稀缺时提供强烈的归纳偏见。我们提出了一个使用高斯密度的词表示模型,实现了概念之间的不对称隐含判断,以及一个基于轴对齐超矩形表示(盒)格的加权传递关系和多元离散数据的概率模型。我们将探讨这些嵌入方法在不同的稀疏性、边缘权值、相关性和独立结构的适用性,以及表示的扩展和不同的优化策略。我们从理论上研究了盒格的表示能力,并提出了扩展模型来解决在建模困难的分布和图方面的不足。

成为VIP会员查看完整内容
0
27

表示学习(representation learning), 又称表征学习,是指将输入数据转化成 适用于机器学习形式的过程。通常地,机器学习的性能依赖于对数据表示的选 择,一个好的表示可以使得模型对输入数据进行更好的理解。近年来,神经网络 的兴起,使得我们可以自动地对输入数据进行特征抽取。这极大推动了表示学习 的发展,并给我们带来了进一步探究的可能性。

一般地,表示学习的研究可以按照不同角度进行划分:从学习方式上,可以 分为有监督学习和无监督学习;从输入数据模态上,可以分为文本表示、图像表 示以及语音表示;从共享独立性上,可以分为共享表示和私有表示。在自然语言 处理中,使用深度学习技术(即深度神经网络)对文本进行表示学习已经成为一 个很有价值的研究方向。本文工作围绕着以下问题展开:1)对于不同粒度的文 本(词语、句子、句对),如何设计合理的结构,使得模型可以学习到适合最终任 务的表示?深度学习的到来使得自然语言处理中的研究工作由原来的特征工程 (feature engineering) 过渡到了现在的结构工程 (architecture engineering) ,而对于 文本的表示学习,首先要解决的最基本问题就是寻找合适的归纳偏置 (inductive bias),使得模型可以更好地对输入文本进行编码。而本文分别针对不同粒度的文 本信号,进行相应的网络结构探索,希望找到更适合下游任务的结构偏置。2)如 何进行针对性的迁移学习?有针对性地进行迁移是指我们要对迁移的知识“按 需分配”,这就要求我们学习的知识应该具备可迁移性,此外,我们还要对已有 的知识进行可理解分析,从而可以分离我们真正需要的知识,最终实现知识的定 向迁移。对于以上两个亟待解决的问题,本文通过两个方面,九个章节进行递进 式探讨,其贡献总结如下:

一方面,对于不同粒度文本的表示学习,本文分别探索了最适合下游任务的 归纳偏置,并且利用这些归纳偏置设计新的模型,这些模型在主流的数据集上都 取得了当时最好的效果。

    1. 词语: 词语表示学习的研究是深度神经网络技术最先触及的领域。经典的 基于神经网络的分布式语义表示学习方法可以将任意词映射到一个低维的 向量空间,然而这种表示往往与上下文独立,无法处理一词多义的现象。针 对这个问题,我们提出了融入 “主题” 信息的神经张量词语表示学习模型, 该模型最大的特点是可以学习到与上下文相关的词表示,从而缓解一词多 义现象带来的语义消歧问题。
    1. 句子:基于深度神经网络的句子表示学习是一个重要的研究任务。在句子 建模的任务里,我们的研究围绕着三个问题展开:如何建模包含习语的句 子?如何解决语义合成的多样性与函数单一性导致的网络表示能力不足的 问题?如何动态学习句子的结构而不是预先指定?针对以上问题,我们分 别提出了基于树结构的自适应语义合成网络、动态语义合成网络、和基于 图的语境化网络。这些模型分别引入了不同的并且适用于当前任务的结构 偏置。
    1. 句对:句对的表示学习在自然语言处理中有很广泛的应用场景,如语义匹 配,自动问答等。解决这个任务的关键在于如何建模两个句子之间复杂的 交互关系。这里我们提出了一种基于多维长短时记忆网络的学习框架,可 以建立两个句子之间强交互关系。另一方面,我们提出学习具有特殊性质的文本表示,这为我们实现针对性迁 移做了铺垫。具体说来,我们通过利用对抗学习(adversarial learning)以及元学 习(meta learning)方式,探索了如何学习具有可迁移性、可分离性,可理解性 的文本表示。
    1. 可迁移性:深度学习技术不仅可以自动提取出有用的特征,它的另一个迷 人之处在于可以对已经学习好的特征进行迁移学习。本文以循环神经网络 为原型,提出了三种适用于文本序列可迁移性学习的框架。
    1. 可分解性:一个好的表示应该可以结构化,并且按照功能属性进行分离,这 样我们才能更好地进行迁移使用。本文中,为了将不同任务之间共享和私有的特征实现分离,我们将对抗学习的思想引入到多任务学习中,该模型 可以实现对共享空间的净化,实现共享-私有特征的正交分离。
    1. 可理解性:很多时候,深度模型取得好结果是以牺牲我们对模型的理解能 力为代价的。那么对于学习到的表示,如何对学习的知识进行可理解分析?本文通过动态建立图神经网络实现了一种可理解模型的学习。

关键词:深度学习;语义表示学习;自然语言处理;归纳偏置;知识迁移

成为VIP会员查看完整内容
0
85

本课程涉及深度学习和表示学习的最新技术,重点是有监督和无监督的深度学习、嵌入方法、度量学习、卷积网和递归网,并应用于计算机视觉、自然语言理解和语音识别。

第五讲:

第六讲:

第七讲:

成为VIP会员查看完整内容
0
116

神经网络与深度学习,复旦大学邱锡鹏老师。近年来,以机器学习、知识图谱为代表的人工智能技术逐渐变得普及。从车牌识别、人脸识别、语音识别、智能问答、推荐系统到自动驾驶,人们在日常生活中都可能有意无意地使用到了人工智能技术。这些技术的背后都离不开人工智能领域研究者们的长期努力。特别是最近这几年,得益于数据的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富,越来越多的人开始关注这一个“崭新”的研究领域:深度学习。深度学习以神经网络为主要模型,一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力,深度学习越来越多地用来解决一些通用人工智能问题,比如推理、决策等。目前,深度学习技术在学术界和工业界取得了广泛的成功,受到高度重视,并掀起新一轮的人工智能热潮。

本课程主要介绍神经网络与深度学习中的基础知识、主要模型(前馈网络、卷积网络、循环网络等)以及在计算机视觉、自然语言处理等领域的应用。

本书的写作目的是使得读者能够掌握神经网络与深度学习技术的基本原理,知其然还要知其所以然。全书共 15 章。第 1 章是绪论,介绍人工智能、机器学习、深度学习的概要,使读者对相关知识进行全面的了解。第2、3章介绍机器学习的基础知识。第4、5、6章分别讲述三种主要的神经网络模型:前馈神经 网络、卷积神经网络和循环神经网络。第7章介绍神经网络的优化与正则化方法。第8章介绍神经网络中的注意力机制和外部记忆。第9章简要介绍一些无监督学习方法。第10章介绍一些模型独立的机器学习方法:集成学习、自训练、协同训练多任务学习、迁移学习、终身学习、元学习等,这些都是目前深度学习的难点和热点问题。第11章介绍概率图模型的基本概念,为后面的章节进行铺垫。第12章介绍两种早期的深度学习模型:玻尔兹曼机和深度信念网络。第13章介绍最近两年发展十分迅速的深度生成模型:变分自编码器和生成对抗网络。第14章介绍深度强化学习的知识。第15章介绍应用十分广泛的序列生成模型。

  • 绪论
  • 机器学习概述
  • 线性模型
  • 前馈神经网络
  • 卷积神经网络
  • 循环神经网络
  • 网络优化与正则化
  • 注意力机制与外部记忆
  • 无监督学习
  • 模型独立的学习方式
  • 概率图模型
  • 深度信念网络
  • 深度生成模型
  • 深度强化学习
  • 序列生成模型 一个过时版本:词嵌入与语言模型
  • 数学基础
成为VIP会员查看完整内容
0
63
小贴士
相关VIP内容
专知会员服务
27+阅读 · 4月11日
专知会员服务
29+阅读 · 4月6日
专知会员服务
38+阅读 · 2月4日
专知会员服务
74+阅读 · 1月1日
Yann Lecun 纽约大学《深度学习(PyTorch)》课程(2020)PPT
专知会员服务
116+阅读 · 2020年3月16日
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
63+阅读 · 2019年9月24日
相关资讯
自然语言处理中注意力机制综述
Python开发者
10+阅读 · 2019年1月31日
【学生论坛】详解记忆增强神经网络
中国科学院自动化研究所
93+阅读 · 2018年11月15日
SFFAI 分享 | 王克欣 : 详解记忆增强神经网络
人工智能前沿讲习班
23+阅读 · 2018年10月26日
论文浅尝 | 用可微的逻辑规则学习完成知识库推理
开放知识图谱
11+阅读 · 2018年7月5日
深度学习基础之LSTM
全球人工智能
17+阅读 · 2017年12月18日
深度学习中的注意力机制
人工智能头条
12+阅读 · 2017年11月2日
RNN | RNN实践指南(1)
KingsGarden
18+阅读 · 2017年4月4日
相关论文
Matej Ulčar,Aleš Žagar,Carlos S. Armendariz,Andraž Repar,Senja Pollak,Matthew Purver,Marko Robnik-Šikonja
0+阅读 · 7月22日
Kensen Shi,David Bieber,Charles Sutton
0+阅读 · 7月20日
Tianyu Gao,Adam Fisch,Danqi Chen
9+阅读 · 2020年12月31日
Meta-Learning with Implicit Gradients
Aravind Rajeswaran,Chelsea Finn,Sham Kakade,Sergey Levine
7+阅读 · 2019年9月10日
Eliciting Knowledge from Experts:Automatic Transcript Parsing for Cognitive Task Analysis
Junyi Du,He Jiang,Jiaming Shen,Xiang Ren
3+阅读 · 2019年6月26日
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Zihang Dai,Zhilin Yang,Yiming Yang,Jaime Carbonell,Quoc V. Le,Ruslan Salakhutdinov
10+阅读 · 2019年6月2日
Ofir Press,Noah A. Smith
3+阅读 · 2018年10月31日
Philip Schulz,Wilker Aziz,Trevor Cohn
5+阅读 · 2018年5月28日
Maha Elbayad,Laurent Besacier,Jakob Verbeek
7+阅读 · 2018年5月14日
Kaisheng Yao,Trevor Cohn,Katerina Vylomova,Kevin Duh,Chris Dyer
4+阅读 · 2015年8月25日
Top