智能需要记忆。没有记忆,人类就无法完成各种重要的任务,比如读小说、玩游戏或解决数学问题。机器学习的最终目标是开发出像人类一样自动学习和行动的智能系统,因此机器的记忆构建是必然的。人工神经网络通过权值将计算单元连接起来,对大脑中的神经元和突触进行建模,这是一种典型的类似于记忆结构的机器学习算法。他们的后代拥有更复杂的建模技术(即深度学习),已经成功地应用于许多实际问题,并证明了记忆在机器系统学习过程中的重要性。近年来,深度学习中记忆建模的研究主要围绕外部记忆结构展开,受到计算图灵模型和生物神经元系统的启发。注意力机制的产生是为了支持外部记忆的获取和保留操作。尽管缺乏理论基础,这些方法已经显示出帮助机器系统达到更高智能水平的希望。本文的目的是提高对深度学习中记忆和注意力的认识。它的贡献包括: (i) 呈现记忆分类的集合,(ii)构建支持多个控制和记忆单元的新的记忆增强神经网络(MANN), (iii)通过序列生成模型中的记忆引入可变性,(iv)在基于槽的记忆网络中寻找最佳的写操作以最大限度地提高记忆能力;(v)通过神经网络的一种新型外部存储器——神经存储程序存储器来模拟通用图灵机。

目录内容: 1 Introduction 2 Taxonomy for Memory in RNNs 3 Memory-augmented Neural Networks 4 Memory Models for Multiple Processes 5 Variational Memory in Generative Models 6 Optimal Writing Memory 7 Neural Stored-Program Memory 8 Conclusions

在这篇论文中,我们介绍了神经网络的几种记忆类型,特别是递归神经网络(RNNs)。我们强调记忆作为RNN的外部存储的概念,其中rnn可以学习读写外部记忆,以支持其工作记忆(第2章)。我们回顾了解决训练RNN困难的进展,如门控和注意机制,特别是基于槽的MANN,这是本文第三章提出的新模型的主要内容。我们的主要贡献有四方面。首先, 我们MANN作为一个多进程多视点模型来处理复杂的问题,如sequence-to-sequence映射和多视角序列学习(第四章)。我们进一步扩展MANNs作为离散序列的模型生成会话数据可变性和一致性要求(第5章)。我们也解释到内存中最后,我们介绍了一类新的MANN,它遵循存储程序存储原理,可以通过切换控制器的程序来执行不同的功能。

成为VIP会员查看完整内容
65

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
45+阅读 · 2021年9月3日
专知会员服务
33+阅读 · 2021年7月19日
专知会员服务
103+阅读 · 2021年7月17日
最新《注意力机制与深度学习结合》综述论文
专知会员服务
75+阅读 · 2021年6月17日
专知会员服务
78+阅读 · 2020年12月18日
专知会员服务
131+阅读 · 2020年8月24日
利用神经网络进行序列到序列转换的学习
AI研习社
12+阅读 · 2019年4月26日
【学生论坛】详解记忆增强神经网络
中国科学院自动化研究所
104+阅读 · 2018年11月15日
SFFAI 分享 | 王克欣 : 详解记忆增强神经网络
人工智能前沿讲习班
24+阅读 · 2018年10月26日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
深度神经网络机器翻译
机器学习研究会
5+阅读 · 2017年10月16日
Bayesian Attention Belief Networks
Arxiv
9+阅读 · 2021年6月9日
Arxiv
20+阅读 · 2019年9月7日
Sparse Sequence-to-Sequence Models
Arxiv
5+阅读 · 2019年5月14日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
9+阅读 · 2018年2月4日
Arxiv
7+阅读 · 2018年1月10日
Arxiv
4+阅读 · 2017年1月2日
Arxiv
3+阅读 · 2015年11月29日
VIP会员
相关VIP内容
专知会员服务
45+阅读 · 2021年9月3日
专知会员服务
33+阅读 · 2021年7月19日
专知会员服务
103+阅读 · 2021年7月17日
最新《注意力机制与深度学习结合》综述论文
专知会员服务
75+阅读 · 2021年6月17日
专知会员服务
78+阅读 · 2020年12月18日
专知会员服务
131+阅读 · 2020年8月24日
相关资讯
利用神经网络进行序列到序列转换的学习
AI研习社
12+阅读 · 2019年4月26日
【学生论坛】详解记忆增强神经网络
中国科学院自动化研究所
104+阅读 · 2018年11月15日
SFFAI 分享 | 王克欣 : 详解记忆增强神经网络
人工智能前沿讲习班
24+阅读 · 2018年10月26日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
深度神经网络机器翻译
机器学习研究会
5+阅读 · 2017年10月16日
相关论文
Bayesian Attention Belief Networks
Arxiv
9+阅读 · 2021年6月9日
Arxiv
20+阅读 · 2019年9月7日
Sparse Sequence-to-Sequence Models
Arxiv
5+阅读 · 2019年5月14日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
9+阅读 · 2018年2月4日
Arxiv
7+阅读 · 2018年1月10日
Arxiv
4+阅读 · 2017年1月2日
Arxiv
3+阅读 · 2015年11月29日
微信扫码咨询专知VIP会员