Memory-based neural networks model temporal data by leveraging an ability to remember information for long periods. It is unclear, however, whether they also have an ability to perform complex relational reasoning with the information they remember. Here, we first confirm our intuitions that standard memory architectures may struggle at tasks that heavily involve an understanding of the ways in which entities are connected -- i.e., tasks involving relational reasoning. We then improve upon these deficits by using a new memory module -- a \textit{Relational Memory Core} (RMC) -- which employs multi-head dot product attention to allow memories to interact. Finally, we test the RMC on a suite of tasks that may profit from more capable relational reasoning across sequential information, and show large gains in RL domains (e.g. Mini PacMan), program evaluation, and language modeling, achieving state-of-the-art results on the WikiText-103, Project Gutenberg, and GigaWord datasets.


翻译:以内存为基础的神经网络通过利用长期记忆信息的能力来模拟时间数据。 但是,还不清楚它们是否也有能力用它们记得的信息来进行复杂的关系推理。 在这里,我们首先确认我们的直觉,标准记忆结构可能会在大量涉及理解实体关联方式的任务上挣扎 -- -- 即涉及关系推理的任务。然后我们通过使用一个新的记忆模块 -- -- \ textit{关系内存核心}(RMC) -- -- 利用多头点产品关注来让记忆互动。最后,我们测试一套任务,这一系列任务可能受益于更有能力的相继信息关联推理,并显示在RL领域(如小太平洋人)、方案评估和语言建模方面的巨大收益,从而在WikitText-103、Gutenberg项目和GigaWord数据集上取得最新成果。

8
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
30+阅读 · 2020年4月15日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
76+阅读 · 2020年2月3日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
Simple Recurrent Unit For Sentence Classification
哈工大SCIR
6+阅读 · 2017年11月29日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
【深度学习基础】4. Recurrent Neural Networks
微信AI
16+阅读 · 2017年7月19日
已删除
Arxiv
31+阅读 · 2020年3月23日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
5+阅读 · 2018年1月16日
Arxiv
5+阅读 · 2017年9月8日
VIP会员
Top
微信扫码咨询专知VIP会员