题目

【综述:心理学、神经科学和机器学习中的注意力】《Attention in Psychology, Neuroscience, and Machine Learning | Frontiers in Computational Neuroscience》

关键词

注意力机制,机器学习,心理学,神经学,多学科交叉,人工智能

简介

注意力是灵活控制有限的计算资源的重要能力。 它已与神经科学和心理学中的许多其他主题一起研究,包括意识,警惕,显着性,执行控制和学习。 最近,它还被应用于机器学习的多个领域。 生物学注意力研究及其作为增强人工神经网络工具的用途之间的关系并不总是很清楚。 这篇综述首先概述了神经科学和心理学文献中如何将注意力概念化。 然后,它涵盖了机器学习中注意的几个用例,指出了它们在生物学上的对应之处。 最后,探索了可以通过生物学进一步激发人工注意力以生产复杂和整合系统的方式。

作者

Gatsby Computational Neuroscience Unit, Sainsbury Wellcome Centre, University College London, London, United Kingdom。

成为VIP会员查看完整内容
39

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
【干货书】《机器学习导论(第二版)》,348页pdf
专知会员服务
239+阅读 · 2020年6月16日
【2020新书】图机器学习,Graph-Powered Machine Learning
专知会员服务
337+阅读 · 2020年1月27日
机器学习在材料科学中的应用综述,21页pdf
专知会员服务
45+阅读 · 2019年9月24日
【CMU】机器学习导论课程(Introduction to Machine Learning)
专知会员服务
58+阅读 · 2019年8月26日
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
情感计算综述
人工智能学家
31+阅读 · 2019年4月6日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
跨越注意力:Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
独家 | 一文读懂人工神经网络
数据派THU
11+阅读 · 2018年2月1日
Arxiv
22+阅读 · 2019年11月24日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
6+阅读 · 2018年2月28日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
情感计算综述
人工智能学家
31+阅读 · 2019年4月6日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
跨越注意力:Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
独家 | 一文读懂人工神经网络
数据派THU
11+阅读 · 2018年2月1日
相关论文
Arxiv
22+阅读 · 2019年11月24日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
6+阅读 · 2018年2月28日
微信扫码咨询专知VIP会员