报告主题: From System 1 Deep Learning to System 2 Deep Learning

报告简介: 早期,深度学习的进展主要集中在对静态数据集的学习上,主要用于各类感知任务,这些任务大都依靠人类的直觉,可以在无意识的情况下完成,可称为第一代系统需求。然而,最近几年,随着研究方向的转变和一些新工具的出现诸如soft-attention和深度强化学习领域的进展,它们为深度学习架构和训练框架的进一步发展,开启了新的大门,这种深度架构和训练框架有助于解决第二代系统需求(这种系统任务需要人类有意识的去完成),如在自然语言处理和其他应用当中的推理、规划、因果关系捕获和系统归纳等。从第一代系统的深度学习,扩展到第二代系统的任务之中,对于完成之前挖掘高层次抽象特征的目标是非常重要的,因为我们认为第二代系统需求,将会对表征学习提出更高的要求,以发掘出某种人类可以用语言进行巧妙处理的高级内容。我们认为,为了达到这个目标,soft-attention机制是关键因素,它每次都关注其中某几个概念并进行计算,因为意识先验及其相关的假设中,许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。最后,报告介绍了元学习,这种先验意识和代理视角下的表征学习,会更加有助于以新颖的方式,支持强大的合成泛化形式。

嘉宾介绍: Yoshua Bengio是蒙特利尔大学计算机科学与运筹学系的教授,Mila和IVADO的科学总监和创始人,2018年图灵奖获得者,加拿大统计学习算法研究主席以及加拿大AI CIFAR主席。 他开创了深度学习的先河,并在2018年每天获得全球所有计算机科学家中最多的引用。 他是加拿大勋章的官员,加拿大皇家学会的成员,并于2017年被授予基拉姆奖,玛丽·维克多奖和年度无线电加拿大科学家,并且是NeurIPS顾问的成员, ICLR会议的董事会和联合创始人,以及CIFAR“机器和大脑学习”计划的程序总监。 他的目标是帮助发现通过学习产生智力的原理,并促进AI的发展以造福所有人。

成为VIP会员查看完整内容
104

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
125+阅读 · 2020年7月10日
元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
下载 | 193页无监督深度学习PPT教程
机器学习算法与Python学习
5+阅读 · 2018年12月5日
牛津教授揭秘AI革命及其前沿进展
人工智能学家
4+阅读 · 2018年10月11日
深度学习(deep learning)发展史
机器学习算法与Python学习
12+阅读 · 2018年3月19日
深度学习综述:Hinton、Yann LeCun和Bengio经典重读
人工智能学家
17+阅读 · 2018年2月10日
A Survey on Bayesian Deep Learning
Arxiv
59+阅读 · 2020年7月2日
Arxiv
20+阅读 · 2019年11月24日
Arxiv
26+阅读 · 2019年3月5日
Arxiv
53+阅读 · 2018年12月11日
Deep Reinforcement Learning: An Overview
Arxiv
17+阅读 · 2018年11月26日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Arxiv
15+阅读 · 2018年4月3日
VIP会员
相关VIP内容
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
125+阅读 · 2020年7月10日
元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
相关论文
A Survey on Bayesian Deep Learning
Arxiv
59+阅读 · 2020年7月2日
Arxiv
20+阅读 · 2019年11月24日
Arxiv
26+阅读 · 2019年3月5日
Arxiv
53+阅读 · 2018年12月11日
Deep Reinforcement Learning: An Overview
Arxiv
17+阅读 · 2018年11月26日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Arxiv
15+阅读 · 2018年4月3日
微信扫码咨询专知VIP会员