《深度无监督学习》伯克利Pieter Abbeel新开课程(含视频PPT)

2019 年 2 月 19 日 专知
《深度无监督学习》伯克利Pieter Abbeel新开课程(含视频PPT)

【导读】Pieter Abbeel 是加州大学伯克利分校的教授,伯克利机器人学习实验室的主任,其新开课程CS294深度无监督学习包含两个领域,分别是生成模型和自监督学习。这个15周的课程包含视频PPT能资源,有助于读者对深度学习无监督的理解。



老师介绍


Pieter Abbeel,加州大学伯克利分校教授、机器人学习实验室主任,伯克利人工智能研究(BAIR)实验室联合主任。


Pieter Abbeel是机器人和强化学习领域的大牛。Pieter Abbeel 2008年从斯坦福大学获得博士学位,师从百度前首席科学家 Andrew Ng(吴恩达),毕业后在UC Berkeley任教。


2016~2017年,Pieter Abbeel加入Open AI,任研究科学家。现在则是Open AI顾问。

 

Pieter Abbeel还是两家AI公司的创始人,Gradescope和covariant.ai。Gradescope开发为家庭作业、课题研究、试卷等打分的AI系统;covariant.ai开发机器人自动化的AI系统,在制造/仓储/电子商务/物流等领域应用。

 

Pieter Abbeel 的研究重点特别集中于如何让机器人向人类学习(学徒学习),如何让机器人通过自己的试错过程学习(强化学习),以及如何通过从learning-to-learn(元学习)过程中加快技能获取。他开发的机器人已经学会了先进的直升机特技飞行、打结、基本装配、叠衣服、移动、以及基于视觉的机器人操作。


其他三位助教Peter Chen、Rocky Duan和Tianhao Zhang三人均是华人,且目前都是Abbeel在伯克利的博士生。


CS294-158 深度无监督学习 2019年春

 

关于:本课程将涵盖深度学习中不需要标注数据的两个领域:深度生成模型和自监督学习。生成模型的最新进展使得对自然图像、音频波形和文本语料库等高维原始数据进行真实建模成为可能。自监督学习的进步已经开始缩小监督表示学习和非监督表示学习之间的差距,本课程将涵盖这些主题的理论基础以及它们的新应用。

 

Week 1

第1a讲: 课程安排

第1b讲: 课程动机

第1c讲: 基于似然的模型 Part I: 自回归模型

 

Week 2

第2a讲: 基于似然的模型 Part I: 自回归模型 (ctd) 

第2b讲: 无损压缩(Lossless Compression)

第2c讲: 基于似然的模型 Part II: 流模型

 

Week 3

第3a讲:基于似然的模型 Part II:流模型(ctd)

第3b讲:隐变量模型

 

Week 4

第4a讲:隐变量模型(ctd)(与第3周ppt相同)

第4b讲:比特编码/位反编码

 

Week 5

第5讲:隐式模型/生成对抗网络

 

Week 6

第六讲:非生成性表征学习

 

Week 7

第7a讲:非生成表征学习(ctd)

第7b讲:半监督学习

 

Week 8

第8讲:表征学习+其他问题

 

Week 9

第9a讲:无监督分布对齐

第9b讲:客座讲座:Ilya Sutskever

 

Week 10

第10a讲:无监督分配对齐(ctd)

第10b讲:客座讲座:Durk Kingma

 

Week 11

第11讲:语言模型(Alec Radford)

 

Week 12

第12a讲:无监督的表征学习

第12b讲:客座讲座Alyosha Efros

 

Week 13

第13a讲:待定(TBD)

第13b讲:客座讲座Aaron van den Oord

 

Week 14

没有课

 

Week 15

期末项目报告


课程PPT:

https://drive.google.com/file/d/10j_XbM-NUq0RiQz1wZckA0d23ppOS2EH/view

课程视频连接:

https://youtu.be/zNmvH6OXDpk


【深度无监督学习最新PPT下载】

 请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“深度无监督学习” 就可以获取课程最新PPT的下载链接~ 


附第一课视频和PPT




参考链接:

https://sites.google.com/view/berkeley-cs294-158-sp19/home

-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!480+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询《深度学习:算法到实战》课程,咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
17

相关内容

Pieter Abbeel是加州大学伯克利分校电子工程和计算机科学教授,伯克利机器人学习实验室主任和伯克利AI研究实验室联合主任。

【导读】慕尼黑大学开设的《高级深度学习》技术课程,重点介绍计算机视觉的前沿深度学习技术。最新一期介绍了《生成式对抗网络》进展,讲述了GAN的知识体系,值得关注。

成为VIP会员查看完整内容
0
128

【导读】Pieter Abbeel 是加州大学伯克利分校的教授,伯克利机器人学习实验室的主任,其新开课程CS294深度无监督学习包含两个领域,分别是生成模型和自监督学习。这个15周的课程包含视频PPT能资源,有助于读者对深度学习无监督的理解。最新一期是生成式对抗网络Generative Adversarial Networks的课程,共有257页ppt,包括GAN, DC GAN, ImprovedGAN, WGAN, WGAN-GP, Progr.GAN, SN-GAN, SAGAN, BigGAN(-Deep), StyleGAN-v1,2, VIB-GAN, GANs as Energy Models,非常值得关注!

目录内容:

  • 隐式模型的动机和定义
  • 原始GAN (Goodfellow et al, 2014)
  • 评估: Parzen、Inception、Frechet
  • 一些理论: 贝叶斯最优鉴别器; Jensen-Shannon散度; 模式崩溃; 避免饱和
  • GAN进展
  • DC GAN (Radford et al, 2016)
  • 改进GANs训练(Salimans et al, 2016)
  • WGAN, WGAN- gp, Progressive GAN, SN-GAN, SAGAN
  • BigGAN, BigGAN- deep, StyleGAN, StyleGAN-v2, VIB-GAN
  • 创意条件GAN
  • GANs与申述
  • GANs作为能量模型
  • GANs与最优传输,隐式似然模型,矩匹配
  • 对抗性损失的其他用途:转移学习、公平
  • GANs和模仿学习
成为VIP会员查看完整内容
0
138

报告简介: 深度强化学习与元学习是当前研究热点。加州大学UC Berkeley Pieter Abbeel教授最新在卡内基梅隆大学CMU中做了演讲关于深度强化学习在机器人的应用,《Deep Learning to learn》,是了解深度学习在机器人应用研究进展的很好报告。

嘉宾介绍: Pieter Abbeel,加州大学伯克利分校教授、机器人学习实验室主任,伯克利人工智能研究(BAIR)实验室联合主任。Pieter Abbeel是机器人和强化学习领域的大牛。Pieter Abbeel 2008年从斯坦福大学获得博士学位,师从百度前首席科学家 Andrew Ng(吴恩达),毕业后在UC Berkeley任教。Pieter Abbeel还是两家AI公司的创始人,Gradescope和covariant.ai。Gradescope开发为家庭作业、课题研究、试卷等打分的AI系统;covariant.ai开发机器人自动化的AI系统,在制造/仓储/电子商务/物流等领域应用。 Pieter Abbeel 的研究重点特别集中于如何让机器人向人类学习(学徒学习),如何让机器人通过自己的试错过程学习(强化学习),以及如何通过从learning-to-learn(元学习)过程中加快技能获取。他开发的机器人已经学会了先进的直升机特技飞行、打结、基本装配、叠衣服、移动、以及基于视觉的机器人操作。

下载链接: 链接:https://pan.baidu.com/s/1aFOE18rk-icczXBYJERWow 提取码:8ixa

成为VIP会员查看完整内容
0
28

本课程将涵盖深度学习中不需要标注数据的两个领域:深度生成模型和自监督学习。生成模型的最新进展使得对自然图像、音频波形和文本语料库等高维原始数据进行真实建模成为可能。自监督学习的进步已经开始缩小监督表示学习和非监督表示学习之间的差距,本课程将涵盖这些主题的理论基础以及它们的新应用。

课程目录

  • 第1a讲: 课程安排;
  • 第1b讲: 课程动机;
  • 第1c讲: 基于似然的模型 Part I: 自回归模型
  • 第2a讲: 基于似然的模型 Part I: 自回归模型 (ctd)
  • 第2b讲: 无损压缩(Lossless Compression)
  • 第2c讲: 基于似然的模型 Part II: 流模型
  • 第3a讲:基于似然的模型 Part II:流模型(ctd)
  • 第3b讲:隐变量模型
  • 第4a讲:隐变量模型(ctd)(与第3周ppt相同)
  • 第5讲:隐式模型/生成对抗网络
  • 第六讲:非生成性表征学
  • 第7a讲:非生成表征学习(ctd)
  • 第7b讲:半监督学习
  • 第8讲:表征学习+其他问题
  • 第9a讲:无监督分布对齐
  • 第9b讲:客座讲座:Ilya Sutskever
  • 第10a讲:无监督分配对齐(ctd)
  • 第10b讲:客座讲座:Durk Kingma
  • 第11讲:语言模型(Alec Radford)
  • 第12a讲:无监督的表征学习
  • 第12b讲:客座讲座Alyosha Efros
  • 第13a讲:待定(TBD)
  • 第13b讲:客座讲座Aaron van den Oord
成为VIP会员查看完整内容
Lecture 5c+6a - Implicit Models (GANs).pdf
1a-4b_merged.pdf
6b-11_merged .pdf
0
26

本文为大家带来了一份斯坦福大学的最新课程CS236——深度生成模型,目前更新到第一课,感兴趣的同学可以多多关注,跟随学习。

生成式模型被广泛应用到人工智能和机器学习的诸多领域当中。最近,通过结合随机梯度下降的优化方法,使用深度神经网络参数化这些模型所取得的进展,已经使得对于包括图像,文本和语音在内的复杂,高维度数据建模成为可能。在本次课程中,我们将要学习深度生成式模型的概率基础和学习算法,包括自动编码器(AE)的各种变体,生成式对抗网络,自回归模型和标准化流模型(normalizing flow models)。本课程还将讨论从深度生成式模型中获益的应用领域,例如计算机视觉,语音,自然语言处理,图挖掘和强化学习。

成为VIP会员查看完整内容
0
38

编写机器人程序仍然是出了名的困难。让机器人具备学习的能力,就可以绕过那些通常需要耗费大量时间来完成特定任务的编程工作。这个演讲将描述最近在深度强化学习(机器人通过自己的尝试和错误学习)、学徒学习(机器人通过观察人学习)和元学习(机器人学习学习)方面的进展。这项工作使机器人在操作、移动和飞行方面有了新的能力,这些领域的进步都是基于相同的方法。

https://www.youtube.com/watch?v=WGza-jN4CZs

成为VIP会员查看完整内容
0
27
小贴士
相关VIP内容
专知会员服务
110+阅读 · 2020年6月28日
相关论文
Object-centric Forward Modeling for Model Predictive Control
Yufei Ye,Dhiraj Gandhi,Abhinav Gupta,Shubham Tulsiani
4+阅读 · 2019年10月8日
Kazuki Irie,Albert Zeyer,Ralf Schlüter,Hermann Ney
5+阅读 · 2019年7月11日
Antreas Antoniou,Harrison Edwards,Amos Storkey
19+阅读 · 2019年3月5日
Ke Sun,Bin Xiao,Dong Liu,Jingdong Wang
5+阅读 · 2019年2月25日
Generalization and Regularization in DQN
Jesse Farebrother,Marlos C. Machado,Michael Bowling
5+阅读 · 2019年1月30日
Conditional BERT Contextual Augmentation
Xing Wu,Shangwen Lv,Liangjun Zang,Jizhong Han,Songlin Hu
8+阅读 · 2018年12月17日
Sudeep Pillai,Rares Ambrus,Adrien Gaidon
5+阅读 · 2018年10月3日
Seyed Sajad Mousavi,Michael Schukat,Enda Howley
13+阅读 · 2018年6月23日
Riccardo Volpi,Pietro Morerio,Silvio Savarese,Vittorio Murino
3+阅读 · 2018年5月4日
Ju Dai,Pingping Zhang,Huchuan Lu,Hongyu Wang
5+阅读 · 2018年2月22日
Top
微信扫码咨询专知VIP会员