CMU2017年秋季课程:深度学习——Ruslan Salakhutdinov主讲(附PPT下载)

【导读】本文是对美国卡耐基梅隆大学(CMU)2017年秋季课程——深度学习的介绍,CMU一直走在深度学习领域的前列,虽然该课程是2017年秋季开课的,但是其关于深度学习的讲解确实是非常经典的。主讲老师是CMU副教授Ruslan Salakhutdinov,课程几乎涵盖了深度学习所有的基础内容:图模型、线性模型、自编码器、学习和推理、蒙特卡洛方法、深度生成模型、生成对抗网络等。总之,该课程是非常系统和完善的深度学习系列课程,绝对是读者入门和进一步深刻理解深度学习的不二之选。专知内容组编辑整理。

授课老师 Ruslan Salakhutdinov个人主页

Ruslan Salakhutdinov是来自卡内基梅隆大学(CMU的副教授,2016年被任命为苹果首任AI总监。从整个神经网络和深度学习的历史看,最重要的拐点是2006年7月,Geoffrey Hinton为第一作者的两篇论文《A Fast Learning Algorithm for Deep Belief Nets》和《Reducing the Dimensionality of Data with Neural Networks》的发布,前者首次提出了layerwise greedy pretraining的方法,开创了深度学习方向;后者提出通过最小化函数集对训练集数据的重构误差,自适应地编解码训练数据的算法deep autoencoder,作为非线性降维方法在图像和文本降维实验中明显优于传统方法,证明了深度学习方法的正确性。正是这两篇论文引起了整个学术界对深度学习的兴趣,才有了近十年来深度学习研究的突飞猛进和突破。而Ruslan Salakhutdinov,就是深度学习历史上最重要的标志性论文之一、发布在Nature杂志上的那篇《Reducing the Dimensionality of Data with Neural Networks》的第二作者。此时的他不过是刚刚进入Geoffrey Hinton门下不久的一名博士生(Ruslan Salakhutdinov于2009年获得博士学位),但并不影响其在深度学习领域中的辈分。

Ruslan Salakhutdinov对人工智能的贡献还在于学习深度生成模型的研究上。2007年前后,Ruslan Salakhutdinov与Geoffrey Hinton提出了一种在前馈神经网络中进行有效训练的算法。这一算法将网络中的每一层视为无监督的受限玻尔兹曼机,再使用有监督的反向传播算法进行调优(Ruslan Salakhutdinov的博士论文就是这方面的内容)。在获得博士学位后,Ruslan又花了两年时间从事博士后研究工作,从2011年起在多伦多大学担任助理教授,今年2月,他从多伦多大学转到卡内基梅隆大学,并实现了从助理教授到副教授的跨越。

从2006年的标志性论文发表到现在为止的十年中,Ruslan Salakhutdinov的研究成果层出不穷。截止本文发布之日,Ruslan Salakhutdinov的论文总引用数量达到31049次,其中近5年的引用次数为27568,这也说明了在其一直活跃在深度学习的前沿领域。


CMU2017年秋季课程:深度学习


深度学习



 

  • 课程:



本课程包含了深度学习的理论和方法,涵盖的议题包括:

 

  • 介绍



  • 背景:线性代数,分布,概率规则。

  • 回归,分类。

  • 前馈神经网络,反向传播算法,流行的优化和正则化技术介绍。

  • 应用于计算机视觉的卷积模型。


  • 深度学习概要


 

  • 图模型:有向和无向。

  • 线性因子模型,PPCA,FA,ICA,稀疏编码及其扩展。

  • 自动编码器及其扩展。 基于能源的模式,RBMs。

  • 蒙特卡罗方法。

  • 学习和推理:对比散度(CD),随机最大似然估计,分数匹配,比率匹配,伪随机估计,噪声对比估计。

  • 退火重采样,分区函数估计。

  • 深生成模型:深信念网络,深玻尔兹曼机器,Helmholtz机,变分自编码器,重要性加权自编码器,唤醒-睡眠算法。

  • 生成对抗网络(GAN),生成矩匹配网络,神经自回归密度估计(NADE)。


  • 其他内容


 

  • 更多关于深度网络的正则化和优化。

  • 序列建模:递归神经网络,序列-序列,注意力模型。

  • 深化强化学习。


参考图书



 

  • Goodfellow和Yoshua Bengio和Aaron Courville(2016)深度学习书籍

    http://www.deeplearningbook.org/


  • Christopher M. Bishop(2006)的模式识别与机器学习

    https://www.microsoft.com/en-us/research/people/cmbishop/?from=http%3A%2F%2Fresearch.microsoft.com%2Fen-us%2Fum%2Fpeople%2Fcmbishop%2Fprml%2Findex.htm

 

  • 你还可以参考其他书籍



  • 机器学习:从概率的视角理解机器学习,Kevin P. Murphy 


  • 统计学习要素:Trevor Hastie,Robert Tibshirani,Jerome Friedman(2009)

    https://statistics.stanford.edu/~tibs/ElemStatLearn


  • 信息论,推理和学习算法:David MacKay(2003)

    http://www.inference.org.uk/mackay/itila/book.html


Ruslan Salakhutdinov个人主页:

http://www.cs.cmu.edu/~rsalakhu/index.html


请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“CMUDL” 就可以获取 课程全部PPT下载链接~


第一次课PPT详细内容



 

-END-

专 · 知

人工智能领域主题知识资料查看获取【专知荟萃】人工智能领域26个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)

同时欢迎各位用户进行专知投稿,详情请点击

诚邀】专知诚挚邀请各位专业者加入AI创作者计划了解使用专知!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请扫一扫如下二维码关注我们的公众号,获取人工智能的专业知识!

请加专知小助手微信(Rancho_Fang),加入专知主题人工智能群交流!

点击“阅读原文”,使用专知

展开全文
Top
微信扫码咨询专知VIP会员