Ruslan是CMU UPMC教授,他是深度学习的大牛,他的《深度学习基础:监督学习 & 深度生成模型》Deep Learning Essentials-Supervised Learning;Deep Learning Essentials-Deep Generative Models,127页ppt,非常值得学习。

授课老师 Ruslan Salakhutdinov个人主页

Ruslan Salakhutdinov是来自卡内基梅隆大学(CMU的UPMC教授,2016年被任命为苹果首任AI总监。从整个神经网络和深度学习的历史看,最重要的拐点是2006年7月,Geoffrey Hinton为第一作者的两篇论文《A Fast Learning Algorithm for Deep Belief Nets》和《Reducing the Dimensionality of Data with Neural Networks》的发布,前者首次提出了layerwise greedy pretraining的方法,开创了深度学习方向;后者提出通过最小化函数集对训练集数据的重构误差,自适应地编解码训练数据的算法deep autoencoder,作为非线性降维方法在图像和文本降维实验中明显优于传统方法,证明了深度学习方法的正确性。正是这两篇论文引起了整个学术界对深度学习的兴趣,才有了近十年来深度学习研究的突飞猛进和突破。而Ruslan Salakhutdinov,就是深度学习历史上最重要的标志性论文之一、发布在Nature杂志上的那篇《Reducing the Dimensionality of Data with Neural Networks》的第二作者。此时的他不过是刚刚进入Geoffrey Hinton门下不久的一名博士生(Ruslan Salakhutdinov于2009年获得博士学位),但并不影响其在深度学习领域中的辈分。

Ruslan Salakhutdinov对人工智能的贡献还在于学习深度生成模型的研究上。2007年前后,Ruslan Salakhutdinov与Geoffrey Hinton提出了一种在前馈神经网络中进行有效训练的算法。这一算法将网络中的每一层视为无监督的受限玻尔兹曼机,再使用有监督的反向传播算法进行调优(Ruslan Salakhutdinov的博士论文就是这方面的内容)。 从2006年的标志性论文发表到现在为止的十年中,Ruslan Salakhutdinov的研究成果层出不穷。截止本文发布之日,Ruslan Salakhutdinov的论文总引用数量达到31049次,其中近5年的引用次数为27568,这也说明了在其一直活跃在深度学习的前沿领域。

成为VIP会员查看完整内容
0
30

相关内容

卡耐基梅隆大学(Carnegie Mellon University)坐落在宾夕法尼亚州的匹兹堡,是一所享誉世界的私立顶级研究型大学,学校面积不大,学科门类不多,但在其所设立的几乎所有专业都居于世界领先水平。卡内基梅隆大学享誉全国的认知心理学、管理和公共关系学、写作和修辞学、应用历史学、哲学和生物科学专业。它的计算机、机器人科学、理学、美术及工业管理都是举世公认的一流专业。

机器学习暑期学校(MLSS)系列开始于2002年,致力于传播统计机器学习和推理的现代方法。今年因新冠疫情在线举行,从6月28号到7月10号讲述了众多机器学习主题。本文推荐来自深度学习大佬Yoshua Bengio教授讲述《深度学习教程》,104页ppt系统性讲述了深度学习基础知识和最新进展,非常干货。

Yoshua Bengio

Yoshua Bengio,蒙特利尔大学教授。Bengio 教授凭《Learning Deep Architectures for AI》、《A neural probabilistic language model》两篇经典之作在内的 300 多篇论文,对深度学习的发展起到了巨大的推动作用,他与 Geoff Hinton、Yann LeCun 两位一起造就了 2006 年始的深度学习复兴,并称深度学习三巨头。Yoshua Bengio 教授于 2017 年获得加拿大总督功勋奖。

Bengio 教授研究人工智能的动力就是发掘它的潜能,而不是对它的恐惧。他的研究成果不仅是如今 AI 热浪的基石,也是加拿大在人工智能时代占据一席领导者位置的重要原因。「要让电脑能像人类那样思考,或者起码能像人类那样理解世界,我们现在离那一步还太远」,Bengio 教授说,「但是人工智能现在的发展已经足以对经济和人类的福祉产生巨大的影响。」

深度学习 AI

深度学习指的是用计算机模拟神经元网络,以此逐渐“学会”各种任务的过程,比如识别图像、理解语音甚或是自己做决策。这项技术的基础是所谓的“人工神经网络”,它是现代人工智能的核心元素。人工神经网络和真实的大脑神经元工作方式并不完全一致,事实上它的理论基础只是普通的数学原理。但是经过训练后的人工神经网络却可以完成很多任务,比如识别照片中的人物和物体,或是在几种主要语言之间互相翻译等等。

成为VIP会员查看完整内容
0
76

【导读】来自加州大学圣地亚哥分校《计算机视觉中的领域自适应》中生成式对抗网络GAN介绍

成为VIP会员查看完整内容
0
76

【导读】深度学习中的优化问题是非常关键的。今年国立台湾大学教授、IEEE Fellow、ACM Fellow、AAAI Fellow,也是大名鼎鼎LIBSVM作者林智仁教授开设了《深度学习优化方法》课程,讲解深度学习涉及到非常难的非凸优化问题,研究了深度学习优化方法的实现,值得跟踪学习。

https://www.csie.ntu.edu.tw/~cjlin/courses/optdl2020/

Chih-Jen Lin,现任台湾大学计算机科学系特聘教授。1993年获国立台湾大学学士学位,1998年获密歇根大学博士学位。他的主要研究领域包括机器学习、数据挖掘和数值优化。他最著名的工作是支持向量机(SVM)数据分类。他的软件LIBSVM是最广泛使用和引用的支持向量机软件包之一。由于他的研究工作,他获得了许多奖项,包括ACM KDD 2010和ACM RecSys 2013最佳论文奖。因为他对机器学习算法和软件设计的贡献,他是IEEE fellow,AAAI fellow,ACM fellow。更多关于他的信息可以在http://www.csie.ntu.edu.tw/~cjlin

目录内容:

  • 正则化线性分类
  • 全连接网络优化问题
  • 卷积神经网络优化问题
成为VIP会员查看完整内容
Optimization Problems for Neural Networks.pdf
0
97

机器学习使用来自各种数学领域的工具。本文件试图提供一个概括性的数学背景,需要在入门类的机器学习,这是在加州大学伯克利分校被称为CS 189/289A。

https://people.eecs.berkeley.edu/~jrs/189/

我们的假设是读者已经熟悉多变量微积分和线性代数的基本概念(达到UCB数学53/54的水平)。我们强调,本文档不是对必备类的替代。这里介绍的大多数主题涉及的很少;我们打算给出一个概述,并指出感兴趣的读者更全面的理解进一步的细节。

请注意,本文档关注的是机器学习的数学背景,而不是机器学习本身。我们将不讨论特定的机器学习模型或算法,除非可能顺便强调一个数学概念的相关性。

这份文件的早期版本不包括校样。我们已经开始在一些证据中加入一些比较简短并且有助于理解的证据。这些证明不是cs189的必要背景,但可以用来加深读者的理解。

成为VIP会员查看完整内容
0
136

课程简介

Geoffrey Hinton《神经网络机器学习》经典课程共有16节,基本涵盖了神经网络相关的各个知识点,包括神经网络、神经元模型、感知机、反向传播算法等,虽然课程中有些算法已经过时,但其中的理论基础仍然在为今天的各类主流算法提供着可靠的支持,对于算法研究者来说,有助于加深对这一领域的理解,并对未来的研究方向起到一定的借鉴意义。

课程讲师:Geoffrey Hinton

讲师简介

Geoffrey Hinton,被称为“神经网络之父”、“深度学习鼻祖”,他曾获得爱丁堡大学人工智能的博士学位,并且为多伦多大学的特聘教授。在2012年,Hinton还获得了加拿大基廉奖(Killam Prizes,有“加拿大诺贝尔奖”之称的国家最高科学奖)。2013年,Hinton 加入谷歌并带领一个AI团队,他将神经网络带入到研究与应用的热潮,将“深度学习”从边缘课题变成了谷歌等互联网巨头仰赖的核心技术,并将反向传播算法应用到神经网络与深度学习。

个人主页

Geoffrey Hinton:https://www.cs.toronto.edu/~hinton/

成为VIP会员查看完整内容
《神经网络机器学习》经典课程PPT.pdf
0
20
小贴士
相关论文
Jingqing Zhang,Yao Zhao,Mohammad Saleh,Peter J. Liu
12+阅读 · 2020年6月2日
Shangwen Lv,Yuechen Wang,Daya Guo,Duyu Tang,Nan Duan,Fuqing Zhu,Ming Gong,Linjun Shou,Ryan Ma,Daxin Jiang,Guihong Cao,Ming Zhou,Songlin Hu
9+阅读 · 2020年4月12日
DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation
Yizhe Zhang,Siqi Sun,Michel Galley,Yen-Chun Chen,Chris Brockett,Xiang Gao,Jianfeng Gao,Jingjing Liu,Bill Dolan
5+阅读 · 2019年11月1日
Ziwei Zhang,Peng Cui,Wenwu Zhu
37+阅读 · 2018年12月11日
Borja Ibarz,Jan Leike,Tobias Pohlen,Geoffrey Irving,Shane Legg,Dario Amodei
4+阅读 · 2018年11月15日
Paraphrase Generation with Deep Reinforcement Learning
Zichao Li,Xin Jiang,Lifeng Shang,Hang Li
3+阅读 · 2018年8月23日
Mahdi Hajibabaei,Dengxin Dai
5+阅读 · 2018年7月22日
Zhanxiang Feng,Jianhuang Lai,Xiaohua Xie
7+阅读 · 2018年3月30日
Jiaxuan You,Rex Ying,Xiang Ren,William L. Hamilton,Jure Leskovec
4+阅读 · 2018年2月24日
Top