亚马逊首席科学家MXNet作者李沐开讲: 伯克利2019深度学习课程,不可错过

2018 年 12 月 23 日 专知

【导读】上个月, MXNet 作者李沐大神、Aston Zhang 等人所著的交互式书籍《动手学深度学习》推出了在线预览版,面向在校学生、工程师和研究人员,旨在帮助读者从入门到深入、动手学习深度学习,即使是零基础的读者也完全适用。近日,李沐和他在CMU的导师Alex Smola计划在加州大学伯克利分校开设《深度学习》课程,动手学深度学习,是想深入学习DL不可多得的一门课程。

此外,专知将在2019年1月份开设《深度学习:算法到实战》课程,欢迎关注学习!

专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授!

最新版《动手学深度学习》下载:

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“D2LZH” 就可以获取笔《动手学深度学习》pdf下载链接~




《深度学习》课程介绍

课程网址

http://courses.diveintodeeplearning.org/berkeley-stat-157/

https://github.com/diveintodeeplearning/d2l-en


简介

本课程提供深度学习的实质介绍,包括理论动机和如何在实践中实施。作为课程的一部分,我们将介绍多层感知器、反向传播、自动微分和随机梯度下降。此外,我们还介绍了用于图像处理的卷积网络,从简单的LeNet开始,到用于高精度模型的ResNet等最新的体系结构。其次,我们讨论了序列模型和递归网络,如LSTMs、GRU和注意机制。在整个课程中,我们强调高效的实现、优化和可伸缩性,例如对多个gpu和多台机器。本课程的目标是提供一个良好的理解和能力,以建立现代非参数估计。整个课程以Jupyter笔记本为基础,让学生快速获得经验。支持材料可以在https://diveintodeeplearning.org找到。


预先要求

Python编程(CS 61a或CS/STAT C8和CS 88)、线性代数(MATH 54、STAT 89A或EE 16A)、概率(STAT 134、STAT 140或EE 126)和统计(STAT 20、STAT 135或CS/STAT C100)是非常必要的。我们将尽量使这个类自包含。这是一个需要动手编程的类。


课程形式

本课程由两个单元组成,每单元90分钟,由教师授课,外加教师和助教的答疑时间。评估是基于期中考试(20%),家庭作业(30%)和研究项目(50%),这将代替期末考试。作为这门课的一部分,你们将从事与论文前的研究类似的工作。


课程时间安排

  • 1/29/2019

  • 2/5/2019

  • 2/12/2019

  • 2/19/2019

  • 2/26/2019

  • 3/12/2019

  • 4/2/2019

  • 4/9/2019

  • 4/16/2019

  • 4/30/2019


开源中文书《动手学深度学习》最新版

这本书是亚马逊 MXNet 零基础深度学习课程的重要组成部分。课程内容推荐使用 Apache MXNet 的前端工具 Gluon 进行开发,可指导你在动手实践的过程中学会使用简单易读的代码,写出产品级的应用。


值得一提的是,该书以 Jupyter 记事本的形式呈现,读者可以操作其中的代码和超参数来获取及时反馈,以此提高学习效率。


网址:

https://zh.diveintodeeplearning.org/


结构:公式 + 图示 + 代码

本书不仅结合文字、公式和图示来阐明深度学习里常用的模型和算法,还提供代码来演示如何从零开始实现它们,并使用真实数据来提供一个交互式的学习体验。



这三种展示方法能相互补充,很多算法可以通过图示加深对结构的理解,而如上图所示的 LSTM 等算法却需要公式才能理解具体结构。此外,不论是表达式还是图例,它们都不能包含完整的细节,很多具体细节不用代码是展示不出来的。


目录

引言

  • 前言

  • 深度学习简介

  • 如何使用本书

预备知识

  • 获取和运行本书代码

  • 数据操作

  • 自动求梯度

  • 查阅 MXNet 文档

深度学习基础

  • 线性回归

  • 线性回归的从零开始实现

  • 线性回归的 Gluon 实现

  • Softmax 回归

  • 图像分类数据集(Fashion-MNIST)

  • Softmax 回归的从零开始实现

  • Softmax 回归的 Gluon 实现

  • 多层感知机

  • 多层感知机的从零开始实现

  • 多层感知机的 Gluon 实现

  • 模型选择、欠拟合和过拟合

  • 权重衰减

  • 丢弃法

  • 正向传播、反向传播和计算图

  • 数值稳定性和模型初始化

  • 实战 Kaggle 比赛:房价预测

深度学习计算

  • 模型构造

  • 模型参数的访问、初始化和共享

  • 模型参数的延后初始化

  • 自定义层

  • 读取和存储

  • GPU 计算

卷积神经网络

  • 二维卷积层

  • 填充和步幅

  • 多输入通道和多输出通道

  • 池化层

  • 卷积神经网络(LeNet)

  • 深度卷积神经网络(AlexNet)

  • 使用重复元素的网络(VGG)

  • 网络中的网络(NiN)

  • 含并行连结的网络(GoogLeNet)

  • 批量归一化

  • 残差网络(ResNet)

  • 稠密连接网络(DenseNet)

循环神经网络

  • 语言模型

  • 循环神经网络

  • 语言模型数据集(周杰伦专辑歌词)

  • 循环神经网络的从零开始实现

  • 循环神经网络的 Gluon 实现

  • 通过时间反向传播

  • 门控循环单元(GRU)

  • 长短期记忆(LSTM)

  • 深度循环神经网络

  • 双向循环神经网络

优化算法

  • 优化与深度学习

  • 梯度下降和随机梯度下降

  • 小批量随机梯度下降

  • 动量法

  • Adagrad

  • RMSProp

  • Adadelta

  • Adam

计算性能

  • 命令式和符号式混合编程

  • 异步计算

  • 自动并行计算

  • 多 GPU 计算

  • 多 GPU 计算的 Gluon 实现

计算机视觉

  • 图像增广

  • 微调

  • 目标检测和边界框

  • 锚框

  • 多尺度目标检测

  • 目标检测数据集(皮卡丘)

  • 单发多框检测(SSD)

  • 区域卷积神经网络(R-CNN)系列

  • 语义分割和数据集

  • 全卷积网络(FCN)

  • 样式迁移

  • 实战 Kaggle 比赛:图像分类(CIFAR-10)

  • 实战 Kaggle 比赛:狗的品种识别 (ImageNet Dogs)

自然语言处理

  • 词嵌入(word2vec)

  • 近似训练

  • Word2vec 的实现

  • 子词嵌入(fastText)

  • 全局向量的词嵌入(GloVe)

  • 求近义词和类比词

  • 文本情感分类:使用循环神经网络

  • 文本情感分类:使用卷积神经网络(textCNN)

  • 编码器—解码器(seq2seq)

  • 束搜索

  • 注意力机制

  • 机器翻译

附录

  • 主要符号一览

  • 数学基础

  • 使用 Jupyter 笔记本

  • 使用 AWS 运行代码

  • GPU 购买指南

  • 如何为本书贡献

  • gluonbook 包索引


最新版《动手学深度学习》下载:

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“D2LZH” 就可以获取笔《动手学深度学习》pdf下载链接~

-END-

专 · 知

   专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授!


请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群, 咨询《深度学习:算法到实战》等~

欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
点赞 0
Top