MIT课程：深度学习背后的科学—架起理论与实践的桥梁

【导读】深度学习最近的成就很大程度上基于经验，不过，学者们总是在试图在理论层面上解释发展背后的原因。在MIT新推出的课程《Science of Deep Learning: Bridging Theory and Practice》中，我们将从讲师 Andrew Ilyas、Dimitris Emmanouil Zampetakis 等人那里，试图建立神经网络背后的理论体系，使深度学习从单纯的工程实践技术上升的科学研究层面。

6.883深度学习科学：理论与实践的桥梁——2018年春季

最近在深度学习方面的进展使我们能够在机器学习、计算机视觉和机器人技术的许多任务上取得巨大进展。然而，我们仍然无法理解这种成功的根源，以及深度学习的作用原理。

本课程旨在涵盖深度学习最新发展的一些基本概念和现象。我们将探讨神经网络训练的优化问题；深度学习模型的泛化；生成模型，如生成对抗网络(GANs)和变分自编码器(VAEs);机器学习的对抗性；深度学习模型的可解释性、鲁棒性和保密性；(深度)强化学习。

课程内容包括深度学习领域的一些最新进展，以及与此相关的最优化、学习理论、统计学和博弈论等主题。所提供的材料将为随后的课堂讨论提供一个起点，讨论所提出的最新技术的优缺点。

课程计划的目标是解决其中一些已确定的缺点。重点将是通过经验评估和理论建模的结合，建立对深度学习的基本性理解。这些项目旨在作为ML会议后续出版物的起点。

课程目录

• 绪论及课程概述

• (Deep)ML基础知识:

• 连续优化方法综述

• 泛化理论概述

• 深度学习中的优化

• 深度学习中的泛化

• 了解SGD

• (Deep)生成模型:

• 生成模型概述

•  关于GAN动力学的博弈论观点

• GAN真的是分布式学习者吗?

• 分布测试

• 鲁棒性ML:

• 对抗样本与误分类攻击1

• 对抗样本与误分类攻击2

• 逆向鲁棒泛化

• 数据中毒、模型窃取、差异隐私

• 健壮的统计数据

• (Deep)强化学习:

• 强化学习导论

• 蒙特卡罗树搜索和AlphaGo

• Policy梯度与Actor-Critic方法

• 强化学习的探索

• 深度强化学习研究的挑战

• ML的社会影响:

• ML中的公平性

• ML可解释性

• ML中的因果关系

• 人工智能安全和AI Alignment

参考链接：

https://people.csail.mit.edu/madry/6.883/

 请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“深度学习理论课程” 就可以获取最新课程讲课PPT的下载链接~ 

附第一节课PPT

专 · 知

专知《深度学习:算法到实战》课程全部完成！500+位同学在学习，现在报名，限时优惠！网易云课堂人工智能畅销榜首位！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！

请加专知小助手微信（扫一扫如下二维码添加），加入专知人工智能主题群，咨询《深度学习:算法到实战》课程，咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程