深度学习理论基础:优化与泛化,南加州大学D. Lee助理教授报告(57页ppt)

【导读】探究深度学习的理论是当下研究热点。来自南加州大学Jason D. Lee助理教授分享关于深度学习理论理解的报告《Foundations of Deep Learning: SGD, Overparametrization, and Generalization》,共57页PPT,对深度学习的基本要素:优化与泛化做了探索研究,是非常好的参阅资料。

【深度学习基础PPT下载】

 请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“深度学习基础” 就可以获取《深度学习基础PPT》的下载链接~ 



作者介绍


Jason D. Lee是计算机科学系马歇尔商学院(Marshall School of Business)的数据科学与运筹学助理教授,也是机器学习中心(Machine Learning Center)的成员。之前,我是加州大学伯克利分校计算机科学系的博士后,和迈克尔·乔丹一起工作,也和本·雷希特合作过。在那之前,我是一名计算数学工程的博士生,由Trevor Hastie和Jonathan Taylor指导。我获得了杜克大学的数学学士学位。我是加州库比蒂诺人,上过林布鲁克高中。我的研究兴趣包括统计学(统计学习与高维统计)、机器学习、优化。

个人主页:

http://www-bcf.usc.edu/~lee715/index.html


深度学习基础:优化与泛化 

深度神经网络:ReLU


深度学习应用成功包括游戏、计算机视觉、自然语言处理中的任务

本次的报告目的是理论性理解深度学习中的优化和泛化

报告纲要:

  • 挑战

  • Saddlepoints and SGD

  • 过度参数化的景观设计

  • 算法/隐式正则化


理论挑战:两个主要障碍:优化与统计

学习=优化误差+统计误差

非凸问题


-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!470+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!


请加专知小助手微信(扫一扫如下二维码添加),咨询《深度学习:算法到实战》参团限时优惠报名~

欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

展开全文
Top
微信扫码咨询专知VIP会员