【导读】目前深度学习在学术界和工业界都得到了广泛的关注和应用。虽然TensorFlow、PyTorch等深度学习框架大大降低了深度学习模型实现的门槛,深度学习的应用仍离不开背后数学基础的指导。本文介绍UAI 2019的教程《深度学习数学基础》。
虽然TensorFlow、PyTorch等深度学习框架大大降低了深度学习模型实现的门槛,让研究者或开发者可以像搭积木一样通过组合和尝试(调参)来研发新的深度学习模型,目前深度学习的发展仍离不开背后数学基础的指导。机器学习中的一些数学理论,如泛化误差、VC维等对深度模型的构建依然有着非常重要的指导意义。例如现有的一些深度网络容易受到对抗样本的攻击,从工程角度来说,这些模型可能在大部分数据上能够达到满意的指标,但是人们可以利用这些网络理论上的漏洞和缺陷对其进行攻击,对自动驾驶等系统产生严重的影响。
在人工智能不确定性会议(UAI)2019中,特拉维夫大学的教程《MATHEMATICS OF DEEP LEARNING》(《深度学习数学基础》)介绍了与深度学习相关的一些数学基础。该PPT首先介绍了目前一些成功的基于深度学习的应用,如疾病诊断、自动翻译、视频分类、图像降噪等。但作者认为,目前数学理论并不能很好地解释为什么深度学习可以达到如此好的效果。一些数学理论尝试解释深度网络的工作原理,例如深度网络需要多少训练数据、池化层的作用是什么、网络深度的作用等。后面,作者着重介绍了泛化误差、对抗攻击、输入边界、数据和模型的不变性等理论。
请关注专知公众号(点击上方蓝色专知关注)
后台回复“UAIMDL” 就可以获取《深度学习数学基础》完整版PPT下载链接~
附部分预览:
参考链接:
http://auai.org/uai2019/tutorials.php#tutorial4
-END-
专 · 知
专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!
请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~
专知《深度学习:算法到实战》课程全部完成!560+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!
点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程