Deep learning is usually described as an experiment-driven field under continuous criticizes of lacking theoretical foundations. This problem has been partially fixed by a large volume of literature which has so far not been well organized. This paper reviews and organizes the recent advances in deep learning theory. The literature is categorized in six groups: (1) complexity and capacity-based approaches for analyzing the generalizability of deep learning; (2) stochastic differential equations and their dynamic systems for modelling stochastic gradient descent and its variants, which characterize the optimization and generalization of deep learning, partially inspired by Bayesian inference; (3) the geometrical structures of the loss landscape that drives the trajectories of the dynamic systems; (4) the roles of over-parameterization of deep neural networks from both positive and negative perspectives; (5) theoretical foundations of several special structures in network architectures; and (6) the increasingly intensive concerns in ethics and security and their relationships with generalizability.


翻译:深层学习通常被描述为在不断批评缺乏理论基础的情况下由实验驱动的领域,这个问题部分地被大量文献所固定,到目前为止,这些文献没有很好地组织起来。本文回顾并组织深层学习理论的最新进展。文献分为六组:(1) 分析深层学习的可普遍性的复杂和基于能力的方法;(2) 随机差异方程式及其动态系统,作为深层学习优化和普遍化的特点,部分受贝耶斯推断的启发;(3) 驱动动态系统轨迹的流失地貌的几何结构;(4) 从正反两方面看深层神经网络的超度参数作用;(5) 网络结构中若干特殊结构的理论基础;(6) 伦理和安全及其与可普遍性的关系日益引起人们的关注。

50
下载
关闭预览

相关内容

Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
195+阅读 · 2019年9月30日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Arxiv
1+阅读 · 2021年2月20日
Arxiv
24+阅读 · 2021年1月25日
Arxiv
7+阅读 · 2020年12月10日
A Survey on Bayesian Deep Learning
Arxiv
59+阅读 · 2020年7月2日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
相关论文
Arxiv
1+阅读 · 2021年2月20日
Arxiv
24+阅读 · 2021年1月25日
Arxiv
7+阅读 · 2020年12月10日
A Survey on Bayesian Deep Learning
Arxiv
59+阅读 · 2020年7月2日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Top
微信扫码咨询专知VIP会员