会员服务
随机梯度下降 · SGD · 机器学习 · 计算学习理论 ·
2021 年 3 月 26 日
The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
翻译：斯托查斯渐变后裔的趋同:自足的证据
Gabrel Turinici
Gabrel Turinici

We give here a proof of the convergence of the Stochastic Gradient Descent (SGD) in a self-contained manner.


翻译：我们在这里提供证据,以自成一体的方式证明 " 沙粒梯子 " 后裔的趋同。
0
下载
关闭预览

相关内容

随机梯度下降，按照数据生成分布抽取m个样本，通过计算他们梯度的平均值来更新梯度。
【Google】梯度下降，48页ppt
【Google】梯度下降，48页ppt
专知会员服务
79+阅读 · 2020年12月5日
【经典书】现代统计方法基础，267页pdf，Fundamentals of Modern Statistical Methods
【经典书】现代统计方法基础，267页pdf，Fundamentals of Modern Statistical Methods
专知会员服务
62+阅读 · 2020年8月10日
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
专知会员服务
17+阅读 · 2020年6月29日
【新书】人工智能Python代码，227页pdf，Python code for Artificial Intelligence: Foundations of Computational Agents
【新书】人工智能Python代码，227页pdf，Python code for Artificial Intelligence: Foundations of Computational Agents
专知会员服务
96+阅读 · 2020年6月21日
最近几种小样本元学习简明综述，A Concise Review of Recent Few-shot Meta-learning Methods
最近几种小样本元学习简明综述，A Concise Review of Recent Few-shot Meta-learning Methods
专知会员服务
34+阅读 · 2020年5月25日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
45+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
53+阅读 · 2019年10月17日
强化学习最新教程，17页pdf
强化学习最新教程，17页pdf
专知会员服务
167+阅读 · 2019年10月11日
【新书】Python编程基础，669页pdf
【新书】Python编程基础，669页pdf
专知会员服务
186+阅读 · 2019年10月10日
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
专知会员服务
79+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
神经网络学习率设置
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
2017年深度学习优化算法最新综述
2017年深度学习优化算法最新综述
计算机视觉战队
6+阅读 · 2017年12月18日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Distributionally Constrained Black-Box Stochastic Gradient Estimation and Optimization
Arxiv
0+阅读 · 2021年5月19日
Convergence Analysis of Riemannian Stochastic Approximation Schemes
Arxiv
0+阅读 · 2021年5月19日
Sparse Spiking Gradient Descent
Arxiv
0+阅读 · 2021年5月18日
The BDF2-Maruyama Scheme for Stochastic Evolution Equations with Monotone Drift
Arxiv
0+阅读 · 2021年5月18日
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
Arxiv
13+阅读 · 2020年6月24日
Few-shot acoustic event detection via meta-learning
Arxiv
26+阅读 · 2020年2月21日
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Arxiv
4+阅读 · 2019年5月9日
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
Arxiv
8+阅读 · 2018年11月21日
Towards Understanding Acceleration Tradeoff between Momentum and Asynchrony in Nonconvex Stochastic Optimization
Arxiv
3+阅读 · 2018年10月1日
Asynchronous Byzantine Machine Learning (the case of SGD)
Arxiv
3+阅读 · 2018年7月9日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
随机梯度下降
SGD
机器学习
计算学习理论
相关VIP内容
【Google】梯度下降，48页ppt
【Google】梯度下降，48页ppt
专知会员服务
79+阅读 · 2020年12月5日
【经典书】现代统计方法基础，267页pdf，Fundamentals of Modern Statistical Methods
【经典书】现代统计方法基础，267页pdf，Fundamentals of Modern Statistical Methods
专知会员服务
62+阅读 · 2020年8月10日
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
专知会员服务
17+阅读 · 2020年6月29日
【新书】人工智能Python代码，227页pdf，Python code for Artificial Intelligence: Foundations of Computational Agents
【新书】人工智能Python代码，227页pdf，Python code for Artificial Intelligence: Foundations of Computational Agents
专知会员服务
96+阅读 · 2020年6月21日
最近几种小样本元学习简明综述，A Concise Review of Recent Few-shot Meta-learning Methods
最近几种小样本元学习简明综述，A Concise Review of Recent Few-shot Meta-learning Methods
专知会员服务
34+阅读 · 2020年5月25日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
45+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
53+阅读 · 2019年10月17日
强化学习最新教程，17页pdf
强化学习最新教程，17页pdf
专知会员服务
167+阅读 · 2019年10月11日
【新书】Python编程基础，669页pdf
【新书】Python编程基础，669页pdf
专知会员服务
186+阅读 · 2019年10月10日
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
专知会员服务
79+阅读 · 2019年10月10日
热门VIP内容
相关资讯
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
神经网络学习率设置
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
2017年深度学习优化算法最新综述
2017年深度学习优化算法最新综述
计算机视觉战队
6+阅读 · 2017年12月18日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Distributionally Constrained Black-Box Stochastic Gradient Estimation and Optimization
Arxiv
0+阅读 · 2021年5月19日
Convergence Analysis of Riemannian Stochastic Approximation Schemes
Arxiv
0+阅读 · 2021年5月19日
Sparse Spiking Gradient Descent
Arxiv
0+阅读 · 2021年5月18日
The BDF2-Maruyama Scheme for Stochastic Evolution Equations with Monotone Drift
Arxiv
0+阅读 · 2021年5月18日
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
Arxiv
13+阅读 · 2020年6月24日
Few-shot acoustic event detection via meta-learning
Arxiv
26+阅读 · 2020年2月21日
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Arxiv
4+阅读 · 2019年5月9日
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
Arxiv
8+阅读 · 2018年11月21日
Towards Understanding Acceleration Tradeoff between Momentum and Asynchrony in Nonconvex Stochastic Optimization
Arxiv
3+阅读 · 2018年10月1日
Asynchronous Byzantine Machine Learning (the case of SGD)
Arxiv
3+阅读 · 2018年7月9日
Top
微信扫码咨询专知VIP会员
Top