会员服务

AdaGrad stepsizes: Sharp convergence over nonconvex landscapes, from any initialization

2018 年 6 月 21 日 Arxiv Rachel Ward,Xiaoxia Wu,Leon Bottou
登录查看更多
1

相关内容

【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
专知会员服务
17+阅读 · 2020年6月29日
图机器学习-图拉普拉斯算子的离散正则性，141页ppt，Discrete regularity graph Laplacians
专知会员服务
28+阅读 · 2020年6月4日
【Google-普林斯顿】从学习速率中解开自适应梯度法，Disentangling Adaptive Gradient
专知会员服务
17+阅读 · 2020年3月5日
【斯坦福大学CS229】面向机器学习的线性代数和微积分要点速览(中文版)《CS 229 - Linear Algebra and Calculus refresher》by Afshine Amidi, Shervine Amidi
【斯坦福大学CS229】面向机器学习的线性代数和微积分要点速览(中文版)《CS 229 - Linear Algebra and Calculus refresher》by Afshine Amidi, Shervine Amidi
专知会员服务
189+阅读 · 2019年12月19日
【CoRL2019最佳论文】模仿学习，A Divergence Minimization Perspective on Imitation Learning Methods
【CoRL2019最佳论文】模仿学习，A Divergence Minimization Perspective on Imitation Learning Methods
专知会员服务
22+阅读 · 2019年11月11日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
45+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
31+阅读 · 2019年10月17日
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
专知会员服务
79+阅读 · 2019年10月10日
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
专知会员服务
77+阅读 · 2019年10月9日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
98+阅读 · 2019年10月9日
Successor representations 强化学习表示的生物学启发
Successor representations 强化学习表示的生物学启发
CreateAMind
6+阅读 · 2019年9月5日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【SIGIR2018】五篇对抗训练文章
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation
Arxiv
5+阅读 · 2020年4月2日
A Modern Introduction to Online Learning
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
Extreme Language Model Compression with Optimal Subwords and Shared Projections
Extreme Language Model Compression with Optimal Subwords and Shared Projections
Arxiv
18+阅读 · 2019年9月25日
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Arxiv
4+阅读 · 2019年5月9日
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Arxiv
8+阅读 · 2018年12月18日
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
Arxiv
8+阅读 · 2018年11月21日
Towards Understanding Acceleration Tradeoff between Momentum and Asynchrony in Nonconvex Stochastic Optimization
Arxiv
3+阅读 · 2018年10月1日
Asynchronous Byzantine Machine Learning (the case of SGD)
Arxiv
3+阅读 · 2018年7月9日
Variance-based regularization with convex objectives
Arxiv
5+阅读 · 2017年12月14日
Being Robust (in High Dimensions) Can Be Practical
Arxiv
3+阅读 · 2017年12月14日
VIP会员
相关主题
AdaGrad
Lipschitz常数
非凸
Lipschitz
优化器
噪声
机器学习
计算学习理论
相关VIP内容
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
专知会员服务
17+阅读 · 2020年6月29日
图机器学习-图拉普拉斯算子的离散正则性，141页ppt，Discrete regularity graph Laplacians
专知会员服务
28+阅读 · 2020年6月4日
【Google-普林斯顿】从学习速率中解开自适应梯度法，Disentangling Adaptive Gradient
专知会员服务
17+阅读 · 2020年3月5日
【斯坦福大学CS229】面向机器学习的线性代数和微积分要点速览(中文版)《CS 229 - Linear Algebra and Calculus refresher》by Afshine Amidi, Shervine Amidi
【斯坦福大学CS229】面向机器学习的线性代数和微积分要点速览(中文版)《CS 229 - Linear Algebra and Calculus refresher》by Afshine Amidi, Shervine Amidi
专知会员服务
189+阅读 · 2019年12月19日
【CoRL2019最佳论文】模仿学习，A Divergence Minimization Perspective on Imitation Learning Methods
【CoRL2019最佳论文】模仿学习，A Divergence Minimization Perspective on Imitation Learning Methods
专知会员服务
22+阅读 · 2019年11月11日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
45+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
31+阅读 · 2019年10月17日
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
专知会员服务
79+阅读 · 2019年10月10日
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
专知会员服务
77+阅读 · 2019年10月9日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
98+阅读 · 2019年10月9日
热门VIP内容
相关资讯
Successor representations 强化学习表示的生物学启发
Successor representations 强化学习表示的生物学启发
CreateAMind
6+阅读 · 2019年9月5日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【SIGIR2018】五篇对抗训练文章
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation
Arxiv
5+阅读 · 2020年4月2日
A Modern Introduction to Online Learning
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
Extreme Language Model Compression with Optimal Subwords and Shared Projections
Extreme Language Model Compression with Optimal Subwords and Shared Projections
Arxiv
18+阅读 · 2019年9月25日
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Arxiv
4+阅读 · 2019年5月9日
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Arxiv
8+阅读 · 2018年12月18日
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
Arxiv
8+阅读 · 2018年11月21日
Towards Understanding Acceleration Tradeoff between Momentum and Asynchrony in Nonconvex Stochastic Optimization
Arxiv
3+阅读 · 2018年10月1日
Asynchronous Byzantine Machine Learning (the case of SGD)
Arxiv
3+阅读 · 2018年7月9日
Variance-based regularization with convex objectives
Arxiv
5+阅读 · 2017年12月14日
Being Robust (in High Dimensions) Can Be Practical
Arxiv
3+阅读 · 2017年12月14日
大家都在搜
  1. 精益管理体系
  2. 智能仓储
  3. 基于大型语言模型
  4. 无人地面车辆
  5. 生成式人工智能
  6. ads-b
  7. 图与推荐指南针
  8. MoE
  9. 卡尔曼
  10. 谭铁牛院士深度解析：人工智能是天使还是魔鬼？（内含PPT）
    11.
Top
微信扫码咨询专知VIP会员
Top