会员服务

Quasi-hyperbolic momentum and Adam for deep learning

2018 年 11 月 28 日 Arxiv Jerry Ma,Denis Yarats
登录查看更多
0

相关内容

动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。 动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。
【ICML2020】深度神经网络置信感知学习，Confidence-Aware Learning for Deep Neural Networks
【ICML2020】深度神经网络置信感知学习，Confidence-Aware Learning for Deep Neural Networks
专知会员服务
71+阅读 · 2020年7月6日
Fariz Darari简明《博弈论Game Theory》介绍，35页ppt
Fariz Darari简明《博弈论Game Theory》介绍，35页ppt
专知会员服务
106+阅读 · 2020年5月15日
【伯克利】最新《深度半监督学习》总述，146页ppt，Semi-Supervised Learning
【伯克利】最新《深度半监督学习》总述，146页ppt，Semi-Supervised Learning
专知会员服务
140+阅读 · 2020年4月11日
元迁移学习的小样本学习，Meta-transfer Learning for Few-shot Learning
元迁移学习的小样本学习，Meta-transfer Learning for Few-shot Learning
专知会员服务
157+阅读 · 2020年2月29日
深度强化学习策略梯度教程，53页ppt
深度强化学习策略梯度教程，53页ppt
专知会员服务
176+阅读 · 2020年2月1日
【论文】深度学习的最优化:理论和算法（Optimization for deep learning: theory and algorithms）
【论文】深度学习的最优化:理论和算法（Optimization for deep learning: theory and algorithms）
专知会员服务
143+阅读 · 2019年12月28日
PyTorch深度学习零基础入门《First steps towards Deep Learning with pyTorch》
PyTorch深度学习零基础入门《First steps towards Deep Learning with pyTorch》
专知会员服务
112+阅读 · 2019年10月28日
Stabilizing Transformers for Reinforcement Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
144+阅读 · 2019年10月12日
强化学习最新教程，17页pdf
强化学习最新教程，17页pdf
专知会员服务
167+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【代码资源】GAN | 七份最热GAN文章及代码分享（Github 1000+Stars）
【代码资源】GAN | 七份最热GAN文章及代码分享（Github 1000+Stars）
专知
11+阅读 · 2018年6月24日
Hierarchical Imitation - Reinforcement Learning
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
五个精彩实用的自然语言处理资源
五个精彩实用的自然语言处理资源
机器学习研究会
6+阅读 · 2018年2月23日
gan生成图像at 1024² 的 代码 论文
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Hierarchical Meta Learning
Arxiv
9+阅读 · 2019年4月19日
Deep Learning for Energy Markets
Deep Learning for Energy Markets
Arxiv
8+阅读 · 2019年4月10日
Learning to Weight for Text Classification
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Learning to Walk via Deep Reinforcement Learning
Arxiv
7+阅读 · 2018年12月26日
Learning Embedding Adaptation for Few-Shot Learning
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Meta-Transfer Learning for Few-Shot Learning
Meta-Transfer Learning for Few-Shot Learning
Arxiv
7+阅读 · 2018年12月6日
Towards Understanding Acceleration Tradeoff between Momentum and Asynchrony in Nonconvex Stochastic Optimization
Arxiv
3+阅读 · 2018年10月1日
Asynchronous Byzantine Machine Learning (the case of SGD)
Arxiv
3+阅读 · 2018年7月9日
Unsupervised Meta-Learning for Reinforcement Learning
Arxiv
8+阅读 · 2018年6月12日
VIP会员
相关主题
动量
Adam
SGD
随机梯度下降
state-of-the-art
深度学习
计算学习理论
机器学习
相关VIP内容
【ICML2020】深度神经网络置信感知学习，Confidence-Aware Learning for Deep Neural Networks
【ICML2020】深度神经网络置信感知学习，Confidence-Aware Learning for Deep Neural Networks
专知会员服务
71+阅读 · 2020年7月6日
Fariz Darari简明《博弈论Game Theory》介绍，35页ppt
Fariz Darari简明《博弈论Game Theory》介绍，35页ppt
专知会员服务
106+阅读 · 2020年5月15日
【伯克利】最新《深度半监督学习》总述，146页ppt，Semi-Supervised Learning
【伯克利】最新《深度半监督学习》总述，146页ppt，Semi-Supervised Learning
专知会员服务
140+阅读 · 2020年4月11日
元迁移学习的小样本学习，Meta-transfer Learning for Few-shot Learning
元迁移学习的小样本学习，Meta-transfer Learning for Few-shot Learning
专知会员服务
157+阅读 · 2020年2月29日
深度强化学习策略梯度教程，53页ppt
深度强化学习策略梯度教程，53页ppt
专知会员服务
176+阅读 · 2020年2月1日
【论文】深度学习的最优化:理论和算法（Optimization for deep learning: theory and algorithms）
【论文】深度学习的最优化:理论和算法（Optimization for deep learning: theory and algorithms）
专知会员服务
143+阅读 · 2019年12月28日
PyTorch深度学习零基础入门《First steps towards Deep Learning with pyTorch》
PyTorch深度学习零基础入门《First steps towards Deep Learning with pyTorch》
专知会员服务
112+阅读 · 2019年10月28日
Stabilizing Transformers for Reinforcement Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
144+阅读 · 2019年10月12日
强化学习最新教程，17页pdf
强化学习最新教程，17页pdf
专知会员服务
167+阅读 · 2019年10月11日
热门VIP内容
相关资讯
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【代码资源】GAN | 七份最热GAN文章及代码分享（Github 1000+Stars）
【代码资源】GAN | 七份最热GAN文章及代码分享（Github 1000+Stars）
专知
11+阅读 · 2018年6月24日
Hierarchical Imitation - Reinforcement Learning
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
五个精彩实用的自然语言处理资源
五个精彩实用的自然语言处理资源
机器学习研究会
6+阅读 · 2018年2月23日
gan生成图像at 1024² 的 代码 论文
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
相关论文
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Hierarchical Meta Learning
Arxiv
9+阅读 · 2019年4月19日
Deep Learning for Energy Markets
Deep Learning for Energy Markets
Arxiv
8+阅读 · 2019年4月10日
Learning to Weight for Text Classification
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Learning to Walk via Deep Reinforcement Learning
Arxiv
7+阅读 · 2018年12月26日
Learning Embedding Adaptation for Few-Shot Learning
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Meta-Transfer Learning for Few-Shot Learning
Meta-Transfer Learning for Few-Shot Learning
Arxiv
7+阅读 · 2018年12月6日
Towards Understanding Acceleration Tradeoff between Momentum and Asynchrony in Nonconvex Stochastic Optimization
Arxiv
3+阅读 · 2018年10月1日
Asynchronous Byzantine Machine Learning (the case of SGD)
Arxiv
3+阅读 · 2018年7月9日
Unsupervised Meta-Learning for Reinforcement Learning
Arxiv
8+阅读 · 2018年6月12日
大家都在搜
  1. TDGN
  2. 图与推荐指南针
  3. 大型语言模型
  4. 最新报告
  5. 兵棋推演
  6. 李清照词作
  7. 智能仓储
  8. ads-b
  9. MoE
  10. Stable Diffusion
    11.
Top
微信扫码咨询专知VIP会员
Top