会员服务
人工智能 · 深度学习 · 优化 ·
2020 年 1 月 13 日
【AdaMod】一个新的深度学习优化与记忆（Meet AdaMod: a new deep learning optimizer with memory）
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

主题： Meet AdaMod: a new deep learning optimizer with memory

简介： AdaMod是一个新的深度学习优化器，它建立在Adam的基础上，但提供了一个自动预热启发式和长期学习率缓冲。从最初的测试来看，AdaMod是一个前5名的优化器，它很容易击败或超过vanilla Adam，同时对学习率超参数不太敏感，训练曲线更平滑，不需要热身模式。

成为VIP会员查看完整内容
https://medium.com/@lessw/meet-adamod-a-new-deep-learning-optimizer-with-memory-f01e831b80bd
15

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。
【CMU博士论文】用动态超参数优化改进深度学习训练和推理，Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization
【CMU博士论文】用动态超参数优化改进深度学习训练和推理，Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization
专知会员服务
55+阅读 · 2020年5月26日
【经典书】深度学习，532页pdf，Deep Learning - A Practitioner's Approach
【经典书】深度学习，532页pdf，Deep Learning - A Practitioner's Approach
专知会员服务
138+阅读 · 2020年4月3日
【谷歌大脑新论文】利用可微摄动优化器进行学习，Learning with Differentiable Perturbed Optimizers
【谷歌大脑新论文】利用可微摄动优化器进行学习，Learning with Differentiable Perturbed Optimizers
专知会员服务
29+阅读 · 2020年2月22日
【ICCV 2019】贝叶斯优化的1-Bit CNNs 《Bayesian Optimized 1-Bit CNNs》
【ICCV 2019】贝叶斯优化的1-Bit CNNs 《Bayesian Optimized 1-Bit CNNs》
专知会员服务
16+阅读 · 2019年11月17日
【DLBM-SS暑期课程】深度学习与贝叶斯方法 Deep Learning and Bayesian Methods
【DLBM-SS暑期课程】深度学习与贝叶斯方法 Deep Learning and Bayesian Methods
专知会员服务
67+阅读 · 2019年11月10日
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
极市平台
21+阅读 · 2019年9月5日
深度学习优化算法总结(SGD,AdaGrad,Adam等)
深度学习优化算法总结(SGD,AdaGrad,Adam等)
极市平台
34+阅读 · 2019年4月30日
Hierarchical Imitation - Reinforcement Learning
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
深度学习基础之LSTM
深度学习基础之LSTM
全球人工智能
29+阅读 · 2017年12月18日
CNN超参数优化和可视化技巧详解
CNN超参数优化和可视化技巧详解
量子位
4+阅读 · 2017年7月15日
Do RNN and LSTM have Long Memory?
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Accelerated Methods for Deep Reinforcement Learning
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
Hierarchical Deep Multiagent Reinforcement Learning
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Arxiv
5+阅读 · 2018年9月6日
SpectralLeader: Online Spectral Learning for Single Topic Models
Arxiv
4+阅读 · 2018年2月16日
VIP会员
相关主题
人工智能
深度学习
优化
相关VIP内容
【CMU博士论文】用动态超参数优化改进深度学习训练和推理，Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization
【CMU博士论文】用动态超参数优化改进深度学习训练和推理，Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization
专知会员服务
55+阅读 · 2020年5月26日
【经典书】深度学习，532页pdf，Deep Learning - A Practitioner's Approach
【经典书】深度学习，532页pdf，Deep Learning - A Practitioner's Approach
专知会员服务
138+阅读 · 2020年4月3日
【谷歌大脑新论文】利用可微摄动优化器进行学习，Learning with Differentiable Perturbed Optimizers
【谷歌大脑新论文】利用可微摄动优化器进行学习，Learning with Differentiable Perturbed Optimizers
专知会员服务
29+阅读 · 2020年2月22日
【ICCV 2019】贝叶斯优化的1-Bit CNNs 《Bayesian Optimized 1-Bit CNNs》
【ICCV 2019】贝叶斯优化的1-Bit CNNs 《Bayesian Optimized 1-Bit CNNs》
专知会员服务
16+阅读 · 2019年11月17日
【DLBM-SS暑期课程】深度学习与贝叶斯方法 Deep Learning and Bayesian Methods
【DLBM-SS暑期课程】深度学习与贝叶斯方法 Deep Learning and Bayesian Methods
专知会员服务
67+阅读 · 2019年11月10日
热门VIP内容
相关资讯
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
极市平台
21+阅读 · 2019年9月5日
深度学习优化算法总结(SGD,AdaGrad,Adam等)
深度学习优化算法总结(SGD,AdaGrad,Adam等)
极市平台
34+阅读 · 2019年4月30日
Hierarchical Imitation - Reinforcement Learning
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
深度学习基础之LSTM
深度学习基础之LSTM
全球人工智能
29+阅读 · 2017年12月18日
CNN超参数优化和可视化技巧详解
CNN超参数优化和可视化技巧详解
量子位
4+阅读 · 2017年7月15日
相关论文
Do RNN and LSTM have Long Memory?
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Accelerated Methods for Deep Reinforcement Learning
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
Hierarchical Deep Multiagent Reinforcement Learning
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Arxiv
5+阅读 · 2018年9月6日
SpectralLeader: Online Spectral Learning for Single Topic Models
Arxiv
4+阅读 · 2018年2月16日
微信扫码咨询专知VIP会员
Top