会员服务
动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。 动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。
The Mechanics of CNN Filtering with Rectification
Arxiv
0+阅读 · 2025年12月30日
SAMP-HDRL: Segmented Allocation with Momentum-Adjusted Utility for Multi-agent Portfolio Management via Hierarchical Deep Reinforcement Learning
Arxiv
0+阅读 · 2025年12月28日
High-dimensional limit theorems for SGD: Momentum and Adaptive Step-sizes
Arxiv
0+阅读 · 2025年11月6日
M-GRPO: Stabilizing Self-Supervised Reinforcement Learning for Large Language Models with Momentum-Anchored Policy Optimization
Arxiv
0+阅读 · 2025年12月15日
AuON: A Linear-time Alternative to Orthogonal Momentum Updates
Arxiv
0+阅读 · 2025年12月6日
AuON: A Linear-time Alternative to Orthogonal Momentum Updates
Arxiv
0+阅读 · 2025年12月18日
Distributed Stochastic Momentum Tracking with Local Updates: Achieving Optimal Communication and Iteration Complexities
Arxiv
0+阅读 · 2025年11月7日
A Survey of OAM-Encoded High-Dimensional Quantum Key Distribution: Foundations, Experiments, and Recent Trends
Arxiv
0+阅读 · 2025年12月12日
Low-Level and NUMA-Aware Optimization for High-Performance Quantum Simulation
Arxiv
0+阅读 · 2025年11月6日
A measurement-driven quantum algorithm for SAT: Performance guarantees via spectral gaps and measurement parallelization
Arxiv
0+阅读 · 2025年11月12日
Finite element methods for electroneutral multicomponent electrolyte flows
Arxiv
0+阅读 · 2025年11月5日
Pier: Efficient Large Language Model pretraining with Relaxed Global Communication
Arxiv
0+阅读 · 2025年11月22日
A Fast and Flat Federated Learning Method via Weighted Momentum and Sharpness-Aware Minimization
Arxiv
0+阅读 · 2025年11月27日
Muon is Provably Faster with Momentum Variance Reduction
Arxiv
0+阅读 · 2025年12月18日
Better LMO-based Momentum Methods with Second-Order Information
Arxiv
0+阅读 · 2025年12月15日
参考链接
微信扫码咨询专知VIP会员
Top