Buchumschlag

On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Huan, Dong, Yiming, Lin, Zhouchen
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On the $O(\frac{\sqrt{d}}{K^{1/4}})$ Convergence Rate of AdamW Measured by $\ell_1$ Norm
von: Li, Huan, et al.
Veröffentlicht: (2025)

Convergence Rate Analysis of LION
von: Dong, Yiming, et al.
Veröffentlicht: (2024)

Convergence Rate Analysis of the AdamW-Style Shampoo: Unifying One-Sided and Two-Sided Preconditioning
von: Li, Huan, et al.
Veröffentlicht: (2026)

Convergence Rate Analysis of SOAP with Arbitrary Orthogonal Projection Matrices
von: Li, Huan, et al.
Veröffentlicht: (2026)

Convergence of the Iterates for Momentum and RMSProp for Local Smooth Functions: Adaptation is the Key
von: Bensaid, Bilel, et al.
Veröffentlicht: (2024)

An Improved Last-Iterate Convergence Rate for Anchored Gradient Descent Ascent
von: Surina, Anja, et al.
Veröffentlicht: (2026)

Hindsight-Guided Momentum (HGM) Optimizer: An Approach to Adaptive Learning Rate
von: Sarkar, Krisanu
Veröffentlicht: (2025)

Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models
von: Xie, Xingyu, et al.
Veröffentlicht: (2022)

Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization
von: Li, Huan, et al.
Veröffentlicht: (2021)

Unifying Controller Design for Stabilizing Nonlinear Systems with Norm-Bounded Control Inputs
von: Li, Ming, et al.
Veröffentlicht: (2024)

Sparse Recovery: The Square of $\ell_1/\ell_2$ Norms
von: Jia, Jianqing, et al.
Veröffentlicht: (2024)

Anderson acceleration for iteratively reweighted $\ell_1$ algorithm
von: Li, Kexin
Veröffentlicht: (2024)

Global Stability and Step Size Robustness of RMSProp
von: Dimitrieski, Naum, et al.
Veröffentlicht: (2026)

The Ky Fan Norms and Beyond: Dual Norms and Combinations for Matrix Optimization
von: Kravatskiy, Alexey, et al.
Veröffentlicht: (2025)

PyCSP3-Scheduling: A Scheduling Extension for PyCSP3
von: Afifi, Sohaib
Veröffentlicht: (2026)

Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance
von: Zhang, Qi, et al.
Veröffentlicht: (2024)

On Dynamic Programming Decompositions of Static Risk Measures in Markov Decision Processes
von: Hau, Jia Lin, et al.
Veröffentlicht: (2023)

MUSIC: Accelerated Convergence for Distributed Optimization With Inexact and Exact Methods
von: Wu, Mou, et al.
Veröffentlicht: (2024)

PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$-Norm Steepest Descent
von: Lu, Yao, et al.
Veröffentlicht: (2026)

A Robust Algorithm for Non-IID Machine Learning Problems with Convergence Analysis
von: Xu, Qing, et al.
Veröffentlicht: (2025)

Double Momentum Method for Lower-Level Constrained Bilevel Optimization
von: Shi, Wanli, et al.
Veröffentlicht: (2024)

A New Parallel Cooperative Landscape Smoothing Algorithm and Its Applications on TSP and UBQP
von: Wang, Wei, et al.
Veröffentlicht: (2024)

LLM4Branch: Large Language Model for Discovering Efficient Branching Policies of Integer Programs
von: Hou, Zhinan, et al.
Veröffentlicht: (2026)

On the Convergence of FedProx with Extrapolation and Inexact Prox
von: Li, Hanmin, et al.
Veröffentlicht: (2024)

An Approximate Ascent Approach To Prove Convergence of PPO
von: Doering, Leif, et al.
Veröffentlicht: (2026)

When and Why SignSGD Outperforms SGD: A Theoretical Study Based on $\ell_1$-norm Lower Bounds
von: Tao, Hongyi, et al.
Veröffentlicht: (2026)

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2024)

MKOR: Momentum-Enabled Kronecker-Factor-Based Optimizer Using Rank-1 Updates
von: Mozaffari, Mohammad, et al.
Veröffentlicht: (2023)

WANCO: Weak Adversarial Networks for Constrained Optimization problems
von: Bao, Gang, et al.
Veröffentlicht: (2024)

Grams: Gradient Descent with Adaptive Momentum Scaling
von: Cao, Yang, et al.
Veröffentlicht: (2024)

On the Convergence of Overparameterized Problems: Inherent Properties of the Compositional Structure of Neural Networks
von: de Oliveira, Arthur Castello Branco, et al.
Veröffentlicht: (2025)

Global Convergence Guarantees for Federated Policy Gradient Methods with Adversaries
von: Ganesh, Swetha, et al.
Veröffentlicht: (2024)

Solving the Pod Repositioning Problem with Deep Reinforced Adaptive Large Neighborhood Search
von: Xie, Lin, et al.
Veröffentlicht: (2025)

OR-R1: Automating Modeling and Solving of Operations Research Optimization Problem via Test-Time Reinforcement Learning
von: Ding, Zezhen, et al.
Veröffentlicht: (2025)

FMIP: Joint Continuous-Integer Flow For Mixed-Integer Linear Programming
von: Li, Hongpei, et al.
Veröffentlicht: (2025)

AI4OPT: AI Institute for Advances in Optimization
von: Van Hentenryck, Pascal, et al.
Veröffentlicht: (2023)

Federated Dynamical Low-Rank Training with Global Loss Convergence Guarantees
von: Schotthöfer, Steffen, et al.
Veröffentlicht: (2024)

Convergence of Some Convex Message Passing Algorithms to a Fixed Point
von: Voracek, Vaclav, et al.
Veröffentlicht: (2024)

Bridging Control with Neural Network Verifier alpha-beta-CROWN: A Tutorial
von: Li, Haoyu, et al.
Veröffentlicht: (2026)

A Clustering-Based Variable Ordering Framework for Relaxed Decision Diagrams for Maximum Weighted Independent Set Problem
von: Nafar, Mohsen, et al.
Veröffentlicht: (2025)