Buchumschlag

Convergence Rate Analysis of LION

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Dong, Yiming, Li, Huan, Lin, Zhouchen
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Convergence Rate Analysis of the AdamW-Style Shampoo: Unifying One-Sided and Two-Sided Preconditioning
von: Li, Huan, et al.
Veröffentlicht: (2026)

On the $O(\frac{\sqrt{d}}{K^{1/4}})$ Convergence Rate of AdamW Measured by $\ell_1$ Norm
von: Li, Huan, et al.
Veröffentlicht: (2025)

Convergence Rate Analysis of SOAP with Arbitrary Orthogonal Projection Matrices
von: Li, Huan, et al.
Veröffentlicht: (2026)

Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization
von: Li, Huan, et al.
Veröffentlicht: (2021)

On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm
von: Li, Huan, et al.
Veröffentlicht: (2024)

Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models
von: Xie, Xingyu, et al.
Veröffentlicht: (2022)

Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation
von: Li, Zehao, et al.
Veröffentlicht: (2024)

Reusing Historical Trajectories in Natural Policy Gradient via Importance Sampling: Convergence and Convergence Rate
von: Lin, Yifan, et al.
Veröffentlicht: (2024)

Theoretical Analysis on how Learning Rate Warmup Accelerates Convergence
von: Liu, Yuxing, et al.
Veröffentlicht: (2025)

MAP Estimation with Denoisers: Convergence Rates and Guarantees
von: Pesme, Scott, et al.
Veröffentlicht: (2025)

Implicit Bias and Fast Convergence Rates for Self-attention
von: Vasudeva, Bhavya, et al.
Veröffentlicht: (2024)

Open Problem: Anytime Convergence Rate of Gradient Descent
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

Incremental Gauss--Newton Methods with Superlinear Convergence Rates
von: Zhou, Zhiling, et al.
Veröffentlicht: (2024)

Nonsmooth Implicit Differentiation: Deterministic and Stochastic Convergence Rates
von: Grazzi, Riccardo, et al.
Veröffentlicht: (2024)

Robust Sublinear Convergence Rates for Iterative Bregman Projections
von: Peyré, Gabriel
Veröffentlicht: (2026)

Limits of Convergence-Rate Control for Open-Weight Safety
von: Rosati, Domenic, et al.
Veröffentlicht: (2026)

Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
von: Nagashima, Shuntaro, et al.
Veröffentlicht: (2026)

Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms
von: Vaidyan, Kevin Kurian Thomas, et al.
Veröffentlicht: (2026)

Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
von: Liu, Zhuanghua, et al.
Veröffentlicht: (2024)

Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization
von: Gong, Xiaochuan, et al.
Veröffentlicht: (2025)

Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)

Sharper Convergence Rates for Nonconvex Optimisation via Reduction Mappings
von: Markou, Evan, et al.
Veröffentlicht: (2025)

Convergence Rates for Gradient Descent on the Edge of Stability in Overparametrised Least Squares
von: MacDonald, Lachlan Ewen, et al.
Veröffentlicht: (2025)

Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
von: Wu, Haotian
Veröffentlicht: (2025)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

Almost Sure Convergence Rates and Concentration of Stochastic Approximation and Reinforcement Learning with Markovian Noise
von: Qian, Xiaochi, et al.
Veröffentlicht: (2024)

Convergence Rate in Nonlinear Two-Time-Scale Stochastic Approximation with State (Time)-Dependence
von: Chen, Zixi, et al.
Veröffentlicht: (2025)

Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers
von: Li, Runjia, et al.
Veröffentlicht: (2024)

ADMM Algorithms for Residual Network Training: Convergence Analysis and Parallel Implementation
von: Xu, Jintao, et al.
Veröffentlicht: (2023)

Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence
von: Bonalli, Riccardo, et al.
Veröffentlicht: (2023)

Convergence of Sharpness-Aware Minimization Algorithms using Increasing Batch Size and Decaying Learning Rate
von: Harada, Hinata, et al.
Veröffentlicht: (2024)

Optimal Local Convergence Rates of Stochastic First-Order Methods under Local $α$-PL
von: Masiha, Saeed, et al.
Veröffentlicht: (2024)

Revisiting Convergence of AdaGrad with Relaxed Assumptions
von: Hong, Yusu, et al.
Veröffentlicht: (2024)

On the Convergence of Policy in Unregularized Policy Mirror Descent
von: Lin, Dachao, et al.
Veröffentlicht: (2022)

Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Almost Sure Convergence Rates of Stochastic Approximation and Reinforcement Learning via a Poisson-Moreau Drift
von: Liu, Xinyu, et al.
Veröffentlicht: (2026)

PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium
von: Ding, Shihong, et al.
Veröffentlicht: (2023)

On Convergence of Adam for Stochastic Optimization under Relaxed Assumptions
von: Hong, Yusu, et al.
Veröffentlicht: (2024)

Learning Provably Improves the Convergence of Gradient Descent
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

Convergence Analysis of the Lion Optimizer in Centralized and Distributed Settings
von: Jiang, Wei, et al.
Veröffentlicht: (2025)