Buchumschlag

Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Guo, Zhishuai, Xu, Yi, Yin, Wotao, Jin, Rong, Yang, Tianbao
Format:	Preprint
Veröffentlicht:	2021
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Convergence of Sign-based Random Reshuffling Algorithms for Nonconvex Optimization
von: Qin, Zhen, et al.
Veröffentlicht: (2023)

Learning to optimize: A tutorial for continuous and mixed-integer optimization
von: Chen, Xiaohan, et al.
Veröffentlicht: (2024)

A Near-Optimal Single-Loop Stochastic Algorithm for Convex Finite-Sum Coupled Compositional Optimization
von: Wang, Bokun, et al.
Veröffentlicht: (2023)

Subsampled Ensemble Can Improve Generalization Tail Exponentially
von: Qian, Huajie, et al.
Veröffentlicht: (2024)

OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality
von: Yuan, Ganzhao
Veröffentlicht: (2026)

A Unified Analysis for Finite Weight Averaging
von: Wang, Peng, et al.
Veröffentlicht: (2024)

Universal Online Convex Optimization Meets Second-order Bounds
von: Zhang, Lijun, et al.
Veröffentlicht: (2021)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

On Convergence of Average-Reward Q-Learning in Weakly Communicating Markov Decision Processes
von: Wan, Yi, et al.
Veröffentlicht: (2024)

Expressive Power of Graph Neural Networks for (Mixed-Integer) Quadratic Programs
von: Chen, Ziang, et al.
Veröffentlicht: (2024)

Rethinking the Capacity of Graph Neural Networks for Branching Strategy
von: Chen, Ziang, et al.
Veröffentlicht: (2024)

Convergence of Distributed Adaptive Optimization with Local Updates
von: Cheng, Ziheng, et al.
Veröffentlicht: (2024)

Understanding SGD with Exponential Moving Average: A Case Study in Linear Regression
von: Li, Xuheng, et al.
Veröffentlicht: (2025)

Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization
von: Gong, Xiaochuan, et al.
Veröffentlicht: (2025)

Solving General Natural-Language-Description Optimization Problems with Large Language Models
von: Zhang, Jihai, et al.
Veröffentlicht: (2024)

Non-Smooth Weakly-Convex Finite-sum Coupled Compositional Optimization
von: Hu, Quanqi, et al.
Veröffentlicht: (2023)

A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization
von: Chu, Tianshu, et al.
Veröffentlicht: (2025)

Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers
von: Li, Runjia, et al.
Veröffentlicht: (2024)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

A Short and Unified Convergence Analysis of the SAG, SAGA, and IAG Algorithms
von: Zhu, Feng, et al.
Veröffentlicht: (2026)

Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression
von: He, Yutong, et al.
Veröffentlicht: (2023)

Convergence Analysis of the Lion Optimizer in Centralized and Distributed Settings
von: Jiang, Wei, et al.
Veröffentlicht: (2025)

SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration
von: Kovalev, Dmitry
Veröffentlicht: (2025)

Convergence of Spectral Descent for Non-smooth Optimization
von: Yang, Yixuan, et al.
Veröffentlicht: (2026)

Single-Loop Stochastic Algorithms for Difference of Max-Structured Weakly Convex Functions
von: Hu, Quanqi, et al.
Veröffentlicht: (2024)

Sobolev Gradient Ascent for Optimal Transport: Barycenter Optimization and Convergence Analysis
von: Kim, Kaheon, et al.
Veröffentlicht: (2025)

Convergence Rate Analysis of the AdamW-Style Shampoo: Unifying One-Sided and Two-Sided Preconditioning
von: Li, Huan, et al.
Veröffentlicht: (2026)

Efficient Sign-Based Optimization: Accelerating Convergence via Variance Reduction
von: Jiang, Wei, et al.
Veröffentlicht: (2024)

Bilevel Optimization under Unbounded Smoothness: A New Algorithm and Convergence Analysis
von: Hao, Jie, et al.
Veröffentlicht: (2024)

Convergence Analysis of the PAGE Stochastic Algorithm for Weakly Convex Finite-Sum Optimization
von: Condat, Laurent, et al.
Veröffentlicht: (2025)

Composite Optimization with Error Feedback: the Dual Averaging Approach
von: Gao, Yuan, et al.
Veröffentlicht: (2025)

Directional Smoothness and Gradient Methods: Convergence and Adaptivity
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Adaptive Gradient Normalization and Independent Sampling for (Stochastic) Generalized-Smooth Optimization
von: Yang, Yufeng, et al.
Veröffentlicht: (2024)

Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance
von: Zhang, Qi, et al.
Veröffentlicht: (2024)

An Efficient Global Optimization Algorithm with Adaptive Estimates of the Local Lipschitz Constants
von: D'Agostino, Danny
Veröffentlicht: (2022)

MAP Estimation with Denoisers: Convergence Rates and Guarantees
von: Pesme, Scott, et al.
Veröffentlicht: (2025)

Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
von: Nagashima, Shuntaro, et al.
Veröffentlicht: (2026)

Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2023)

Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods
von: O'Leary-Roseberry, Thomas, et al.
Veröffentlicht: (2024)

Non-Euclidean SGD for Structured Optimization: Unified Analysis and Improved Rates
von: Kovalev, Dmitry, et al.
Veröffentlicht: (2025)