Buchumschlag

Adaptive Optimization via Momentum on Variance-Normalized Gradients

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Patitucci, Francisco, Mokhtari, Aryan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Improving Online-to-Nonconvex Conversion for Smooth Optimization via Double Optimism
von: Patitucci, Francisco, et al.
Veröffentlicht: (2025)

Improved Complexity for Smooth Nonconvex Optimization: A Two-Level Online Learning Approach with Quasi-Newton Methods
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Online Learning-guided Learning Rate Adaptation via Gradient Alignment
von: Jiang, Ruichen, et al.
Veröffentlicht: (2025)

An Accelerated Gradient Method for Convex Smooth Simple Bilevel Optimization
von: Cao, Jincheng, et al.
Veröffentlicht: (2024)

Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization
von: Jiang, Ruichen, et al.
Veröffentlicht: (2026)

Adaptive and Optimal Second-order Optimistic Methods for Minimax Optimization
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

On the Complexity of Finding Stationary Points in Nonconvex Simple Bilevel Optimization
von: Cao, Jincheng, et al.
Veröffentlicht: (2025)

Global Convergence of Natural Policy Gradient with Hessian-aided Momentum Variance Reduction
von: Feng, Jie, et al.
Veröffentlicht: (2024)

Stochastic Newton Proximal Extragradient Method
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Adaptive Gradient Normalization and Independent Sampling for (Stochastic) Generalized-Smooth Optimization
von: Yang, Yufeng, et al.
Veröffentlicht: (2024)

Shuffling Momentum Gradient Algorithm for Convex Optimization
von: Tran, Trang H., et al.
Veröffentlicht: (2024)

Muon is Provably Faster with Momentum Variance Reduction
von: Qian, Xun, et al.
Veröffentlicht: (2025)

Beyond Bounded Variance: Variance-Reduced Normalized Methods for Nonconvex Optimization under Blum-Gladyshev Noise
von: Upadhyay, Antesh, et al.
Veröffentlicht: (2026)

Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
von: Liu, Wei, et al.
Veröffentlicht: (2025)

Gradient-Normalized Smoothness for Optimization with Approximate Hessians
von: Semenov, Andrei, et al.
Veröffentlicht: (2025)

Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions
von: Jiang, Wei, et al.
Veröffentlicht: (2024)

On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization
von: Liang, Ling, et al.
Veröffentlicht: (2024)

Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models
von: Xie, Xingyu, et al.
Veröffentlicht: (2022)

A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints
von: Wang, Lei, et al.
Veröffentlicht: (2022)

Stochastic Gradient Langevin Dynamics with Variance Reduction
von: Huang, Zhishen, et al.
Veröffentlicht: (2021)

Projected Forward Gradient-Guided Frank-Wolfe Algorithm via Variance Reduction
von: Rostami, M., et al.
Veröffentlicht: (2024)

On the Crucial Role of Initialization for Matrix Factorization
von: Li, Bingcong, et al.
Veröffentlicht: (2024)

Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults
von: Phunyaphibarn, Prin, et al.
Veröffentlicht: (2023)

ASGO: Adaptive Structured Gradient Optimization
von: An, Kang, et al.
Veröffentlicht: (2025)

Double Variance Reduction: A Smoothing Trick for Composite Optimization Problems without First-Order Gradient
von: Di, Hao, et al.
Veröffentlicht: (2024)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

Gradient Estimation and Variance Reduction in Stochastic and Deterministic Models
von: Keane, Ronan
Veröffentlicht: (2024)

Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
von: Chayti, El Mahdi
Veröffentlicht: (2026)

Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
von: Sato, Naoki, et al.
Veröffentlicht: (2024)

Keep the Momentum: Conservation Laws beyond Euclidean Gradient Flows
von: Marcotte, Sibylle, et al.
Veröffentlicht: (2024)

Efficient Sign-Based Optimization: Accelerating Convergence via Variance Reduction
von: Jiang, Wei, et al.
Veröffentlicht: (2024)

Variance-Reduced $(\varepsilon,δ)-$Unlearning using Forget Set Gradients
von: Van Waerebeke, Martin, et al.
Veröffentlicht: (2026)

Stochastic Difference-of-Convex Optimization with Momentum
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2025)

An Inexact Conditional Gradient Method for Constrained Bilevel Optimization
von: Abolfazli, Nazanin, et al.
Veröffentlicht: (2023)

Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
von: Zhao, Yuheng, et al.
Veröffentlicht: (2025)

LDAdam: Adaptive Optimization from Low-Dimensional Gradient Statistics
von: Robert, Thomas, et al.
Veröffentlicht: (2024)

Adaptive Momentum and Nonlinear Damping for Neural Network Training
von: Karoni, Aikaterini, et al.
Veröffentlicht: (2026)