Buchumschlag

Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fang, Yuchen, Demmel, James, Lavaei, Javad
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Numerical Analysis Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

High Probability Complexity Bounds of Trust-Region Stochastic Sequential Quadratic Programming with Heavy-Tailed Noise
von: Fang, Yuchen, et al.
Veröffentlicht: (2025)

A Trust-Region Interior-Point Stochastic Sequential Quadratic Programming Method
von: Fang, Yuchen, et al.
Veröffentlicht: (2026)

All-Pass Fractional OPF: A Solver-Friendly, Physics-Preserving Approximation of AC OPF
von: Hasanzadeh, Milad, et al.
Veröffentlicht: (2026)

Towards Quantifying the Preconditioning Effect of Adam
von: Das, Rudrajit, et al.
Veröffentlicht: (2024)

Optimal Contract Design for End-of-Life Care Payments
von: Jiang, Muyan, et al.
Veröffentlicht: (2024)

Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models
von: Fang, Yuchen, et al.
Veröffentlicht: (2024)

TRSVR: An Adaptive Stochastic Trust-Region Method with Variance Reduction
von: Fang, Yuchen, et al.
Veröffentlicht: (2026)

Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models
von: Zhang, Fangzhao, et al.
Veröffentlicht: (2024)

Last-Iterate Convergence of Randomized Kaczmarz and SGD with Greedy Step Size
von: Dereziński, Michał, et al.
Veröffentlicht: (2026)

OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality
von: Yuan, Ganzhao
Veröffentlicht: (2026)

Revisiting Gradient Normalization and Clipping for Nonconvex SGD under Heavy-Tailed Noise: Necessity, Sufficiency, and Acceleration
von: Sun, Tao, et al.
Veröffentlicht: (2024)

Inexact Projected Preconditioned Gradient Methods with Variable Metrics: General Convergence Theory via Lyapunov Approach
von: Guo, Ruchi, et al.
Veröffentlicht: (2025)

Scalable Approximate Optimal Diagonal Preconditioning
von: Gao, Wenzhi, et al.
Veröffentlicht: (2023)

Can SGD Handle Heavy-Tailed Noise?
von: Fatkhullin, Ilyas, et al.
Veröffentlicht: (2025)

Preconditioning transformations of adjoint systems for evolution equations
von: Tran, Brian K., et al.
Veröffentlicht: (2025)

On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality
von: Xia, Lu, et al.
Veröffentlicht: (2023)

From Gradient Clipping to Normalization for Heavy Tailed SGD
von: Hübler, Florian, et al.
Veröffentlicht: (2024)

Parallel-in-Time Preconditioning for Time-Dependent Variational Mean Field Games
von: Ljósheim, Heidi Wolles, et al.
Veröffentlicht: (2025)

Preconditioned iterative solvers for constrained high-order implicit shock tracking methods
von: Vandergrift, Jakob, et al.
Veröffentlicht: (2024)

Transformers Can Implement Preconditioned Richardson Iteration for In-Context Gaussian Kernel Regression
von: Yan, Mingsong, et al.
Veröffentlicht: (2026)

Stochastic Langevin Differential Inclusions with Applications to Machine Learning
von: Difonzo, Fabio V., et al.
Veröffentlicht: (2022)

Using Linearized Optimal Transport to Predict the Evolution of Stochastic Particle Systems
von: Karris, Nicholas, et al.
Veröffentlicht: (2024)

Accuracy of Discretely Sampled Stochastic Policies in Continuous-time Reinforcement Learning
von: Jia, Yanwei, et al.
Veröffentlicht: (2025)

Adaptive Lipschitz-Free Conditional Gradient Methods for Stochastic Composite Nonconvex Optimization
von: Yuan, Ganzhao
Veröffentlicht: (2026)

UAdam: Unified Adam-Type Algorithmic Framework for Non-Convex Stochastic Optimization
von: Jiang, Yiming, et al.
Veröffentlicht: (2023)

Sharp High-Probability Rates for Nonlinear SGD under Heavy-Tailed Noise via Symmetrization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2025)

Solving Dense Linear Systems Faster Than via Preconditioning
von: Dereziński, Michał, et al.
Veröffentlicht: (2023)

Stochastic Optimal Control Matching
von: Domingo-Enrich, Carles, et al.
Veröffentlicht: (2023)

Complexity of Zeroth- and First-order Stochastic Trust-Region Algorithms
von: Ha, Yunsoo, et al.
Veröffentlicht: (2024)

Gradient is All You Need? How Consensus-Based Optimization can be Interpreted as a Stochastic Relaxation of Gradient Descent
von: Riedl, Konstantin, et al.
Veröffentlicht: (2023)

On the Width Scaling of Neural Optimizers Under Matrix Operator Norms I: Row/Column Normalization and Hyperparameter Transfer
von: Xu, Ruihan, et al.
Veröffentlicht: (2026)

Scaled Relative Graph of Normal Matrices
von: Huang, Xinmeng, et al.
Veröffentlicht: (2019)

Convergence of Adam for Non-convex Objectives: Relaxed Hyperparameters and Non-ergodic Case
von: He, Meixuan, et al.
Veröffentlicht: (2023)

Faster Linear Systems and Matrix Norm Approximation via Multi-level Sketched Preconditioning
von: Dereziński, Michał, et al.
Veröffentlicht: (2024)

A Block Coordinate Descent Method for Nonsmooth Composite Optimization under Orthogonality Constraints
von: Yuan, Ganzhao
Veröffentlicht: (2023)

Heavy-Tail Phenomenon in Decentralized SGD
von: Gurbuzbalaban, Mert, et al.
Veröffentlicht: (2022)

Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise
von: Wu, Yidong, et al.
Veröffentlicht: (2026)

In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
von: Liu, Zijian
Veröffentlicht: (2026)

End-to-End Mesh Optimization of a Hybrid Deep Learning Black-Box PDE Solver
von: Ma, Shaocong, et al.
Veröffentlicht: (2024)

Stochastic gradient with least-squares control variates
von: Nobile, Fabio, et al.
Veröffentlicht: (2025)