Buchumschlag

On the Interaction of Batch Noise, Adaptivity, and Compression, under $(L_0,L_1)$-Smoothness: An SDE Approach

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Compagnoni, Enea Monzio, Islamov, Rustem, Proske, Frank Norbert, Lucchi, Aurelien, Orvieto, Antonio, Gorbunov, Eduard
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Unbiased and Sign Compression in Distributed Learning: Comparing Noise Resilience via SDEs
von: Compagnoni, Enea Monzio, et al.
Veröffentlicht: (2025)

Adaptive Methods through the Lens of SDEs: Theoretical Insights on the Role of Noise
von: Compagnoni, Enea Monzio, et al.
Veröffentlicht: (2024)

Adaptive Methods Are Preferable in High Privacy Settings: An SDE Perspective
von: Compagnoni, Enea Monzio, et al.
Veröffentlicht: (2026)

SDEs for Minimax Optimization
von: Compagnoni, Enea Monzio, et al.
Veröffentlicht: (2024)

On the Role of Batch Size in Stochastic Conditional Gradient Methods
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Loss Landscape Characterization of Neural Networks without Over-Parametrization
von: Islamov, Rustem, et al.
Veröffentlicht: (2024)

Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Why Do We Need Warm-up? A Theoretical Perspective
von: Alimisis, Foivos, et al.
Veröffentlicht: (2025)

Byzantine-Robust Optimization under $(L_0, L_1)$-Smoothness
von: Bolatov, Arman, et al.
Veröffentlicht: (2026)

Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2025)

Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum
von: Khirirat, Sarit, et al.
Veröffentlicht: (2024)

Linear Convergence Rate in Convex Setup is Possible! Gradient Descent Method Variants under $(L_0,L_1)$-Smoothness
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2024)

Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2024)

Towards Faster Decentralized Stochastic Optimization with Communication Compression
von: Islamov, Rustem, et al.
Veröffentlicht: (2024)

Small Noise Perturbations in Multidimensional Case
von: Pilipenko, Andrey, et al.
Veröffentlicht: (2021)

Safe-EF: Error Feedback for Nonsmooth Constrained Optimization
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2021)

Noise-Induced Equalization in quantum learning models
von: Scala, Francesco, et al.
Veröffentlicht: (2025)

Smoothness of solutions of hyperbolic stochastic partial differential equations with $L^{\infty}$-vector fields
von: Bogso, Antoine-Marie, et al.
Veröffentlicht: (2022)

Non-Euclidean Gradient Descent Operates at the Edge of Stability
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Last Iterate Convergence of AdaGrad-Norm for Convex Non-Smooth Optimization
von: Preobrazhenskaia, Margarita, et al.
Veröffentlicht: (2026)

Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems
von: Puchkin, Nikita, et al.
Veröffentlicht: (2023)

An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
von: Orvieto, Antonio, et al.
Veröffentlicht: (2024)

A Theoretical Analysis of the Learning Dynamics under Class Imbalance
von: Francazi, Emanuele, et al.
Veröffentlicht: (2022)

The Effects of the Gravitational Coupling Variation on the Local $H_0$ Estimation
von: Romano, Antonio Enea
Veröffentlicht: (2024)

On the Analysis of a Singular Stochastic Volterra Differential Equation driven by a Wiener Noise
von: Coffie, Emmanuel, et al.
Veröffentlicht: (2025)

Median Clipping for Zeroth-order Non-Smooth Convex Optimization and Multi-Armed Bandit Problem with Heavy-tailed Symmetric Noise
von: Kornilov, Nikita, et al.
Veröffentlicht: (2024)

Communication Compression for Byzantine Robust Learning: New Efficient Algorithms and Improved Rates
von: Rammal, Ahmad, et al.
Veröffentlicht: (2023)

Cubic regularized subspace Newton for non-convex optimization
von: Zhao, Jim, et al.
Veröffentlicht: (2024)

Changing the properties of Hf$_{0.5}$Zr$_{0.5}$O$_{2}$ during cyclic repolarization of ferroelectric capacitors with different electrode materials
von: Zalyalov, Timur M., et al.
Veröffentlicht: (2022)

Near-Optimal Convergence of Accelerated Gradient Methods under Generalized and $(L_0, L_1)$-Smoothness
von: Tyurin, Alexander
Veröffentlicht: (2025)

Dynamics of SGD with Stochastic Polyak Stepsizes: Truly Adaptive Variants and Convergence to Exact Solution
von: Orvieto, Antonio, et al.
Veröffentlicht: (2022)

Unpacking Softmax: How Temperature Drives Representation Collapse, Compression, and Generalization
von: Masarczyk, Wojciech, et al.
Veröffentlicht: (2025)

Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness
von: Pethick, Thomas, et al.
Veröffentlicht: (2025)

Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization
von: Demidovich, Yury, et al.
Veröffentlicht: (2024)

Adaptive Compressible Smoothed Particle Hydrodynamics
von: Villodi, Navaneet, et al.
Veröffentlicht: (2025)

Adam Simplified: Bias Correction Debunked
von: Laing, Sam, et al.
Veröffentlicht: (2025)

Revisiting associative recall in modern recurrent models
von: Okpekpe, Destiny, et al.
Veröffentlicht: (2025)