Buchumschlag

Adaptive Methods through the Lens of SDEs: Theoretical Insights on the Role of Noise

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Compagnoni, Enea Monzio, Liu, Tianlin, Islamov, Rustem, Proske, Frank Norbert, Orvieto, Antonio, Lucchi, Aurelien
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Unbiased and Sign Compression in Distributed Learning: Comparing Noise Resilience via SDEs
von: Compagnoni, Enea Monzio, et al.
Veröffentlicht: (2025)

On the Interaction of Batch Noise, Adaptivity, and Compression, under $(L_0,L_1)$-Smoothness: An SDE Approach
von: Compagnoni, Enea Monzio, et al.
Veröffentlicht: (2025)

SDEs for Minimax Optimization
von: Compagnoni, Enea Monzio, et al.
Veröffentlicht: (2024)

Adaptive Methods Are Preferable in High Privacy Settings: An SDE Perspective
von: Compagnoni, Enea Monzio, et al.
Veröffentlicht: (2026)

Loss Landscape Characterization of Neural Networks without Over-Parametrization
von: Islamov, Rustem, et al.
Veröffentlicht: (2024)

Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Why Do We Need Warm-up? A Theoretical Perspective
von: Alimisis, Foivos, et al.
Veröffentlicht: (2025)

On the Role of Batch Size in Stochastic Conditional Gradient Methods
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Safe-EF: Error Feedback for Nonsmooth Constrained Optimization
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Explaining Grokking in Transformers through the Lens of Inductive Bias
von: Singh, Jaisidh, et al.
Veröffentlicht: (2026)

An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
von: Orvieto, Antonio, et al.
Veröffentlicht: (2024)

Theoretical characterisation of the Gauss-Newton conditioning in Neural Networks
von: Zhao, Jim, et al.
Veröffentlicht: (2024)

A Theoretical Analysis of the Learning Dynamics under Class Imbalance
von: Francazi, Emanuele, et al.
Veröffentlicht: (2022)

Towards Faster Decentralized Stochastic Optimization with Communication Compression
von: Islamov, Rustem, et al.
Veröffentlicht: (2024)

Non-Euclidean Gradient Descent Operates at the Edge of Stability
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Geometric Inductive Biases of Deep Networks: The Role of Data and Architecture
von: Movahedi, Sajad, et al.
Veröffentlicht: (2024)

Adam Simplified: Bias Correction Debunked
von: Laing, Sam, et al.
Veröffentlicht: (2025)

Revisiting associative recall in modern recurrent models
von: Okpekpe, Destiny, et al.
Veröffentlicht: (2025)

Cubic regularized subspace Newton for non-convex optimization
von: Zhao, Jim, et al.
Veröffentlicht: (2024)

In Search of Adam's Secret Sauce
von: Orvieto, Antonio, et al.
Veröffentlicht: (2025)

Theoretical Foundations of Deep Selective State-Space Models
von: Cirone, Nicola Muca, et al.
Veröffentlicht: (2024)

Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum
von: Cheng, Tin Sum, et al.
Veröffentlicht: (2024)

Optimizer choice matters for the emergence of Neural Collapse
von: Zhao, Jim, et al.
Veröffentlicht: (2026)

A Comprehensive Analysis on the Learning Curve in Kernel Ridge Regression
von: Cheng, Tin Sum, et al.
Veröffentlicht: (2024)

Recurrent neural networks: vanishing and exploding gradients are not the end of the story
von: Zucchet, Nicolas, et al.
Veröffentlicht: (2024)

An Uncertainty Principle for Linear Recurrent Neural Networks
von: François, Alexandre, et al.
Veröffentlicht: (2025)

Universal Dynamics of Warmup Stable Decay: understanding WSD beyond Transformers
von: Belloni, Annalisa, et al.
Veröffentlicht: (2026)

Improved state mixing in higher-order and block diagonal linear recurrent networks
von: Dubinin, Igor, et al.
Veröffentlicht: (2026)

When, Where and Why to Average Weights?
von: Ajroldi, Niccolò, et al.
Veröffentlicht: (2025)

On the Intrinsic Dimensions of Data in Kernel Learning
von: Takhanov, Rustem
Veröffentlicht: (2026)

The informativeness of the gradient revisited
von: Takhanov, Rustem
Veröffentlicht: (2025)

Initial Guessing Bias: How Untrained Networks Favor Some Classes
von: Francazi, Emanuele, et al.
Veröffentlicht: (2023)

Conditional KRR: Injecting Unpenalized Features into Kernel Methods with Applications to Kernel Thresholding
von: Takhanov, Rustem, et al.
Veröffentlicht: (2026)

On the SDEs and Scaling Rules for Adaptive Gradient Algorithms
von: Malladi, Sadhika, et al.
Veröffentlicht: (2022)

Generator Identification for Linear SDEs with Additive and Multiplicative Noise
von: Wang, Yuanyuan, et al.
Veröffentlicht: (2023)

Optimization Guarantees for Square-Root Natural-Gradient Variational Inference
von: Kumar, Navish, et al.
Veröffentlicht: (2025)

Gradient Scalability and Taylor Surrogation of Quantum Cost Landscapes
von: Meyer, Sabri, et al.
Veröffentlicht: (2025)

Is your batch size the problem? Revisiting the Adam-SGD gap in language modeling
von: Srećković, Teodora, et al.
Veröffentlicht: (2025)