Copertina

On the Stability of Nonlinear Dynamics in GD and SGD: Beyond Quadratic Potentials

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Mulayoff, Rotem, Stich, Sebastian U.
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Exact Mean Square Linear Stability Analysis for SGD
di: Mulayoff, Rotem, et al.
Pubblicazione: (2023)

LoRA vs. Full Fine-Tuning: A Theoretical Perspective
di: Zindari, Ali, et al.
Pubblicazione: (2026)

Learning When to Adapt
di: Zindari, Ali, et al.
Pubblicazione: (2026)

The Expected Loss of Preconditioned Langevin Dynamics Reveals the Hessian Rank
di: Bar, Amitay, et al.
Pubblicazione: (2024)

Revisiting LocalSGD and SCAFFOLD: Improved Rates and Missing Analysis
di: Luo, Ruichen, et al.
Pubblicazione: (2025)

Hierarchical Uncertainty Exploration via Feedforward Posterior Trees
di: Nehme, Elias, et al.
Pubblicazione: (2024)

Stabilized Proximal-Point Methods for Federated Optimization
di: Jiang, Xiaowen, et al.
Pubblicazione: (2024)

The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
di: Patel, Kumar Kshitij, et al.
Pubblicazione: (2024)

Sequential Subspace Noise Injection Prevents Accuracy Collapse in Certified Unlearning
di: Dolgova, Polina, et al.
Pubblicazione: (2026)

Forgetting Has Neighbors: Localized Collateral Forgetting in Machine Unlearning
di: Dolgova, Polina, et al.
Pubblicazione: (2026)

Scalable Decentralized Learning with Teleportation
di: Takezawa, Yuki, et al.
Pubblicazione: (2025)

Locally Adaptive Federated Learning
di: Mukherjee, Sohom, et al.
Pubblicazione: (2023)

Non-convex Stochastic Composite Optimization with Polyak Momentum
di: Gao, Yuan, et al.
Pubblicazione: (2024)

Non-Convex Federated Optimization under Cost-Aware Client Selection
di: Jiang, Xiaowen, et al.
Pubblicazione: (2025)

Federated Optimization with Doubly Regularized Drift Correction
di: Jiang, Xiaowen, et al.
Pubblicazione: (2024)

Towards Faster Decentralized Stochastic Optimization with Communication Compression
di: Islamov, Rustem, et al.
Pubblicazione: (2024)

Discovering Interpretable Directions in the Semantic Latent Space of Diffusion Models
di: Haas, René, et al.
Pubblicazione: (2023)

Anon: Extrapolating Adaptivity Beyond SGD and Adam
di: Zhang, Yiheng, et al.
Pubblicazione: (2026)

The Optimality of (Accelerated) SGD for High-Dimensional Quadratic Optimization
di: Zhang, Haihan, et al.
Pubblicazione: (2024)

Accelerated Distributed Optimization with Compression and Error Feedback
di: Gao, Yuan, et al.
Pubblicazione: (2025)

FedMuon: Federated Learning with Bias-corrected LMO-based Optimization
di: Takezawa, Yuki, et al.
Pubblicazione: (2025)

Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates
di: Zhang, Siqi, et al.
Pubblicazione: (2023)

On Convergence of Incremental Gradient for Non-Convex Smooth Functions
di: Koloskova, Anastasia, et al.
Pubblicazione: (2023)

Exploiting Similarity for Computation and Communication-Efficient Decentralized Optimization
di: Takezawa, Yuki, et al.
Pubblicazione: (2025)

Stability and Generalization for Decentralized Markov SGD
di: Wang, Jiahuan, et al.
Pubblicazione: (2026)

Decoupled SGDA for Games with Intermittent Strategy Communication
di: Zindari, Ali, et al.
Pubblicazione: (2025)

ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training
di: Wang, Hui-Po, et al.
Pubblicazione: (2021)

Breaking the Likelihood-Quality Trade-off in Diffusion Models by Merging Pretrained Experts
di: Esfandiari, Yasin, et al.
Pubblicazione: (2025)

GD-VAEs: Geometric Dynamic Variational Autoencoders for Learning Nonlinear Dynamics and Dimension Reductions
di: Lopez, Ryan, et al.
Pubblicazione: (2022)

Bootstrap SGD: Algorithmic Stability and Robustness
di: Christmann, Andreas, et al.
Pubblicazione: (2024)

Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
di: Andreyev, Arseniy, et al.
Pubblicazione: (2024)

Stability-Certified Learning of Control Systems with Quadratic Nonlinearities
di: Duff, Igor Pontes, et al.
Pubblicazione: (2024)

Improved Stability and Generalization Guarantees of the Decentralized SGD Algorithm
di: Bars, Batiste Le, et al.
Pubblicazione: (2023)

Limitations of SGD for Multi-Index Models Beyond Statistical Queries
di: Barzilai, Daniel, et al.
Pubblicazione: (2026)

Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
di: Vyas, Nikhil, et al.
Pubblicazione: (2023)

Generalized Quadratic Embeddings for Nonlinear Dynamics using Deep Learning
di: Goyal, Pawan, et al.
Pubblicazione: (2022)

DADA: Dual Averaging with Distance Adaptation
di: Moshtaghifar, Mohammad, et al.
Pubblicazione: (2025)

Composite Optimization with Error Feedback: the Dual Averaging Approach
di: Gao, Yuan, et al.
Pubblicazione: (2025)

SGD at the Edge of Stability: The Stochastic Sharpness Gap
di: Liao, Fangshuo, et al.
Pubblicazione: (2026)

Disentanglement Beyond Static vs. Dynamic: A Benchmark and Evaluation Framework for Multi-Factor Sequential Representations
di: Barami, Tal, et al.
Pubblicazione: (2025)