Buchumschlag

Catapults in SGD: spikes in the training loss and their impact on generalization through feature learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhu, Libin, Liu, Chaoyue, Radhakrishnan, Adityanarayanan, Belkin, Mikhail
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Quadratic models for understanding catapult dynamics of neural networks
von: Zhu, Libin, et al.
Veröffentlicht: (2022)

xRFM: Accurate, scalable, and interpretable feature learning models for tabular data
von: Beaglehole, Daniel, et al.
Veröffentlicht: (2025)

Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults
von: Phunyaphibarn, Prin, et al.
Veröffentlicht: (2023)

Mirror Descent on Reproducing Kernel Banach Spaces
von: Kumar, Akash, et al.
Veröffentlicht: (2024)

Linear Recursive Feature Machines provably recover low-rank matrices
von: Radhakrishnan, Adityanarayanan, et al.
Veröffentlicht: (2024)

Heavy-Tail Phenomenon in Decentralized SGD
von: Gurbuzbalaban, Mert, et al.
Veröffentlicht: (2022)

Ultra-fast feature learning for the training of two-layer neural networks in the two-timescale regime
von: Barboni, Raphaël, et al.
Veröffentlicht: (2025)

Convergence and concentration properties of constant step-size SGD through Markov chains
von: Merad, Ibrahim, et al.
Veröffentlicht: (2023)

Emergence in non-neural models: grokking modular arithmetic via average gradient outer product
von: Mallinar, Neil, et al.
Veröffentlicht: (2024)

SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
von: Dahan, Tehila, et al.
Veröffentlicht: (2023)

Iteratively reweighted kernel machines efficiently learn sparse functions
von: Zhu, Libin, et al.
Veröffentlicht: (2025)

On the Trajectories of SGD Without Replacement
von: Beneventano, Pierfrancesco
Veröffentlicht: (2023)

Making SGD Parameter-Free
von: Carmon, Yair, et al.
Veröffentlicht: (2022)

The Optimality of (Accelerated) SGD for High-Dimensional Quadratic Optimization
von: Zhang, Haihan, et al.
Veröffentlicht: (2024)

From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
von: Xie, Shengping, et al.
Veröffentlicht: (2025)

Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
von: Tyurin, Alexander, et al.
Veröffentlicht: (2024)

Dimension-adapted Momentum Outscales SGD
von: Ferbach, Damien, et al.
Veröffentlicht: (2025)

Demystifying SGD with Doubly Stochastic Gradients
von: Kim, Kyurae, et al.
Veröffentlicht: (2024)

Does SGD Seek Flatness or Sharpness? An Exactly Solvable Model
von: Xu, Yizhou, et al.
Veröffentlicht: (2026)

The Rich and the Simple: On the Implicit Bias of Adam and SGD
von: Vasudeva, Bhavya, et al.
Veröffentlicht: (2025)

Sign-SGD via Parameter-Free Optimization
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

Can SGD Handle Heavy-Tailed Noise?
von: Fatkhullin, Ilyas, et al.
Veröffentlicht: (2025)

SGD with memory: fundamental properties and stochastic acceleration
von: Yarotsky, Dmitry, et al.
Veröffentlicht: (2024)

Does SGD really happen in tiny subspaces?
von: Song, Minhak, et al.
Veröffentlicht: (2024)

Byzantine-Robust Distributed SGD: A Unified Analysis and Tight Error Bounds
von: Ruan, Boyuan, et al.
Veröffentlicht: (2026)

Novel clustered federated learning based on local loss
von: Gu, Endong, et al.
Veröffentlicht: (2024)

The Marginal Value of Momentum for Small Learning Rate SGD
von: Wang, Runzhe, et al.
Veröffentlicht: (2023)

Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
von: Andreyev, Arseniy, et al.
Veröffentlicht: (2024)

From Gradient Clipping to Normalization for Heavy Tailed SGD
von: Hübler, Florian, et al.
Veröffentlicht: (2024)

Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data
von: Wang, Xiaolu, et al.
Veröffentlicht: (2024)

Faster Convergence of Local SGD for Over-Parameterized Models
von: Qin, Tiancheng, et al.
Veröffentlicht: (2022)

Phases of Muon: When Muon Eclipses SignSGD
von: Paquette, Elliot, et al.
Veröffentlicht: (2026)

SGD with Partial Hessian for Deep Neural Networks Optimization
von: Sun, Ying, et al.
Veröffentlicht: (2024)

Optimal Projection-Free Adaptive SGD for Matrix Optimization
von: Kovalev, Dmitry
Veröffentlicht: (2026)

SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration
von: Kovalev, Dmitry
Veröffentlicht: (2025)

Global Convergence of SGD On Two Layer Neural Nets
von: Gopalani, Pulkit, et al.
Veröffentlicht: (2022)

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization
von: Sahu, Sharan, et al.
Veröffentlicht: (2026)

Accelerating Single-Pass SGD for Generalized Linear Prediction
von: Chen, Qian, et al.
Veröffentlicht: (2026)

On the impact of measure pre-conditionings on general parametric ML models and transfer learning via domain adaptation
von: García, Joaquín Sánchez
Veröffentlicht: (2024)

Efficient and accurate steering of Large Language Models through attention-guided feature learning
von: Davarmanesh, Parmida, et al.
Veröffentlicht: (2026)