Buchumschlag

StoSignSGD: Unbiased Structural Stochasticity Fixes SignSGD for Training Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yu, Dingzhi, Pan, Rui, Liu, Yuxing, Zhang, Tong
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

When and Why SignSGD Outperforms SGD: A Theoretical Study Based on $\ell_1$-norm Lower Bounds
von: Tao, Hongyi, et al.
Veröffentlicht: (2026)

Scaling Laws of SignSGD in Linear Regression: When Does It Outperform SGD?
von: Kim, Jihwan, et al.
Veröffentlicht: (2026)

Phases of Muon: When Muon Eclipses SignSGD
von: Paquette, Elliot, et al.
Veröffentlicht: (2026)

Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order
von: Petrov, Egor, et al.
Veröffentlicht: (2025)

Unbiased Gradient Low-Rank Projection
von: Pan, Rui, et al.
Veröffentlicht: (2025)

SGD at the Edge of Stability: The Stochastic Sharpness Gap
von: Liao, Fangshuo, et al.
Veröffentlicht: (2026)

Diagonalisation SGD: Fast & Convergent SGD for Non-Differentiable Models via Reparameterisation and Smoothing
von: Wagner, Dominik, et al.
Veröffentlicht: (2024)

Sign-SGD via Parameter-Free Optimization
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

SignSGD with Federated Voting
von: Park, Chanho, et al.
Veröffentlicht: (2024)

Improved Analysis for Sign-based Methods with Momentum Updates
von: Jiang, Wei, et al.
Veröffentlicht: (2025)

SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
von: Dahan, Tehila, et al.
Veröffentlicht: (2023)

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less
von: Liu, Yuxing, et al.
Veröffentlicht: (2026)

Demystifying SGD with Doubly Stochastic Gradients
von: Kim, Kyurae, et al.
Veröffentlicht: (2024)

A Hessian-Aware Stochastic Differential Equation for Modelling SGD
von: Li, Xiang, et al.
Veröffentlicht: (2024)

Sign-Based Optimizers Are Effective Under Heavy-Tailed Noise
von: Yu, Dingzhi, et al.
Veröffentlicht: (2026)

Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
von: Andreyev, Arseniy, et al.
Veröffentlicht: (2024)

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization
von: Sahu, Sharan, et al.
Veröffentlicht: (2026)

LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning
von: Pan, Rui, et al.
Veröffentlicht: (2024)

Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise
von: Pan, Rui, et al.
Veröffentlicht: (2023)

SketchySGD: Reliable Stochastic Optimization via Randomized Curvature Estimates
von: Frangella, Zachary, et al.
Veröffentlicht: (2022)

Making SGD Parameter-Free
von: Carmon, Yair, et al.
Veröffentlicht: (2022)

On the Trajectories of SGD Without Replacement
von: Beneventano, Pierfrancesco
Veröffentlicht: (2023)

Understanding Sampler Stochasticity in Training Diffusion Models for RLHF
von: Sheng, Jiayuan, et al.
Veröffentlicht: (2025)

From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
von: Xie, Shengping, et al.
Veröffentlicht: (2025)

Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
von: Tyurin, Alexander, et al.
Veröffentlicht: (2024)

Does SGD Seek Flatness or Sharpness? An Exactly Solvable Model
von: Xu, Yizhou, et al.
Veröffentlicht: (2026)

Enhancing Stochastic Optimization for Statistical Efficiency Using ROOT-SGD with Diminishing Stepsize
von: Li, Chris Junchi
Veröffentlicht: (2024)

StoTAM: Stochastic Alternating Minimization for Tucker-Structured Tensor Sensing
von: Li, Shuang
Veröffentlicht: (2026)

Dimension-adapted Momentum Outscales SGD
von: Ferbach, Damien, et al.
Veröffentlicht: (2025)

Heavy-Tail Phenomenon in Decentralized SGD
von: Gurbuzbalaban, Mert, et al.
Veröffentlicht: (2022)

AutoSGD: Automatic Learning Rate Selection for Stochastic Gradient Descent
von: Surjanovic, Nikola, et al.
Veröffentlicht: (2025)

Convergence of SGD for Training Neural Networks with Sliced Wasserstein Losses
von: Tanguy, Eloi
Veröffentlicht: (2023)

Faster Convergence of Local SGD for Over-Parameterized Models
von: Qin, Tiancheng, et al.
Veröffentlicht: (2022)

$μ^2$-SGD: Stable Stochastic Optimization via a Double Momentum Mechanism
von: Dahan, Tehila, et al.
Veröffentlicht: (2023)

The Optimality of (Accelerated) SGD for High-Dimensional Quadratic Optimization
von: Zhang, Haihan, et al.
Veröffentlicht: (2024)

Non-Euclidean SGD for Structured Optimization: Unified Analysis and Improved Rates
von: Kovalev, Dmitry, et al.
Veröffentlicht: (2025)

On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

SignSGD with Federated Defense: Harnessing Adversarial Attacks through Gradient Sign Decoding
von: Park, Chanho, et al.
Veröffentlicht: (2024)

Stochastic Optimization of Inventory at Large-scale Supply Chains
von: Jin, Zhaoyang Larry, et al.
Veröffentlicht: (2025)

The Rich and the Simple: On the Implicit Bias of Adam and SGD
von: Vasudeva, Bhavya, et al.
Veröffentlicht: (2025)