Buchumschlag

GNMR: Runtime Stability Control for Low-Precision Large Language Model Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kong, Boao, Jia, Weichen, Zhang, Engao, Li, Guohong, Dong, Yonghan, Wang, Yao, Wang, Yaoyuan, Peng, Yunke, Yuan, Kun
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

BROS: Bias-Corrected Randomized Subspaces for Memory-Efficient Single-Loop Bilevel Optimization
von: Zhang, Hengrui, et al.
Veröffentlicht: (2026)

On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
von: Kong, Boao, et al.
Veröffentlicht: (2026)

SPARKLE: A Unified Single-Loop Primal-Dual Framework for Decentralized Bilevel Optimization
von: Zhu, Shuchen, et al.
Veröffentlicht: (2024)

Decentralized Bilevel Optimization: A Perspective from Transient Iteration Complexity
von: Kong, Boao, et al.
Veröffentlicht: (2024)

Clapping: Removing Per-sample Storage for Pipeline Parallel Distributed Optimization with Communication Compression
von: Kong, Boao, et al.
Veröffentlicht: (2025)

Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees
von: Chen, Chuyan, et al.
Veröffentlicht: (2025)

Stabilizing Rate of Stochastic Control Systems
von: Jia, Hui, et al.
Veröffentlicht: (2025)

Compressing Large Language Models using Low Rank and Low Precision Decomposition
von: Saha, Rajarshi, et al.
Veröffentlicht: (2024)

An Overview of Low-Rank Structures in the Training and Adaptation of Large Models
von: Balzano, Laura, et al.
Veröffentlicht: (2025)

SUDA-Muon: Structural Design Principles and Boundaries for Fully Decentralized Muon
von: Zhang, Hengrui, et al.
Veröffentlicht: (2026)

Learning to Control Stabilization in Column Generation
von: Wang, Olivia, et al.
Veröffentlicht: (2026)

CR-Net: Scaling Parameter-Efficient Training with Cross-Layer Low-Rank Structure
von: Kong, Boao, et al.
Veröffentlicht: (2025)

Subspace Optimization for Large Language Models with Convergence Guarantees
von: He, Yutong, et al.
Veröffentlicht: (2024)

Nonlinear Optimal Guidance for Impact Time Control with Field-of-View Constraint
von: Lu, Fangmin, et al.
Veröffentlicht: (2025)

GradPower: Powering Gradients for Faster Language Model Pre-Training
von: Wang, Jinbo, et al.
Veröffentlicht: (2025)

A Multi-scale Perimeter Control and Route Guidance System for Large-scale Road Networks
von: Peng, Xianyue, et al.
Veröffentlicht: (2025)

Safety on the Fly: Constructing Robust Safety Filters via Policy Control Barrier Functions at Runtime
von: Knoedler, Luzia, et al.
Veröffentlicht: (2024)

Empirical Asymptotic Runtime Analysis of Linear Programming Algorithms
von: Rothberg, Edward
Veröffentlicht: (2026)

A Multi-objective Sequential Quadratic Programming Algorithm Based on Low-order Smooth Penalty Function
von: Kong, Zanyang
Veröffentlicht: (2025)

From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
von: Xie, Shengping, et al.
Veröffentlicht: (2025)

A Proximal DC Algorithm for Sample Average Approximation of Chance Constrained Programming
von: Wang, Peng, et al.
Veröffentlicht: (2023)

Boundary Stabilization for the Rayleigh Beam System under Event-triggered Controls
von: Wang, Siwen, et al.
Veröffentlicht: (2026)

Optimal Complexity in Byzantine-Robust Distributed Stochastic Optimization with Data Heterogeneity
von: Shi, Qiankun, et al.
Veröffentlicht: (2025)

Initial Error Tolerant Distributed Mean Field Control under Partial and Discrete Information
von: Jin, Yuxin, et al.
Veröffentlicht: (2025)

Reinforcement Learning for Distributed Transient Frequency Control with Stability and Safety Guarantees
von: Yuan, Zhenyi, et al.
Veröffentlicht: (2022)

Frictionless Hamiltonian Descent and Coordinate Hamiltonian Descent for Strongly Convex Quadratic Problems
von: Wang, Jun-Kun
Veröffentlicht: (2024)

LoCo: Low-Bit Communication Adaptor for Large-scale Model Training
von: Xie, Xingyu, et al.
Veröffentlicht: (2024)

Stability, Contraction, and Controllers for Affine Systems
von: Wieringa, L. P., et al.
Veröffentlicht: (2026)

Exact Controllability and Stabilization of the Wave Equation
von: Zuazua, Enrique
Veröffentlicht: (2024)

Stochastic Model Predictive Control for Sub-Gaussian Noise
von: Ao, Yunke, et al.
Veröffentlicht: (2025)

Latent Representations for Control Design with Provable Stability and Safety Guarantees
von: Lutkus, Paul, et al.
Veröffentlicht: (2025)

A Precise Characterization of SGD Stability Using Loss Surface Geometry
von: Dexter, Gregory, et al.
Veröffentlicht: (2024)

Perturbation-Tolerant Structural Controllability for Linear Systems
von: Zhang, Yuan, et al.
Veröffentlicht: (2021)

Analysis of Stability and Performance of Economic Model Predictive Control with State-Independent Costs
von: Arastou, Alireza, et al.
Veröffentlicht: (2026)

On the Exponential Stability of Koopman Model Predictive Control
von: Shang, Xu, et al.
Veröffentlicht: (2025)

MARS: Unleashing the Power of Variance Reduction for Training Large Models
von: Yuan, Huizhuo, et al.
Veröffentlicht: (2024)

Set-based Optimal, Robust, and Resilient Control with Applications to Autonomous Precision Landing
von: Kamath, Abhinav G., et al.
Veröffentlicht: (2025)

Low-Order Explicit Hessian Imitation Method for Large-Scale Supervised Machine Learning
von: Zhu, Yunlang, et al.
Veröffentlicht: (2026)

Mixed-Precision GPU Acceleration for Large-Scale Minimum Enclosing Ball Problems
von: Liang, Ling, et al.
Veröffentlicht: (2026)

Does Weight Decay Enhance Training Stability?
von: Saether, Marius, et al.
Veröffentlicht: (2026)