Buchumschlag

Stochastic Rounding for LLM Training: Theory and Practice

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ozkara, Kaan, Yu, Tao, Park, Youngsuk
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MuonBP: Faster Muon via Block-Periodic Orthogonalization
von: Khaled, Ahmed, et al.
Veröffentlicht: (2025)

Training LLMs with MXFP4
von: Tseng, Albert, et al.
Veröffentlicht: (2025)

Directional Alignment Mitigates Reward Hacking in Reinforcement Learning for Language Models
von: Deng, Wenlong, et al.
Veröffentlicht: (2026)

SPIRE: Conditional Personalization for Federated Diffusion Generative Models
von: Ozkara, Kaan, et al.
Veröffentlicht: (2025)

ADEPT: Hierarchical Bayes Approach to Personalized Federated Unsupervised Learning
von: Ozkara, Kaan, et al.
Veröffentlicht: (2024)

Collage: Light-Weight Low-Precision Strategy for LLM Training
von: Yu, Tao, et al.
Veröffentlicht: (2024)

Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs
von: Bian, Song, et al.
Veröffentlicht: (2025)

Direct Quantized Training of Language Models with Stochastic Rounding
von: Zhao, Kaiyan, et al.
Veröffentlicht: (2024)

Training with Fewer Bits: Unlocking Edge LLMs Training with Stochastic Rounding
von: Liu, Taowen, et al.
Veröffentlicht: (2025)

TritonRL: Training LLMs to Think and Code Triton Without Cheating
von: Woo, Jiin, et al.
Veröffentlicht: (2025)

Stochastic Rounding Increases Small Singular Values
von: Ma, Linkai, et al.
Veröffentlicht: (2026)

MADA: Meta-Adaptive Optimizers through hyper-gradient Descent
von: Ozkara, Kaan, et al.
Veröffentlicht: (2024)

MEL: Multi-level Ensemble Learning for Resource-Constrained Environments
von: Gudipaty, Krishna Praneet, et al.
Veröffentlicht: (2025)

Not-a-Bandit: Provably No-Regret Drafter Selection in Speculative Decoding for LLMs
von: Liu, Hongyi, et al.
Veröffentlicht: (2025)

Online Posterior Sampling with a Diffusion Prior
von: Kveton, Branislav, et al.
Veröffentlicht: (2024)

FlexRound: Learnable Rounding based on Element-wise Division for Post-Training Quantization
von: Lee, Jung Hyun, et al.
Veröffentlicht: (2023)

Theoretical Guarantees of Learning Ensembling Strategies with Applications to Time Series Forecasting
von: Hasson, Hilaf, et al.
Veröffentlicht: (2023)

On Stochastic Rounding with Few Random Bits
von: Fitzgibbon, Andrew, et al.
Veröffentlicht: (2025)

Beyond Fixed Rounds: Data-Free Early Stopping for Practical Federated Learning
von: Lee, Youngjoon, et al.
Veröffentlicht: (2026)

Revisiting Adaptive Rounding with Vectorized Reparameterization for LLM Quantization
von: Zhou, Yuli, et al.
Veröffentlicht: (2026)

Round-trip Reinforcement Learning: Self-Consistent Training for Better Chemical LLMs
von: Kong, Lecheng, et al.
Veröffentlicht: (2025)

Stochastic Deep Graph Clustering for Practical Group Formation
von: Park, Junhyung, et al.
Veröffentlicht: (2025)

Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models
von: Gautam, Tanmay, et al.
Veröffentlicht: (2024)

ProxSparse: Regularized Learning of Semi-Structured Sparsity Masks for Pretrained LLMs
von: Liu, Hongyi, et al.
Veröffentlicht: (2025)

Elucidating Subspace Perturbation in Zeroth-Order Optimization: Theory and Practice at Scale
von: Park, Sihwan, et al.
Veröffentlicht: (2025)

Superpositional Gradient Descent: Harnessing Quantum Principles for Model Training
von: Pamuk, Ahmet Erdem, et al.
Veröffentlicht: (2025)

A Universal Banach--Bregman Framework for Stochastic Iterations: Unifying Stochastic Mirror Descent, Learning and LLM Training
von: Zhang, Johnny R., et al.
Veröffentlicht: (2025)

Optimal Scheduling Algorithms for LLM Inference: Theory and Practice
von: Bari, Agrim, et al.
Veröffentlicht: (2025)

Bridging Theory and Practice: A Stochastic Learning-Optimization Model for Resilient Automotive Supply Chains
von: Shahnawaz, Muhammad, et al.
Veröffentlicht: (2025)

Stochastic Forward-Backward Deconvolution: Training Diffusion Models with Finite Noisy Datasets
von: Lu, Haoye, et al.
Veröffentlicht: (2025)

Efficient Training on Multiple Consumer GPUs with RoundPipe
von: Luo, Yibin, et al.
Veröffentlicht: (2026)

RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models
von: Wei, Quan, et al.
Veröffentlicht: (2025)

Verifier-free Test-Time Sampling for Vision Language Action Models
von: Jang, Suhyeok, et al.
Veröffentlicht: (2025)

Memory-Efficient LLM Training with Dynamic Sparsity: From Stability to Practical Scaling
von: Xiao, Qiao, et al.
Veröffentlicht: (2026)

Round and Round We Go! What makes Rotary Positional Encodings useful?
von: Barbero, Federico, et al.
Veröffentlicht: (2024)

Generation Properties of Stochastic Interpolation under Finite Training Set
von: Li, Yunchen, et al.
Veröffentlicht: (2025)

A Reduction Algorithm for Markovian Contextual Linear Bandits
von: Buyukkalayci, Kaan, et al.
Veröffentlicht: (2026)

Towards Best Practices for Open Datasets for LLM Training
von: Baack, Stefan, et al.
Veröffentlicht: (2025)

QuChaTeR: A Hybrid Quantum-Chaotic Temporal Framework for Earthquake Prediction
von: Özdemir, Emir Kaan
Veröffentlicht: (2026)

Bilevel ZOFO: Efficient LLM Fine-Tuning and Meta-Training
von: Shirkavand, Reza, et al.
Veröffentlicht: (2025)