Copertina

Towards Fully FP8 GEMM LLM Training at Scale

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Hernández-Cano, Alejandro, Garbaya, Dhia, Schlag, Imanol, Jaggi, Martin
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Navigating Scaling Laws: Compute Optimality in Adaptive Model Training
di: Anagnostidis, Sotiris, et al.
Pubblicazione: (2023)

$μ$nit Scaling: Simple and Scalable FP8 LLM Training
di: Narayan, Saaketh, et al.
Pubblicazione: (2025)

Deriving Activation Functions Using Integration
di: Huang, Allen Hao, et al.
Pubblicazione: (2024)

Understanding and Minimising Outlier Features in Neural Network Training
di: He, Bobby, et al.
Pubblicazione: (2024)

Can Performant LLMs Be Ethical? Quantifying the Impact of Web Crawling Opt-Outs
di: Fan, Dongyang, et al.
Pubblicazione: (2025)

MOSS: Efficient and Accurate FP8 LLM Training with Microscaling and Automatic Scaling
di: Zhang, Yu, et al.
Pubblicazione: (2025)

TERMINATOR: Learning Optimal Exit Points for Early Stopping in Chain-of-Thought Reasoning
di: Nagle, Alliot, et al.
Pubblicazione: (2026)

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning
di: Limozin, Alexis, et al.
Pubblicazione: (2026)

FP4 All the Way: Fully Quantized Training of LLMs
di: Chmiel, Brian, et al.
Pubblicazione: (2025)

Low-Rank GEMM: Efficient Matrix Multiplication via Low-Rank Approximation with FP8 Acceleration
di: Metere, Alfredo
Pubblicazione: (2025)

On the Effect of (Near) Duplicate Subwords in Language Modelling
di: Schäfer, Anton, et al.
Pubblicazione: (2024)

To FP8 and Back Again: Quantifying Reduced Precision Effects on LLM Training Stability
di: Lee, Joonhyung, et al.
Pubblicazione: (2024)

An Inquiry into Datacenter TCO for LLM Inference with FP8
di: Kim, Jiwoo, et al.
Pubblicazione: (2025)

LiquidGEMM: Hardware-Efficient W4A8 GEMM Kernel for High-Performance LLM Serving
di: Hu, Huanqi, et al.
Pubblicazione: (2025)

Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations
di: Hägele, Alexander, et al.
Pubblicazione: (2024)

Scaling FP8 training to trillion-token LLMs
di: Fishman, Maxim, et al.
Pubblicazione: (2024)

Analyzing & Reducing the Need for Learning Rate Warmup in GPT Training
di: Kosson, Atli, et al.
Pubblicazione: (2024)

The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments
di: Schäfer, Anton, et al.
Pubblicazione: (2024)

The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training
di: Cao, Hengjie, et al.
Pubblicazione: (2026)

FP8 Quantization: The Power of the Exponent
di: Kuzmin, Andrey, et al.
Pubblicazione: (2022)

Enhancing Multilingual LLM Pretraining with Model-Based Data Selection
di: Messmer, Bettina, et al.
Pubblicazione: (2025)

Apertus LLM Family Expansion via Distillation and Quantization
di: Panferov, Andrei, et al.
Pubblicazione: (2026)

Metis: Training LLMs with FP4 Quantization
di: Cao, Hengjie, et al.
Pubblicazione: (2025)

CodeGEMM: A Codebook-Centric Approach to Efficient GEMM in Quantized LLMs
di: Park, Gunho, et al.
Pubblicazione: (2025)

COAT: Compressing Optimizer states and Activation for Memory-Efficient FP8 Training
di: Xi, Haocheng, et al.
Pubblicazione: (2024)

Balancing Speed and Stability: The Trade-offs of FP8 vs. BF16 Training in LLMs
di: Fujii, Kazuki, et al.
Pubblicazione: (2024)

Practical FP4 Training for Large-Scale MoE Models on Hopper GPUs
di: Zhang, Wuyue, et al.
Pubblicazione: (2026)

Towards an empirical understanding of MoE design choices
di: Fan, Dongyang, et al.
Pubblicazione: (2024)

FP8-Flow-MoE: A Casting-Free FP8 Recipe without Double Quantization Error
di: Wang, Fengjuan, et al.
Pubblicazione: (2025)

Training Dynamics of the Cooldown Stage in Warmup-Stable-Decay Learning Rate Scheduler
di: Dremov, Aleksandr, et al.
Pubblicazione: (2025)

LP-GEMM: Integrating Layout Propagation into GEMM Operations
di: Carneiro, César Guedes, et al.
Pubblicazione: (2026)

FP8-RL: A Practical and Stable Low-Precision Stack for LLM Reinforcement Learning
di: Qiu, Zhaopeng, et al.
Pubblicazione: (2026)

CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs
di: Guo, Han, et al.
Pubblicazione: (2026)

Jet-RL: Enabling On-Policy FP8 Reinforcement Learning with Unified Training and Rollout Precision Flow
di: Xi, Haocheng, et al.
Pubblicazione: (2026)

FireQ: Fast INT4-FP8 Kernel and RoPE-aware Quantization for LLM Inference Acceleration
di: Baek, Daehyeon, et al.
Pubblicazione: (2025)

Learnable Multipliers: Freeing the Scale of Language Model Matrix Layers
di: Velikanov, Maksim, et al.
Pubblicazione: (2026)

Benchmarking Optimizers for Large Language Model Pretraining
di: Semenov, Andrei, et al.
Pubblicazione: (2025)

HyperINF: Unleashing the HyperPower of the Schulz's Method for Data Influence Estimation
di: Zhou, Xinyu, et al.
Pubblicazione: (2024)

Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks
di: Kosson, Atli, et al.
Pubblicazione: (2023)

Deep Grokking: Would Deep Neural Networks Generalize Better?
di: Fan, Simin, et al.
Pubblicazione: (2024)