Buchumschlag

DataStates-LLM: Lazy Asynchronous Checkpointing for Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Maurya, Avinash, Underwood, Robert, Rafique, M. Mustafa, Cappello, Franck, Nicolae, Bogdan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Distributed, Parallel, and Cluster Computing Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DataStates-LLM: Scalable Checkpointing for Transformer Models Using Composable State Providers
von: Maurya, Avinash, et al.
Veröffentlicht: (2026)

Deep Optimizer States: Towards Scalable Training of Transformer Models Using Interleaved Offloading
von: Maurya, Avinash, et al.
Veröffentlicht: (2024)

Breaking the Memory Wall: A Study of I/O Patterns and GPU Memory Utilization for Hybrid CPU-GPU Offloaded Optimizers
von: Maurya, Avinash, et al.
Veröffentlicht: (2024)

MLP-Offload: Multi-Level, Multi-Path Offloading for LLM Pre-training to Break the GPU Memory Wall
von: Maurya, Avinash, et al.
Veröffentlicht: (2025)

BOOST: BOttleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models
von: Wang, Zhengyang, et al.
Veröffentlicht: (2025)

Understanding LLM Checkpoint/Restore I/O Strategies and Patterns
von: Gossman, Mikaila J., et al.
Veröffentlicht: (2025)

Understanding Inference Scaling for LLMs: Bottlenecks, Trade-offs, and Performance Principles
von: Arif, Moiz, et al.
Veröffentlicht: (2026)

ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload
von: Liu, Ziyue, et al.
Veröffentlicht: (2026)

Preserving Clusters in Error-Bounded Lossy Compression of Particle Data
von: Ren, Congrong, et al.
Veröffentlicht: (2026)

DeepCQ: General-Purpose Deep-Surrogate Framework for Lossy Compression Quality Prediction
von: Mumenin, Khondoker Mirazul, et al.
Veröffentlicht: (2025)

SPARe: Stacked Parallelism with Adaptive Reordering for Fault-Tolerant LLM Pretraining Systems with 100k+ GPUs
von: Lee, Jin, et al.
Veröffentlicht: (2026)

All is Not Lost: LLM Recovery without Checkpoints
von: Blagoev, Nikolay, et al.
Veröffentlicht: (2025)

Efficient Data-Parallel Continual Learning with Asynchronous Distributed Rehearsal Buffers
von: Bouvier, Thomas, et al.
Veröffentlicht: (2024)

Universal Checkpointing: A Flexible and Efficient Distributed Checkpointing System for Large-Scale DNN Training with Reconfigurable Parallelis
von: Lian, Xinyu, et al.
Veröffentlicht: (2024)

To Compress or Not To Compress: Energy Trade-Offs and Benefits of Lossy Compressed I/O
von: Wilkins, Grant, et al.
Veröffentlicht: (2024)

AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training
von: Chen, Ling, et al.
Veröffentlicht: (2026)

DORA: A Scalable Asynchronous Reinforcement Learning System for Language Model Training
von: Hu, Tianhao, et al.
Veröffentlicht: (2026)

Stateful Large Language Model Serving with Pensieve
von: Yu, Lingfan, et al.
Veröffentlicht: (2023)

Orbax: Distributed Checkpointing with JAX
von: Gaffney, Colin, et al.
Veröffentlicht: (2026)

TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for Lazy Clients
von: Wang, Mengdi, et al.
Veröffentlicht: (2024)

AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism
von: Ajanthan, Thalaiyasingam, et al.
Veröffentlicht: (2026)

Asynchronous Checkpoint for Eventually Consistent Databases
von: Ravishankar, Raaghav, et al.
Veröffentlicht: (2025)

ServerlessLLM: Low-Latency Serverless Inference for Large Language Models
von: Fu, Yao, et al.
Veröffentlicht: (2024)

SwiftSpec: Ultra-Low Latency LLM Decoding by Scaling Asynchronous Speculative Decoding
von: Zhang, Ziyi, et al.
Veröffentlicht: (2025)

AsyncHZP: Hierarchical ZeRO Parallelism with Asynchronous Scheduling for Scalable LLM Training
von: Bai, Huawei, et al.
Veröffentlicht: (2025)

Unity is Power: Semi-Asynchronous Collaborative Training of Large-Scale Models with Structured Pruning in Resource-Limited Clients
von: Li, Yan, et al.
Veröffentlicht: (2024)

Enabling Efficient Serverless Inference Serving for LLM (Large Language Model) in the Cloud
von: Ghosh, Himel
Veröffentlicht: (2024)

Ordered Momentum for Asynchronous SGD
von: Shi, Chang-Wei, et al.
Veröffentlicht: (2024)

CE-CoLLM: Efficient and Adaptive Large Language Models Through Cloud-Edge Collaboration
von: Jin, Hongpeng, et al.
Veröffentlicht: (2024)

Orthogonal Calibration for Asynchronous Federated Learning
von: Zhang, Jiayun, et al.
Veröffentlicht: (2025)

Asyn2F: An Asynchronous Federated Learning Framework with Bidirectional Model Aggregation
von: Cao, Tien-Dung, et al.
Veröffentlicht: (2024)

FedQS: Optimizing Gradient and Model Aggregation for Semi-Asynchronous Federated Learning
von: Li, Yunbo, et al.
Veröffentlicht: (2025)

HoSZp: An Efficient Homomorphic Error-bounded Lossy Compressor for Scientific Data
von: Agarwal, Tripti, et al.
Veröffentlicht: (2024)

Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization
von: Chang, Zhan-Lun, et al.
Veröffentlicht: (2023)

Fast and Efficient 2-bit LLM Inference on GPU: 2/4/16-bit in a Weight Matrix with Asynchronous Dequantization
von: Li, Jinhao, et al.
Veröffentlicht: (2023)

Asynchronous Federated Clustering with Unknown Number of Clusters
von: Zhang, Yunfan, et al.
Veröffentlicht: (2024)

Nesterov Method for Asynchronous Pipeline Parallel Optimization
von: Ajanthan, Thalaiyasingam, et al.
Veröffentlicht: (2025)

FedAST: Federated Asynchronous Simultaneous Training
von: Askin, Baris, et al.
Veröffentlicht: (2024)

High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent
von: Hu, Qicong, et al.
Veröffentlicht: (2024)

FT K-means: A High-Performance K-means on GPU with Fault Tolerance
von: Wu, Shixun, et al.
Veröffentlicht: (2024)