Buchumschlag

Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Feng, Hao, Zhang, Boyuan, Ye, Fanjiang, Si, Min, Chu, Ching-Hsiang, Tian, Jiannan, Yin, Chunxing, Deng, Summer, Hao, Yuchen, Balaji, Pavan, Geng, Tong, Tao, Dingwen
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

cuSZ-$i$: High-Ratio Scientific Lossy Compression on GPUs with Optimized Multi-Level Interpolation
von: Liu, Jinyang, et al.
Veröffentlicht: (2023)

Overcoming Memory Constraints in Quantum Circuit Simulation with a High-Fidelity Compression Framework
von: Zhang, Boyuan, et al.
Veröffentlicht: (2024)

A Survey on Error-Bounded Lossy Compression for Scientific Datasets
von: Di, Sheng, et al.
Veröffentlicht: (2024)

Boosting Scientific Error-Bounded Lossy Compression through Optimized Synergistic Lossy-Lossless Orchestration
von: Wu, Shixun, et al.
Veröffentlicht: (2025)

STZ: A High Quality and High Speed Streaming Lossy Compression Framework for Scientific Data
von: Wang, Daoce, et al.
Veröffentlicht: (2025)

GPZ: GPU-Accelerated Lossy Compressor for Particle Data
von: Li, Ruoyu, et al.
Veröffentlicht: (2025)

FLARE: A Dataflow-Aware and Scalable Hardware Architecture for Neural-Hybrid Scientific Lossy Compression
von: Jia, Wenqi, et al.
Veröffentlicht: (2025)

NeurLZ: An Online Neural Learning-Based Method to Enhance Scientific Lossy Compression
von: Jia, Wenqi, et al.
Veröffentlicht: (2024)

GWLZ: A Group-wise Learning-based Lossy Compression Framework for Scientific Data
von: Jia, Wenqi, et al.
Veröffentlicht: (2024)

LCP: Enhancing Scientific Data Management with Lossy Compression for Particles
von: Zhang, Longtao, et al.
Veröffentlicht: (2024)

To Compress or Not To Compress: Energy Trade-Offs and Benefits of Lossy Compressed I/O
von: Wilkins, Grant, et al.
Veröffentlicht: (2024)

IPComp: Interpolation Based Progressive Lossy Compression for Scientific Applications
von: Yang, Zhuoxun, et al.
Veröffentlicht: (2025)

ZCCL: Significantly Improving Collective Communication With Error-Bounded Lossy Compression
von: Huang, Jiajun, et al.
Veröffentlicht: (2025)

An Optimized Error-controlled MPI Collective Framework Integrated with Lossy Compression
von: Huang, Jiajun, et al.
Veröffentlicht: (2023)

FZModules: A Heterogeneous Computing Framework for Customizable Scientific Data Compression Pipelines
von: Ruiter, Skyler, et al.
Veröffentlicht: (2025)

FedSZ: Leveraging Error-Bounded Lossy Compression for Federated Learning Communications
von: Wilkins, Grant, et al.
Veröffentlicht: (2023)

Fast Topology-Aware Lossy Data Compression with Full Preservation of Critical Points and Local Order
von: Fallin, Alex, et al.
Veröffentlicht: (2026)

ZipCCL: Efficient Lossless Data Compression of Communication Collectives for Accelerating LLM Training
von: Lin, Wenxiang, et al.
Veröffentlicht: (2026)

EXaCTz: Guaranteed Extremum Graph and Contour Tree Preservation for Distributed- and GPU-Parallel Lossy Compression
von: Li, Yuxiao, et al.
Veröffentlicht: (2026)

pMSz: A Distributed Parallel Algorithm for Correcting Extrema and Morse Smale Segmentations in Lossy Compression
von: Li, Yuxiao, et al.
Veröffentlicht: (2026)

Preserving Clusters in Error-Bounded Lossy Compression of Particle Data
von: Ren, Congrong, et al.
Veröffentlicht: (2026)

KVComp: A High-Performance, LLM-Aware, Lossy Compression Framework for KV Cache
von: Jiang, Bo, et al.
Veröffentlicht: (2025)

Disaggregated Multi-Tower: Topology-aware Modeling Technique for Efficient Large-Scale Recommendation
von: Luo, Liang, et al.
Veröffentlicht: (2024)

TACO: Efficient Communication Compression of Intermediate Tensors for Scalable Tensor-Parallel LLM Training
von: Liu, Man, et al.
Veröffentlicht: (2026)

PackKV: Reducing KV Cache Memory Footprint through LLM-Aware Lossy Compression
von: Jiang, Bo, et al.
Veröffentlicht: (2025)

Lessons Learned on the Path to Guaranteeing the Error Bound in Lossy Quantizers
von: Fallin, Alex, et al.
Veröffentlicht: (2024)

FFCz: Fast Fourier Correction for Spectrum-Preserving Lossy Compression of Scientific Data
von: Ren, Congrong, et al.
Veröffentlicht: (2026)

A High-Quality Workflow for Multi-Resolution Scientific Data Reduction and Visualization
von: Wang, Daoce, et al.
Veröffentlicht: (2024)

Accelerating Large Language Model Training with Hybrid GPU-based Compression
von: Xu, Lang, et al.
Veröffentlicht: (2024)

TurboGR: An Accelerated Training System for Large-Scale Generative Recommendation
von: Chai, Huichao, et al.
Veröffentlicht: (2026)

DeepCQ: General-Purpose Deep-Surrogate Framework for Lossy Compression Quality Prediction
von: Mumenin, Khondoker Mirazul, et al.
Veröffentlicht: (2025)

Enhancing Lossy Compression Through Cross-Field Information for Scientific Applications
von: Liu, Youyuan, et al.
Veröffentlicht: (2024)

A Data-Informed Local Subspaces Method for Error-Bounded Lossy Compression of Large-Scale Scientific Datasets
von: Khan, Arshan, et al.
Veröffentlicht: (2026)

Lossy Data Compression By Adaptive Mesh Coarsening
von: Böing, N., et al.
Veröffentlicht: (2024)

HoSZp: An Efficient Homomorphic Error-bounded Lossy Compressor for Scientific Data
von: Agarwal, Tripti, et al.
Veröffentlicht: (2024)

DreamDDP: Accelerating Data Parallel Distributed LLM Training with Layer-wise Scheduled Partial Synchronization
von: Tang, Zhenheng, et al.
Veröffentlicht: (2025)

gZCCL: Compression-Accelerated Collective Communication Framework for GPU Clusters
von: Huang, Jiajun, et al.
Veröffentlicht: (2023)

StraightLine: An End-to-End Resource-Aware Scheduler for Machine Learning Application Requests
von: Ching, Cheng-Wei, et al.
Veröffentlicht: (2024)

Warp-STAR: High-performance, Differentiable GPU-Accelerated Static Timing Analysis through Warp-oriented Parallel Orchestration
von: Huang, En-Ming, et al.
Veröffentlicht: (2026)

Accelerating Compound LLM Training Workloads with Maestro
von: Yuan, Xiulong, et al.
Veröffentlicht: (2026)