Buchumschlag

AB-Training: A Communication-Efficient Approach for Distributed Low-Rank Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Coquelin, Daniel, Flügel, Katherina, Weiel, Marie, Kiefer, Nicholas, Öz, Muhammed, Debus, Charlotte, Streit, Achim, Götz, Markus
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Massively Parallel Genetic Optimization through Asynchronous Propagation of Populations
von: Taubert, Oskar, et al.
Veröffentlicht: (2023)

Harnessing Orthogonality to Train Low-Rank Neural Networks
von: Coquelin, Daniel, et al.
Veröffentlicht: (2024)

Sampling Parallelism for Fast and Efficient Bayesian Learning
von: Özdemir, Asena Karolin, et al.
Veröffentlicht: (2026)

pyGinkgo: A Sparse Linear Algebra Operator Framework for Python
von: Tuteja, Keshvi, et al.
Veröffentlicht: (2025)

Feed-Forward Optimization With Delayed Feedback for Neural Network Training
von: Flügel, Katharina, et al.
Veröffentlicht: (2023)

Optimizing Distributed Training Approaches for Scaling Neural Networks
von: Baligodugula, Vishnu Vardhan, et al.
Veröffentlicht: (2025)

Lagom: Unleashing the Power of Communication and Computation Overlapping for Distributed LLM Training
von: Xu, Guanbin, et al.
Veröffentlicht: (2026)

Beyond Backpropagation: Optimization with Multi-Tangent Forward Gradients
von: Flügel, Katharina, et al.
Veröffentlicht: (2024)

Optimizing Frequent Checkpointing via Low-Cost Differential for Distributed Training Systems
von: Yao, Chenxuan, et al.
Veröffentlicht: (2025)

DeFT: Mitigating Data Dependencies for Flexible Communication Scheduling in Distributed Training
von: Meng, Lin, et al.
Veröffentlicht: (2025)

RapidGNN: Communication Efficient Large-Scale Distributed Training of Graph Neural Networks
von: Niam, Arefin, et al.
Veröffentlicht: (2025)

Hiding Communication Cost in Distributed LLM Training via Micro-batch Co-execution
von: Wang, Haiquan, et al.
Veröffentlicht: (2024)

CondenseGraph: Communication-Efficient Distributed GNN Training via On-the-Fly Graph Condensation
von: Zhang, Zizhao, et al.
Veröffentlicht: (2026)

GreenDyGNN: Runtime-Adaptive Energy-Efficient Communication for Distributed GNN Training
von: Niam, Arefin, et al.
Veröffentlicht: (2026)

A Hybrid Communication Approach for Metadata Exchange in Geo-Distributed Fog Environments
von: Kruber, Marvin, et al.
Veröffentlicht: (2023)

DeepCompile: A Compiler-Driven Approach to Optimizing Distributed Deep Learning Training
von: Tanaka, Masahiro, et al.
Veröffentlicht: (2025)

PruneX: A Hierarchical Communication-Efficient System for Distributed CNN Training with Structured Pruning
von: Olama, Alireza, et al.
Veröffentlicht: (2025)

ACE-Sync: An Adaptive Cloud-Edge Synchronization Framework for Communication-Efficient Large-Scale Distributed Model Training
von: Yang, Yi, et al.
Veröffentlicht: (2025)

OpenDiLoCo: An Open-Source Framework for Globally Distributed Low-Communication Training
von: Jaghouar, Sami, et al.
Veröffentlicht: (2024)

Efficient Distributed MLLM Training with Cornstarch
von: Jang, Insu, et al.
Veröffentlicht: (2025)

AB-Sparse: Sparse Attention with Adaptive Block Size for Accurate and Efficient Long-Context Inference
von: Liu, Di, et al.
Veröffentlicht: (2026)

The Panaceas for Improving Low-Rank Decomposition in Communication-Efficient Federated Learning
von: Li, Shiwei, et al.
Veröffentlicht: (2025)

Computing: Looking Back and Moving Forward
von: Golec, Muhammed, et al.
Veröffentlicht: (2024)

Galvatron: Automatic Distributed Training for Large Transformer Models
von: Gumaan, Esmail
Veröffentlicht: (2025)

Addressing Variable Heterogeneity in Distributed Multimodal Training with Entrain
von: Jang, Insu, et al.
Veröffentlicht: (2026)

Accelerating Distributed MoE Training and Inference with Lina
von: Li, Jiamin, et al.
Veröffentlicht: (2022)

Heta: Distributed Training of Heterogeneous Graph Neural Networks
von: Zhong, Yuchen, et al.
Veröffentlicht: (2024)

Distributed Low-Communication Training with Decoupled Momentum Optimization
von: Nedelkoski, Sasho, et al.
Veröffentlicht: (2025)

BOOST: BOttleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models
von: Wang, Zhengyang, et al.
Veröffentlicht: (2025)

Byzantine Reliable Broadcast with Low Communication and Time Complexity
von: Locher, Thomas
Veröffentlicht: (2024)

On the Performance and Memory Footprint of Distributed Training: An Empirical Study on Transformers
von: Lu, Zhengxian, et al.
Veröffentlicht: (2024)

A Comparative Analysis of Distributed Training Strategies for GPT-2
von: Patwardhan, Ishan, et al.
Veröffentlicht: (2024)

MegatronApp: Efficient and Comprehensive Management on Distributed LLM Training
von: Zhao, Bohan, et al.
Veröffentlicht: (2025)

Communication Optimization for Distributed Training: Architecture, Advances, and Opportunities
von: Wei, Yunze, et al.
Veröffentlicht: (2024)

Distributed And Parallel Low-Diameter Decompositions for Arbitrary and Restricted Graphs
von: Dou, Jinfeng, et al.
Veröffentlicht: (2024)

A Survey of Synchronization Technologies for Low-power Backscatter Communication
von: Jiang, Wenyuan, et al.
Veröffentlicht: (2025)

A Hybrid Reactive-Proactive Auto-scaling Algorithm for SLA-Constrained Edge Computing
von: Gupta, Suhrid, et al.
Veröffentlicht: (2025)

Proactive and Reactive Autoscaling Techniques for Edge Computing
von: Gupta, Suhrid, et al.
Veröffentlicht: (2025)

Nezha: Breaking Multi-Rail Network Barriers for Distributed DNN Training
von: Yu, Enda, et al.
Veröffentlicht: (2024)

Poplar: Efficient Scaling of Distributed DNN Training on Heterogeneous GPU Clusters
von: Zhang, WenZheng, et al.
Veröffentlicht: (2024)