Buchumschlag

Training LLMs on HPC Systems: Best Practices from the OpenGPT-X Project

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Penke, Carolin, John, Chelsea Maria, Ebert, Jan, Kesselheim, Stefan, Herten, Andreas
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing C.4; I.2.11; I.2.7; K.6
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DAGER: Exact Gradient Inversion for Large Language Models
von: Petrov, Ivo, et al.
Veröffentlicht: (2024)

Towards Building Private LLMs: Exploring Multi-Node Expert Parallelism on Apple Silicon for Mixture-of-Experts Large Language Model
von: Chen, Mu-Chi, et al.
Veröffentlicht: (2025)

Prima.cpp: Fast 30-70B LLM Inference on Heterogeneous and Low-Resource Home Clusters
von: Li, Zonghang, et al.
Veröffentlicht: (2025)

Training Diffusion Models with Federated Learning
von: de Goede, Matthijs, et al.
Veröffentlicht: (2024)

Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees
von: Xin, Jihao, et al.
Veröffentlicht: (2023)

ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning
von: Wang, Xiaoyu, et al.
Veröffentlicht: (2025)

GraphBit: A Graph-based Agentic Framework for Non-Linear Agent Orchestration
von: Sarker, Yeahia, et al.
Veröffentlicht: (2026)

Roadmap for Edge AI: A Dagstuhl Perspective
von: Ding, Aaron Yi, et al.
Veröffentlicht: (2021)

AMP4EC: Adaptive Model Partitioning Framework for Efficient Deep Learning Inference in Edge Computing Environments
von: Zhang, Guilin, et al.
Veröffentlicht: (2025)

SPARK: Igniting Communication-Efficient Decentralized Learning via Stage-wise Projected NTK and Accelerated Regularization
von: Xia, Li
Veröffentlicht: (2025)

How Machine Learning-Data Driven Replication Strategies Enhance Fault Tolerance in Large-Scale Distributed Systems
von: Murimi, Almond Kiruthu
Veröffentlicht: (2025)

Aergia: Leveraging Heterogeneity in Federated Learning Systems
von: Cox, Bart, et al.
Veröffentlicht: (2022)

Towards Optimal Heterogeneous Client Sampling in Multi-Model Federated Learning
von: Zhang, Haoran, et al.
Veröffentlicht: (2025)

Parameterizing Federated Continual Learning for Reproducible Research
von: Cox, Bart, et al.
Veröffentlicht: (2024)

Asynchronous Byzantine Federated Learning
von: Cox, Bart, et al.
Veröffentlicht: (2024)

Hyper-parameter Optimization for Federated Learning with Step-wise Adaptive Mechanism
von: Saadati, Yasaman, et al.
Veröffentlicht: (2024)

Connecting Large Language Model Agent to High Performance Computing Resource
von: Ma, Heng, et al.
Veröffentlicht: (2025)

Comparison of Autoscaling Frameworks for Containerised Machine-Learning-Applications in a Local and Cloud Environment
von: Schroeder, Christian, et al.
Veröffentlicht: (2023)

Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients
von: Zuo, Yuncong, et al.
Veröffentlicht: (2024)

TAGC: Optimizing Gradient Communication in Distributed Transformer Training
von: Polyakov, Igor, et al.
Veröffentlicht: (2025)

Agentic Compilation: Mitigating the LLM Rerun Crisis for Minimized-Inference-Cost Web Automation
von: Chundru, Jagadeesh
Veröffentlicht: (2026)

A Full Compression Pipeline for Green Federated Learning in Communication-Constrained Environments
von: Colybes, Elouan, et al.
Veröffentlicht: (2026)

Learning In Chaos: Efficient Autoscaling and Self-Healing for Multi-Party Distributed Training
von: Feng, Wenjiao, et al.
Veröffentlicht: (2025)

TPI-LLM: Serving 70B-scale LLMs Efficiently on Low-resource Edge Devices
von: Li, Zonghang, et al.
Veröffentlicht: (2024)

WLB-LLM: Workload-Balanced 4D Parallelism for Large Language Model Training
von: Wang, Zheng, et al.
Veröffentlicht: (2025)

Naeural AI OS -- Decentralized ubiquitous computing MLOps execution engine
von: Bleotiu, Cristian, et al.
Veröffentlicht: (2023)

SparkAttention: High-Performance Multi-Head Attention for Large Models on Volta GPU Architecture
von: Xu, Youxuan, et al.
Veröffentlicht: (2025)

AutoDDL: Automatic Distributed Deep Learning with Near-Optimal Bandwidth Cost
von: Chen, Jinfan, et al.
Veröffentlicht: (2023)

SI-ChainFL: Shapley-Incentivized Secure Federated Learning for High-Speed Rail Data Sharing
von: Zhao, Mingjie, et al.
Veröffentlicht: (2026)

FedPLT: Scalable, Resource-Efficient, and Heterogeneity-Aware Federated Learning via Partial Layer Training
von: Dabaja, Ahmad, et al.
Veröffentlicht: (2026)

CodeCRDT: Observation-Driven Coordination for Multi-Agent LLM Code Generation
von: Pugachev, Sergey
Veröffentlicht: (2025)

Separating Intelligence from Execution: A Workflow Engine for the Model Context Protocol
von: Parmar, Abhinav Singh
Veröffentlicht: (2026)

Federated Learning for Traffic Flow Prediction with Synthetic Data Augmentation
von: Orozco, Fermin, et al.
Veröffentlicht: (2024)

De-DSI: Decentralised Differentiable Search Index
von: Neague, Petru, et al.
Veröffentlicht: (2024)

Towards Message Brokers for Generative AI: Survey, Challenges, and Opportunities
von: Saleh, Alaa, et al.
Veröffentlicht: (2023)

A Survey on Efficient Federated Learning Methods for Foundation Model Training
von: Woisetschläger, Herbert, et al.
Veröffentlicht: (2024)

Chimera: Efficiently Training Large-Scale Neural Networks with Bidirectional Pipelines
von: Li, Shigang, et al.
Veröffentlicht: (2021)

Accelerating Geo-distributed Machine Learning with Network-Aware Adaptive Tree and Auxiliary Route
von: Li, Zonghang, et al.
Veröffentlicht: (2024)

HFedATM: Hierarchical Federated Domain Generalization via Optimal Transport and Regularized Mean Aggregation
von: Nguyen, Thinh, et al.
Veröffentlicht: (2025)

TokenCake: A KV-Cache-centric Serving Framework for LLM-based Multi-Agent Applications
von: Bian, Zhuohang, et al.
Veröffentlicht: (2025)