Buchumschlag

DFLOP: A Data-driven Framework for Multimodal LLM Training Pipeline Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	An, Hyeonjun, Kim, Sihyun, Lim, Chaerim, Kim, Hyunjoon, Sen, Rathijit, Jung, Sangmin, Lee, Hyeonsoo, Kim, Dongwook, Yu, Takki, Jeong, Jinkyu, Kim, Youngsok, Park, Kwanghyun
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

GraNNDis: Efficient Unified Distributed Training Framework for Deep GNNs on Large Clusters
von: Song, Jaeyong, et al.
Veröffentlicht: (2023)

AGAThA: Fast and Efficient GPU Acceleration of Guided Sequence Alignment for Long Read Mapping
von: Park, Seongyeon, et al.
Veröffentlicht: (2024)

Zorse: Optimizing LLM Training Efficiency on Heterogeneous GPU Clusters
von: Guo, Runsheng Benson, et al.
Veröffentlicht: (2025)

Exqutor: Extended Query Optimizer for Vector-augmented Analytical Queries
von: Kim, Hyunjoon, et al.
Veröffentlicht: (2025)

PID-Comm: A Fast and Flexible Collective Communication Framework for Commodity Processing-in-DIMM Devices
von: Noh, Si Ung, et al.
Veröffentlicht: (2024)

SpotVista: Availability-Aware Recommendation System for Reliable and Cost-Efficient Multi-Node Spot Instances
von: Kim, Taeyoon, et al.
Veröffentlicht: (2026)

PrefillShare: A Shared Prefill Module for KV Reuse in Multi-LLM Disaggregated Serving
von: Woo, Sunghyeon, et al.
Veröffentlicht: (2026)

TimelyFreeze: Adaptive Parameter Freezing Mechanism for Pipeline Parallelism
von: Cho, Seonghye, et al.
Veröffentlicht: (2026)

Terabyte-Scale Analytics in the Blink of an Eye
von: Wu, Bowen, et al.
Veröffentlicht: (2025)

DeepVM: Integrating Spot and On-Demand VMs for Cost-Efficient Deep Learning Clusters in the Cloud
von: Kim, Yoochan, et al.
Veröffentlicht: (2024)

Ding-Dong Ditch: Peeking Into Spot Instance Availability
von: Kim, Kyumin, et al.
Veröffentlicht: (2026)

TraCT: Disaggregated LLM Serving with CXL Shared Memory KV Cache at Rack-Scale
von: Yoon, Dongha, et al.
Veröffentlicht: (2025)

HetCCL: Accelerating LLM Training with Heterogeneous GPUs
von: Kim, Heehoon, et al.
Veröffentlicht: (2026)

KubePACS: Kubernetes Cluster Using Performant, Highly Available, and Cost Efficient Spot Instances
von: Kim, Taeyoon, et al.
Veröffentlicht: (2026)

Pairbot: A Novel Model for Autonomous Mobile Robot Systems Consisting of Paired Robots
von: Kim, Yonghwan, et al.
Veröffentlicht: (2020)

Are Your Epochs Too Epic? Batch Free Can Be Harmful
von: Kim, Daewoo, et al.
Veröffentlicht: (2024)

Adaptra: Straggler-Resilient Hybrid-Parallel Training with Pipeline Adaptation
von: Wu, Tianyuan, et al.
Veröffentlicht: (2025)

DiffusionPipe: Training Large Diffusion Models with Efficient Pipelines
von: Tian, Ye, et al.
Veröffentlicht: (2024)

Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
von: Kim, Kihyun, et al.
Veröffentlicht: (2025)

Dooly: Configuration-Agnostic, Redundancy-Aware Profiling for LLM Inference Simulation
von: Kim, Joon Ha, et al.
Veröffentlicht: (2026)

A Case Study of API Design for Interoperability and Security of the Internet of Things
von: Kim, Dongha, et al.
Veröffentlicht: (2024)

Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters
von: Yim, Jinkyu, et al.
Veröffentlicht: (2024)

ScalePool: Hybrid XLink-CXL Fabric for Composable Resource Disaggregation in Unified Scale-up Domains
von: Woo, Hyein, et al.
Veröffentlicht: (2025)

TAPAAL SMC: Statistical Model Checking of Stochastic Timed-Arc Petri Nets
von: Dubois, Tanguy, et al.
Veröffentlicht: (2026)

HE2C: A Holistic Approach for Allocating Latency-Sensitive AI Tasks across Edge-Cloud
von: Kim, Minseo, et al.
Veröffentlicht: (2024)

FlashSketch: Sketch-Kernel Co-Design for Fast Sparse Sketching on GPUs
von: Dwaraknath, Rajat Vadiraj, et al.
Veröffentlicht: (2026)

PathWeaver: A High-Throughput Multi-GPU System for Graph-Based Approximate Nearest Neighbor Search
von: Kim, Sukjin, et al.
Veröffentlicht: (2025)

CrossPipe: Towards Optimal Pipeline Schedules for Cross-Datacenter Training
von: Chen, Tiancheng, et al.
Veröffentlicht: (2025)

A Flexible Programmable Pipeline Parallelism Framework for Efficient DNN Training
von: Jiang, Lijuan, et al.
Veröffentlicht: (2025)

DawnPiper: A Memory-scablable Pipeline Parallel Training Framework
von: Peng, Xuan, et al.
Veröffentlicht: (2025)

Accelerating Sparse Matrix-Matrix Multiplication on GPUs with Processing Near HBMs
von: Li, Shiju, et al.
Veröffentlicht: (2025)

MPI-over-CXL: Enhancing Communication Efficiency in Distributed HPC Systems
von: Kwon, Miryeong, et al.
Veröffentlicht: (2025)

TensorSocket: Shared Data Loading for Deep Learning Training
von: Robroek, Ties, et al.
Veröffentlicht: (2024)

DIP: Efficient Large Multimodal Model Training with Dynamic Interleaved Pipeline
von: Xue, Zhenliang, et al.
Veröffentlicht: (2025)

Revisiting Early-Learning Regularization When Federated Learning Meets Noisy Labels
von: Kim, Taehyeon, et al.
Veröffentlicht: (2024)

JanusPipe: Efficient Pipeline Parallel Training for Machine Learning Interatomic Potentials
von: Wang, Hongyu, et al.
Veröffentlicht: (2026)

GCAPS: GPU Context-Aware Preemptive Priority-based Scheduling for Real-Time Tasks
von: Wang, Yidi, et al.
Veröffentlicht: (2024)

Generative Artificial Intelligence Reproducibility and Consensus
von: Kim, Edward, et al.
Veröffentlicht: (2023)

GriNNder: Breaking the Memory Capacity Wall in Full-Graph GNN Training with Storage Offloading
von: Song, Jaeyong, et al.
Veröffentlicht: (2026)

LUT-GEMM: Quantized Matrix Multiplication based on LUTs for Efficient Inference in Large-Scale Generative Language Models
von: Park, Gunho, et al.
Veröffentlicht: (2022)