Buchumschlag

SMDP-Based Dynamic Batching for Improving Responsiveness and Energy Efficiency of Batch Services

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xu, Yaodan, Zhou, Sheng, Niu, Zhisheng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing Machine Learning Systems and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Joint Optimization of Offloading, Batching and DVFS for Multiuser Co-Inference
von: Xu, Yaodan, et al.
Veröffentlicht: (2025)

Multi-Bin Batching for Increasing LLM Inference Throughput
von: Guldogan, Ozgur, et al.
Veröffentlicht: (2024)

AntBatchInfer: Elastic Batch Inference in the Kubernetes Cluster
von: Li, Siyuan, et al.
Veröffentlicht: (2024)

Hybrid Batch Normalisation: Resolving the Dilemma of Batch Normalisation in Federated Learning
von: Chen, Hongyao, et al.
Veröffentlicht: (2025)

Collaborative Batch Size Optimization for Federated Learning
von: Geimer, Arno, et al.
Veröffentlicht: (2025)

Optimal Batch Allocation for Wireless Federated Learning
von: Song, Jaeyoung, et al.
Veröffentlicht: (2024)

Staggered Batch Scheduling: Co-optimizing Time-to-First-Token and Throughput for High-Efficiency LLM Inference
von: Tian, Jian, et al.
Veröffentlicht: (2025)

DynLP: Parallel Dynamic Batch Update for Label Propagation in Semi-Supervised Learning
von: Shovan, S M, et al.
Veröffentlicht: (2026)

MoE-Gen: High-Throughput MoE Inference on a Single GPU with Module-Based Batching
von: Xu, Tairan, et al.
Veröffentlicht: (2025)

Lynx: Enabling Efficient MoE Inference through Dynamic Batch-Aware Expert Selection
von: Gupta, Vima, et al.
Veröffentlicht: (2024)

The Streaming Batch Model for Efficient and Fault-Tolerant Heterogeneous Execution
von: Luan, Frank Sifei, et al.
Veröffentlicht: (2025)

Hybrid Dual-Batch and Cyclic Progressive Learning for Efficient Distributed Training
von: Lu, Kuan-Wei, et al.
Veröffentlicht: (2025)

Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
von: Chen, Lequn, et al.
Veröffentlicht: (2023)

BatchLLM: Optimizing Large Batched LLM Inference with Global Prefix Sharing and Throughput-oriented Token Batching
von: Zheng, Zhen, et al.
Veröffentlicht: (2024)

Carbon-Aware Quality Adaptation for Energy-Intensive Services
von: Wiesner, Philipp, et al.
Veröffentlicht: (2024)

Context-Aware Trustworthy IoT Energy Services Provisioning
von: Abusafia, Amani, et al.
Veröffentlicht: (2023)

FedTeddi: Temporal Drift and Divergence Aware Scheduling for Timely Federated Edge Learning
von: Bai, Yuxuan, et al.
Veröffentlicht: (2025)

Scalable and Cost-Efficient ML Inference: Parallel Batch Processing with Serverless Functions
von: Barrak, Amine, et al.
Veröffentlicht: (2025)

Mind the Memory Gap: Unveiling GPU Bottlenecks in Large-Batch LLM Inference
von: Recasens, Pol G., et al.
Veröffentlicht: (2025)

PackInfer: Compute- and I/O-Efficient Attention for Batched LLM Inference
von: Ning, Rui, et al.
Veröffentlicht: (2026)

Prediction of Permissioned Blockchain Performance for Resource Scaling Configurations
von: Jung, Seungwoo, et al.
Veröffentlicht: (2025)

JITServe: SLO-aware LLM Serving with Imprecise Request Information
von: Zhang, Wei, et al.
Veröffentlicht: (2025)

Measurement of Generative AI Workload Power Profiles for Whole-Facility Data Center Infrastructure Planning
von: Vercellino, Roberto, et al.
Veröffentlicht: (2026)

Technical Report on Reinforcement Learning Control on the Lucas-Nülle Inverted Pendulum
von: Schenke, Maximilian, et al.
Veröffentlicht: (2024)

A Multi-Level Approach for Class Imbalance Problem in Federated Learning for Remote Industry 4.0 Applications
von: Hussain, Razin Farhan, et al.
Veröffentlicht: (2024)

DYNAMIX: RL-based Adaptive Batch Size Optimization in Distributed Machine Learning Systems
von: Dai, Yuanjun, et al.
Veröffentlicht: (2025)

SURGE: SuperBatch Unified Resource-efficient GPU Encoding for Heterogeneous Partitioned Data
von: Kapadia, Shashank, et al.
Veröffentlicht: (2026)

HarmonyBatch: Batching multi-SLO DNN Inference with Heterogeneous Serverless Functions
von: Chen, Jiabin, et al.
Veröffentlicht: (2024)

Graph Neural Network Training Systems: A Performance Comparison of Full-Graph and Mini-Batch
von: Bajaj, Saurabh, et al.
Veröffentlicht: (2024)

Towards Sustainable Computing: Exploring Energy Consumption Efficiency of Alternative Configurations and Workloads in an Open Source Messaging System
von: Voreakou, Maria, et al.
Veröffentlicht: (2025)

Constraint Programming Models For Serial Batch Scheduling With Minimum Batch Size
von: Huertas, Jorge A., et al.
Veröffentlicht: (2025)

Robust DNN Partitioning and Resource Allocation Under Uncertain Inference Time
von: Nan, Zhaojun, et al.
Veröffentlicht: (2025)

On Using Large-Batches in Federated Learning
von: Tyagi, Sahil
Veröffentlicht: (2025)

FLAMMABLE: A Multi-Model Federated Learning Framework with Multi-Model Engagement and Adaptive Batch Sizes
von: Lin, Shouxu, et al.
Veröffentlicht: (2025)

BatchWeave: A Consistent Object-Store-Native Data Plane for Large Foundation Model Training
von: Sun, Ting, et al.
Veröffentlicht: (2026)

Enabling Large Batch Size Training for DNN Models Beyond the Memory Limit While Maintaining Performance
von: Piao, XinYu, et al.
Veröffentlicht: (2021)

DeepCEE: Efficient Cross-Region Model Distributed Training System under Heterogeneous GPUs and Networks
von: Wang, Jinquan, et al.
Veröffentlicht: (2025)

Batch Denoising for AIGC Service Provisioning in Wireless Edge Networks
von: Xu, Jinghang, et al.
Veröffentlicht: (2025)

CEDAS: A Compressed Decentralized Stochastic Gradient Method with Improved Convergence
von: Huang, Kun, et al.
Veröffentlicht: (2023)

CDFGNN: a Systematic Design of Cache-based Distributed Full-Batch Graph Neural Network Training with Communication Reduction
von: Zhang, Shuai, et al.
Veröffentlicht: (2024)