Buchumschlag

Compass: A Decentralized Scheduler for Latency-Sensitive ML Workflows

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yang, Yuting, Merlina, Andrea, Song, Weijia, Yuan, Tiancheng, Birman, Ken, Vitenberg, Roman
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Distributed, Parallel, and Cluster Computing Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Keep Your Friends Close: Leveraging Affinity Groups to Accelerate AI Inference Workflows
von: Garrett, Thiago, et al.
Veröffentlicht: (2023)

On Replacing Cryptopuzzles with Useful Computation in Blockchain Proof-of-Work Protocols
von: Merlina, Andrea, et al.
Veröffentlicht: (2024)

Speculative Decoding in Decentralized LLM Inference: Turning Communication Latency into Computation Throughput
von: Song, Jingwei, et al.
Veröffentlicht: (2025)

Compass: Optimizing Compound AI Workflows for Dynamic Adaptation
von: Gravara, Milos, et al.
Veröffentlicht: (2026)

Scalable Runtime Architecture for Data-driven, Hybrid HPC and ML Workflow Applications
von: Merzky, Andre, et al.
Veröffentlicht: (2025)

A Discussion about Computational Challenges of Programmable Money in Blockchain-based CBDCs
von: da Conceição, Arlindo F., et al.
Veröffentlicht: (2024)

Reinforcement Learning-driven Data-intensive Workflow Scheduling for Volunteer Edge-Cloud
von: Mounesan, Motahare, et al.
Veröffentlicht: (2024)

WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows
von: Paul, Taylor, et al.
Veröffentlicht: (2026)

Reconstruction-Based Adaptive Scheduling Using AI Inferences in Safety-Critical Systems
von: Alshaer, Samer, et al.
Veröffentlicht: (2025)

Decentralized Distributed Proximal Policy Optimization (DD-PPO) for High Performance Computing Scheduling on Multi-User Systems
von: Sgambati, Matthew, et al.
Veröffentlicht: (2025)

Duration-Informed Workload Scheduler
von: Loreti, Daniela, et al.
Veröffentlicht: (2026)

Mixture-of-Schedulers: An Adaptive Scheduling Agent as a Learned Router for Expert Policies
von: Wang, Xinbo, et al.
Veröffentlicht: (2025)

AI Inference as Relocatable Electricity Demand: A Latency-Constrained Energy-Geography Framework
von: Luo, Xubin, et al.
Veröffentlicht: (2026)

DeServe: Towards Affordable Offline LLM Inference via Decentralization
von: Wu, Linyu, et al.
Veröffentlicht: (2025)

LegoDiffusion: Micro-Serving Text-to-Image Diffusion Workflows
von: Yang, Lingyun, et al.
Veröffentlicht: (2026)

Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption
von: Yildiz, Mert, et al.
Veröffentlicht: (2026)

ELANA: A Simple Energy and Latency Analyzer for LLMs
von: Chiang, Hung-Yueh, et al.
Veröffentlicht: (2025)

Large Language Model Partitioning for Low-Latency Inference at the Edge
von: Kafetzis, Dimitrios, et al.
Veröffentlicht: (2025)

FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling
von: Li, Weiqing, et al.
Veröffentlicht: (2025)

Topology-aware Preemptive Scheduling for Co-located LLM Workloads
von: Zhang, Ping, et al.
Veröffentlicht: (2024)

Prompt-Aware Scheduling for Low-Latency LLM Serving
von: Tao, Yiheng, et al.
Veröffentlicht: (2025)

CoRaiS: Lightweight Real-Time Scheduler for Multi-Edge Cooperative Computing
von: Hu, Yujiao, et al.
Veröffentlicht: (2024)

TRAIL: Trust-Aware Client Scheduling for Semi-Decentralized Federated Learning
von: Hu, Gangqiang, et al.
Veröffentlicht: (2024)

D$^{2}$MoE: Dual Routing and Dynamic Scheduling for Efficient On-Device MoE-based LLM Serving
von: Wang, Haodong, et al.
Veröffentlicht: (2025)

Latency-Aware 2-Opt Monotonic Local Search for Distributed Constraint Optimization
von: Rachmut, Ben, et al.
Veröffentlicht: (2025)

On the Impact of White-box Deployment Strategies for Edge AI on Latency and Model Performance
von: Singh, Jaskirat, et al.
Veröffentlicht: (2024)

StreamServe: Adaptive Speculative Flows for Low-Latency Disaggregated LLM Serving
von: Kumar, Satyam, et al.
Veröffentlicht: (2026)

A Scheduling Framework for Efficient MoE Inference on Edge GPU-NDP Systems
von: Wu, Qi, et al.
Veröffentlicht: (2026)

Boosting Asynchronous Decentralized Learning with Model Fragmentation
von: Biswas, Sayan, et al.
Veröffentlicht: (2024)

Byzantine-Robust Decentralized Coordination of LLM Agents
von: Jo, Yongrae, et al.
Veröffentlicht: (2025)

Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines
von: Wagenländer, Marcel, et al.
Veröffentlicht: (2026)

Workload Schedulers -- Genesis, Algorithms and Differences
von: Sliwko, Leszek, et al.
Veröffentlicht: (2025)

Optimizing Split Learning Latency in TinyML-Based IoT Systems
von: Jenhani, Zied, et al.
Veröffentlicht: (2025)

Sentinel: An Aggregation Function to Secure Decentralized Federated Learning
von: Feng, Chao, et al.
Veröffentlicht: (2023)

Decentralized AI: Permissionless LLM Inference on POKT Network
von: Olshansky, Daniel, et al.
Veröffentlicht: (2024)

The (R)evolution of Scientific Workflows in the Agentic AI Era: Towards Autonomous Science
von: Shin, Woong, et al.
Veröffentlicht: (2025)

Electricity Cost Minimization for Multi-Workflow Allocation in Geo-Distributed Data Centers
von: Wang, Shuang, et al.
Veröffentlicht: (2025)

UnifyFL: Enabling Decentralized Cross-Silo Federated Learning
von: S, Sarang, et al.
Veröffentlicht: (2025)

Accelerating Latency-Critical Applications with AI-Powered Semi-Automatic Fine-Grained Parallelization on SMT Processors
von: Los, Denis, et al.
Veröffentlicht: (2025)

iScheduler: Reinforcement Learning-Driven Continual Optimization for Large-Scale Resource Investment Problems
von: Hu, Yi-Xiang, et al.
Veröffentlicht: (2026)