Buchumschlag

Competitive Non-Clairvoyant KV-Cache Scheduling for LLM Inference

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Feng, Yiding, Yang, Zonghan, Zhang, Yuhao
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Data Structures and Algorithms
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Competitive Kill-and-Restart and Preemptive Strategies for Non-Clairvoyant Scheduling
von: Jäger, Sven, et al.
Veröffentlicht: (2022)

Non-Clairvoyant Scheduling with Progress Bars
von: Benomar, Ziyad, et al.
Veröffentlicht: (2025)

The Power of Proportional Fairness for Non-Clairvoyant Scheduling under Polyhedral Constraints
von: Jäger, Sven, et al.
Veröffentlicht: (2024)

Online Flow Time Minimization: Tight Bounds for Non-Preemptive Algorithms
von: Geng, Yutong, et al.
Veröffentlicht: (2025)

A Simpler Analysis for $\varepsilon$-Clairvoyant Flow Time Scheduling
von: Gupta, Anupam, et al.
Veröffentlicht: (2026)

Universal Optimization for Non-Clairvoyant Subadditive Joint Replenishment
von: Ezra, Tomer, et al.
Veröffentlicht: (2024)

Delayed-Clairvoyant Flow Time Scheduling via a Borrow Graph Analysis
von: Lindermayr, Alexander, et al.
Veröffentlicht: (2026)

A Little Clairvoyance Is All You Need
von: Gupta, Anupam, et al.
Veröffentlicht: (2025)

Near-Optimal Bayesian Online Assortment of Reusable Resources
von: Feng, Yiding, et al.
Veröffentlicht: (2025)

LLM Query Scheduling with Prefix Reuse and Latency Constraints
von: Dexter, Gregory, et al.
Veröffentlicht: (2025)

Competitively Consistent Clustering
von: Buchbinder, Niv, et al.
Veröffentlicht: (2025)

Non-Stationary Online Resource Allocation: Learning from a Single Sample
von: Feng, Yiding, et al.
Veröffentlicht: (2026)

Non-Splitting Coflow Scheduling with Provable Guarantees in Heterogeneous Parallel Networks
von: Chen, Chi-Yeh
Veröffentlicht: (2025)

Caching Connections in Matchings
von: Sadeh, Yaniv, et al.
Veröffentlicht: (2023)

Tighter Bounds on Non-clairvoyant Parallel Machine Scheduling with Prediction to Minimize Makespan
von: Chen, Tianqi, et al.
Veröffentlicht: (2025)

New Convex Programming Technique for Nash Social Welfare and Scheduling
von: Feng, Yuda, et al.
Veröffentlicht: (2026)

Edge Arrival Online Matching: The Power of Free Disposal on Acyclic Graphs
von: Jiang, Tianle, et al.
Veröffentlicht: (2024)

Deterministic Cache-Oblivious Funnelselect
von: Brodal, Gerth Stølting, et al.
Veröffentlicht: (2024)

Dependency-Aware Online Caching
von: Dallot, Julien, et al.
Veröffentlicht: (2024)

Latency Guarantees for Caching with Delayed Hits
von: Gurushankar, Keerthana, et al.
Veröffentlicht: (2025)

Public Event Scheduling with Busy Agents
von: Li, Bo, et al.
Veröffentlicht: (2024)

Combinatorial Perpetual Scheduling: Existence and Computation of Low-Height Schedules
von: Mendoza-Cadena, Mirabel, et al.
Veröffentlicht: (2026)

Crane Scheduling Problem with Energy Saving
von: Gao, Yixiong, et al.
Veröffentlicht: (2025)

Finding Colorings in One-Sided Expanders
von: Buhai, Rares-Darius, et al.
Veröffentlicht: (2025)

Online Makespan Minimization: Beat LPT by Dynamic Locking
von: Wang, Zhaozi, et al.
Veröffentlicht: (2023)

Job Scheduling under Base and Additional Fees, with Applications to Mixed-Criticality Scheduling
von: Hsieh, Yi-Ting, et al.
Veröffentlicht: (2025)

Online Flexible Busy Time Scheduling on Heterogeneous Machines
von: Calinescu, Gruia, et al.
Veröffentlicht: (2024)

Competitive Online Transportation Simplified
von: Arndt, Stephen, et al.
Veröffentlicht: (2025)

Collision-Free Robot Scheduling
von: Adamson, Duncan, et al.
Veröffentlicht: (2024)

Fixed Order Scheduling with Deadlines
von: Berger, Andre, et al.
Veröffentlicht: (2024)

Competitive Search in the Line and the Star with Predictions
von: Angelopoulos, Spyros
Veröffentlicht: (2023)

Competitive Policies for Online Collateral Maintenance
von: Almashaqbeh, Ghada, et al.
Veröffentlicht: (2024)

Engineering Optimal Parallel Task Scheduling
von: Akram, Matthew, et al.
Veröffentlicht: (2024)

Online Makespan Scheduling under Scenarios
von: Ergen, Ekin
Veröffentlicht: (2025)

Approximation Algorithms for Fair Repetitive Scheduling
von: Hermelin, Danny, et al.
Veröffentlicht: (2025)

Scheduling on a Stochastic Number of Machines
von: Buchem, Moritz, et al.
Veröffentlicht: (2024)

On Competitiveness of Dynamic Replication for Distributed Data Access
von: Zuo, Tianyu, et al.
Veröffentlicht: (2025)

An Empirical Study of Online Packet Scheduling Algorithms
von: Sakr, Nourhan, et al.
Veröffentlicht: (2016)

Weighted Chairman Assignment and Flow-Time Scheduling
von: Liu, Siyue, et al.
Veröffentlicht: (2025)

Root-to-Leaf Scheduling in Write-Optimized Trees
von: Chung, Christopher, et al.
Veröffentlicht: (2024)