OrbitFlow: SLO-Aware Long-Context LLM Serving with Fine-Grained KV Cache Reconfiguration

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ma, Xinyue, Hong, Heelim, Um, Taegeon, Lee, Jongseop, Choy, Seoyeong, Lee, Woo-Yeon, Jeon, Myeongjae
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Artificial Intelligence Machine Learning Performance I.2.7
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Online

https://arxiv.org/abs/2601.10729