LatencyPrism: Online Non-intrusive Latency Sculpting for SLO-Guaranteed LLM Inference

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Du, Yin, Ren, Jiayi, Sun, Xiayu, Zhou, Tianyao, Zhou, Haizhu, Ma, Ruiyan, Zhang, Danyang
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Distributed, Parallel, and Cluster Computing Machine Learning Operating Systems
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Online

https://arxiv.org/abs/2601.09258