Efficient Serving of LLM Applications with Probabilistic Demand Modeling

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Yifei, Gan, Zuo, Gan, Zhenghao, Wang, Weiye, Chen, Chen, Shan, Yizhou, Chen, Xusheng, Han, Zhenhua, Zhu, Yifei, Sun, Shixuan, Guo, Minyi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Online

https://arxiv.org/abs/2506.14851