Tackling the Data-Parallel Load Balancing Bottleneck in LLM Serving: Practical Online Routing at Scale

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bu, Tianci, Lyu, Yuan, Chen, Zixi, Song, Chendong, Liang, Hong, Gurung, Tsepten, Fan, Yuwei, Ye, Yinyu, Zhou, Zijie
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Beschreibung
Keine Beschreibung verfügbar.

Ähnliche Einträge