semi-PD: Towards Efficient LLM Serving via Phase-Wise Disaggregated Computation and Unified Storage

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hong, Ke, Chen, Lufang, Wang, Zhong, Li, Xiuhong, Mao, Qiuli, Ma, Jianping, Xiong, Chao, Wu, Guanyu, Han, Buhe, Dai, Guohao, Liang, Yun, Wang, Yu
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Distributed, Parallel, and Cluster Computing Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Online

https://arxiv.org/abs/2504.19867