ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving

Fuente: arXiv

Guardado en:

Detalles Bibliográficos
Autores principales:	Qiao, Yifan, Anzai, Shu, Yu, Shan, Ma, Haoran, Yang, Shuo, Wang, Yang, Kim, Miryung, Wu, Yongji, Zhou, Yang, Xing, Jiarong, Gonzalez, Joseph E., Stoica, Ion, Xu, Harry
Formato:	Preprint
Publicado:	2024
Materias:	Distributed, Parallel, and Cluster Computing Machine Learning
Acceso en línea:	Acceder al recurso
Etiquetas:	Agregar Etiqueta Sin Etiquetas, Sea el primero en etiquetar este registro!

Internet

https://arxiv.org/abs/2410.01228