TokenLake: A Unified Segment-level Prefix Cache Pool for Fine-grained Elastic Long-Context LLM Serving

Fuente: arXiv

Guardado en:

Detalles Bibliográficos
Autores principales:	Wu, Bingyang, Zhang, Zili, Zhong, Yinmin, Huang, Guanzhe, Zhu, Yibo, Liu, Xuanzhe, Jin, Xin
Formato:	Preprint
Publicado:	2025
Materias:	Distributed, Parallel, and Cluster Computing Machine Learning
Acceso en línea:	Acceder al recurso
Etiquetas:	Agregar Etiqueta Sin Etiquetas, Sea el primero en etiquetar este registro!

Descripción
Descripción no disponible.

Ejemplares similares