CacheFlow: Efficient LLM Serving with 3D-Parallel KV Cache Restoration

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Nian, Sean, Fang, Jiahao, Feng, Qilong, Wu, Zhiyu, Lai, Fan
Format:	Preprint
Publié:	2026
Sujets:	Distributed, Parallel, and Cluster Computing
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Internet

https://arxiv.org/abs/2604.25080