Foundry: Template-Based CUDA Graph Context Materialization for Fast LLM Serving Cold Start

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Xueshen, Wu, Yongji, Yao, Yuncheng, Zhuo, Danyang, Stoica, Ion, Mao, Z. Morley
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Distributed, Parallel, and Cluster Computing Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Online

https://arxiv.org/abs/2604.06664