Prompt-Aware Scheduling for Low-Latency LLM Serving

Fuente: arXiv
Salvato in:
Dettagli Bibliografici
Autori principali: Tao, Yiheng, Zhang, Yihe, Dearing, Matthew T., Wang, Xin, Fan, Yuping, Lan, Zhiling
Natura: Preprint
Pubblicazione: 2025
Soggetti:
Accesso online:
Tags: Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!