OOCO: Latency-disaggregated Architecture for Online-Offline Co-locate LLM Serving

Fuente: arXiv
Salvato in:
Dettagli Bibliografici
Autori principali: Wu, Siyu, Tang, Zihan, Zeng, Yuting, Chen, Hui, Ding, Guiguang, Liu, Tongxuan, Zhang, Ke, Yang, Hailong
Natura: Preprint
Pubblicazione: 2025
Soggetti:
Accesso online:
Tags: Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!