Breaking the Boundaries of Long-Context LLM Inference: Adaptive KV Management on a Single Commodity GPU

Fuente: arXiv
Salvato in:
Dettagli Bibliografici
Autori principali: Sun, He, Li, Li, Xiao, Mingjun, Xu, Chengzhong
Natura: Preprint
Pubblicazione: 2025
Soggetti:
Accesso online:
Tags: Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi