Don't Waste Bits! Adaptive KV-Cache Quantization for Lightweight On-Device LLMs

Fuente: arXiv
Salvato in:
Dettagli Bibliografici
Autori principali: Boroujeni, Sayed Pedram Haeri, Mehrabi, Niloufar, Woods, Patrick, Hillesheim, Gabriel, Razi, Abolfazl
Natura: Preprint
Pubblicazione: 2026
Soggetti:
Accesso online:
Tags: Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!