SAW-INT4: System-Aware 4-Bit KV-Cache Quantization for Real-World LLM Serving

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Jia, Jinda, Li, Jisen, Zhou, Zhongzhu, Heo, Jung Hwan, Wang, Jue, Dao, Tri, Song, Shuaiwen Leon, Athiwaratkun, Ben, Xu, Chenfeng, Zhang, Tianyi, Wu, Xiaoxia
Format:	Preprint
Publié:	2026
Sujets:	Machine Learning
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Internet

https://arxiv.org/abs/2604.19157