FireQ: Fast INT4-FP8 Kernel and RoPE-aware Quantization for LLM Inference Acceleration

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Baek, Daehyeon, Choi, Jieun, Son, Jimyoung, Bin, Kyungmin, Choi, Seungbeom, Moon, Kihyo, Jang, Minsung, Lee, Hyojung
Format:	Preprint
Publié:	2025
Sujets:	Machine Learning
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Internet

https://arxiv.org/abs/2505.20839