Buchumschlag

GQSA: Group Quantization and Sparsity for Accelerating Large Language Model Inference

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zeng, Chao, Liu, Songwei, Yang, Shu, Chen, Fangmin, Fu, Lean, Mei, Xing
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

ABQ-LLM: Arbitrary-Bit Quantized Inference Acceleration for Large Language Models
von: Zeng, Chao, et al.
Veröffentlicht: (2024)

FoldGPT: Simple and Effective Large Language Model Compression Scheme
von: Liu, Songwei, et al.
Veröffentlicht: (2024)

Error Propagation Mechanisms and Compensation Strategies for Quantized Diffusion
von: Liu, Songwei, et al.
Veröffentlicht: (2025)

Hybrid SD: Edge-Cloud Collaborative Inference for Stable Diffusion Models
von: Yan, Chenqian, et al.
Veröffentlicht: (2024)

ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching
von: Zhao, Youpeng, et al.
Veröffentlicht: (2024)

S2O: Early Stopping for Sparse Attention via Online Permutation
von: Zhang, Yu, et al.
Veröffentlicht: (2026)

I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models
von: Hu, Xing, et al.
Veröffentlicht: (2024)

Toward Inference-optimal Mixture-of-Expert Large Language Models
von: Yun, Longfei, et al.
Veröffentlicht: (2024)

Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective
von: Huang, Weizhong, et al.
Veröffentlicht: (2025)

LLM-Inference-Bench: Inference Benchmarking of Large Language Models on AI Accelerators
von: Chitty-Venkata, Krishna Teja, et al.
Veröffentlicht: (2024)

RSAVQ: Riemannian Sensitivity-Aware Vector Quantization for Large Language Models
von: Xu, Zukang, et al.
Veröffentlicht: (2025)

SQ-DM: Accelerating Diffusion Models with Aggressive Quantization and Temporal Sparsity
von: Fan, Zichen, et al.
Veröffentlicht: (2025)

Pivoting Factorization: A Compact Meta Low-Rank Representation of Sparsity for Efficient Inference in Large Language Models
von: Zhao, Jialin, et al.
Veröffentlicht: (2025)

Large Language Model Inference Acceleration: A Comprehensive Hardware Perspective
von: Li, Jinhao, et al.
Veröffentlicht: (2024)

QQQ: Quality Quattuor-Bit Quantization for Large Language Models
von: Zhang, Ying, et al.
Veröffentlicht: (2024)

ActTail: Global Activation Sparsity in Large Language Models
von: Hou, Wenwen, et al.
Veröffentlicht: (2026)

FinLoRA: Finetuning Quantized Financial Large Language Models Using Low-Rank Adaptation
von: Wang, Dannong, et al.
Veröffentlicht: (2024)

Window-Diffusion: Accelerating Diffusion Language Model Inference with Windowed Token Pruning and Caching
von: Zuo, Fengrui, et al.
Veröffentlicht: (2026)

Saliency-Aware Regularized Quantization Calibration for Large Language Models
von: Zhao, Yanlong, et al.
Veröffentlicht: (2026)

E-Sparse: Boosting the Large Language Model Inference through Entropy-based N:M Sparsity
von: Li, Yun, et al.
Veröffentlicht: (2023)

Edge Intelligence Optimization for Large Language Model Inference with Batching and Quantization
von: Zhang, Xinyuan, et al.
Veröffentlicht: (2024)

Universal Properties of Activation Sparsity in Modern Large Language Models
von: Szatkowski, Filip, et al.
Veröffentlicht: (2025)

Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference
von: Mukherji, Rishav, et al.
Veröffentlicht: (2023)

WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference
von: Chen, Sihan, et al.
Veröffentlicht: (2025)

Accelerating Transformer Inference and Training with 2:4 Activation Sparsity
von: Haziza, Daniel, et al.
Veröffentlicht: (2025)

Learn To be Efficient: Build Structured Sparsity in Large Language Models
von: Zheng, Haizhong, et al.
Veröffentlicht: (2024)

GPU-Accelerated INT8 Quantization for KV Cache Compression in Large Language Models
von: Taneja, Maanas, et al.
Veröffentlicht: (2026)

BAQ: Efficient Bit Allocation Quantization for Large Language Models
von: Zhang, Chao, et al.
Veröffentlicht: (2025)

AffineQuant: Affine Transformation Quantization for Large Language Models
von: Ma, Yuexiao, et al.
Veröffentlicht: (2024)

Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling
von: Luo, Xianzhen, et al.
Veröffentlicht: (2024)

QuickLLaMA: Query-aware Inference Acceleration for Large Language Models
von: Li, Jingyao, et al.
Veröffentlicht: (2024)

Amber Pruner: Leveraging N:M Activation Sparsity for Efficient Prefill in Large Language Models
von: An, Tai, et al.
Veröffentlicht: (2025)

KBVQ-MoE: KLT-guided SVD with Bias-Corrected Vector Quantization for MoE Large Language Models
von: Xu, Zukang, et al.
Veröffentlicht: (2026)

ExAnte: A Benchmark for Ex-Ante Inference in Large Language Models
von: Liu, Yachuan, et al.
Veröffentlicht: (2025)

Accelerating Transformer Pre-training with 2:4 Sparsity
von: Hu, Yuezhou, et al.
Veröffentlicht: (2024)

A Comprehensive Evaluation on Quantization Techniques for Large Language Models
von: Liu, Yutong, et al.
Veröffentlicht: (2025)

KV Cache is 1 Bit Per Channel: Efficient Large Language Model Inference with Coupled Quantization
von: Zhang, Tianyi, et al.
Veröffentlicht: (2024)

Accelerating Large Language Model Inference with Self-Supervised Early Exits
von: Valade, Florian
Veröffentlicht: (2024)

Compression Scaling Laws:Unifying Sparsity and Quantization
von: Frantar, Elias, et al.
Veröffentlicht: (2025)

OPAL: Outlier-Preserved Microscaling Quantization Accelerator for Generative Large Language Models
von: Koo, Jahyun, et al.
Veröffentlicht: (2024)