Image de couverture de livre

KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Hooper, Coleman, Kim, Sehoon, Mohammadzadeh, Hiva, Mahoney, Michael W., Shao, Yakun Sophia, Keutzer, Kurt, Gholami, Amir
Format:	Preprint
Publié:	2024
Sujets:	Machine Learning
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Documents similaires

Squeezed Attention: Accelerating Long Context Length LLM Inference
par: Hooper, Coleman, et autres
Publié: (2024)

SPEED: Speculative Pipelined Execution for Efficient Decoding
par: Hooper, Coleman, et autres
Publié: (2023)

QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache
par: Tiwari, Rishabh, et autres
Publié: (2025)

Multipole Attention for Efficient Long Context Reasoning
par: Hooper, Coleman, et autres
Publié: (2025)

SqueezeLLM: Dense-and-Sparse Quantization
par: Kim, Sehoon, et autres
Publié: (2023)

XQuant: Breaking the Memory Wall for LLM Inference with KV Cache Rematerialization
par: Tomar, Aditya, et autres
Publié: (2025)

AI and Memory Wall
par: Gholami, Amir, et autres
Publié: (2024)

ETS: Efficient Tree Search for Inference-Time Scaling
par: Hooper, Coleman, et autres
Publié: (2025)

Characterizing Prompt Compression Methods for Long Context Inference
par: Jha, Siddharth, et autres
Publié: (2024)

Learned Best-Effort LLM Serving
par: Jha, Siddharth, et autres
Publié: (2024)

FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference
par: Hooper, Coleman, et autres
Publié: (2025)

An LLM Compiler for Parallel Function Calling
par: Kim, Sehoon, et autres
Publié: (2023)

Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling
par: Hooper, Coleman, et autres
Publié: (2026)

Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models
par: Kim, Minseo, et autres
Publié: (2025)

LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement
par: Lee, Nicholas, et autres
Publié: (2024)

TinyAgent: Function Calling at the Edge
par: Erdogan, Lutfi Eren, et autres
Publié: (2024)

CDLM: Consistency Diffusion Language Models For Faster Sampling
par: Kim, Minseo, et autres
Publié: (2025)

Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior
par: Subramanian, Shashank, et autres
Publié: (2023)

Residual Context Diffusion Language Models
par: Hu, Yuezhou, et autres
Publié: (2026)

Efficient and Scalable Estimation of Tool Representations in Vector Space
par: Moon, Suhong, et autres
Publié: (2024)

Reformulating KV Cache Eviction Problem for Long-Context LLM Inference
par: Mai, Tho, et autres
Publié: (2026)

Arbitrage: Efficient Reasoning via Advantage-Aware Speculation
par: Maheswaran, Monishwaran, et autres
Publié: (2025)

Plan-and-Act: Improving Planning of Agents for Long-Horizon Tasks
par: Erdogan, Lutfi Eren, et autres
Publié: (2025)

LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models
par: Xi, Haocheng, et autres
Publié: (2026)

ShadowKV: KV Cache in Shadows for High-Throughput Long-Context LLM Inference
par: Sun, Hanshi, et autres
Publié: (2024)

DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference
par: Dehghanighobadi, Zahra, et autres
Publié: (2026)

TriAxialKV: Toward Extreme Low-Precision KV-Cache Quantization for Agentic Inference Tasks
par: Shen, Hanzhang, et autres
Publié: (2026)

TTKV: Temporal-Tiered KV Cache for Long-Context LLM Inference
par: Dzikanyanga, Gradwell, et autres
Publié: (2026)

Efficient Long-Context LLM Inference via KV Cache Clustering
par: Hu, Jie, et autres
Publié: (2025)

DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing
par: Guo, Jinyu, et autres
Publié: (2026)

ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference
par: Liu, Xiang, et autres
Publié: (2025)

PolarQuant: Quantizing KV Caches with Polar Transformation
par: Han, Insu, et autres
Publié: (2025)

EvolKV: Evolutionary KV Cache Compression for LLM Inference
par: Yu, Bohan, et autres
Publié: (2025)

QAQ: Quality Adaptive Quantization for LLM KV Cache
par: Dong, Shichen, et autres
Publié: (2024)

QJL: 1-Bit Quantized JL Transform for KV Cache Quantization with Zero Overhead
par: Zandieh, Amir, et autres
Publié: (2024)

RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression
par: Behnam, Payman, et autres
Publié: (2025)

XKV: Personalized KV Cache Memory Reduction for Long-Context LLM Inference
par: Li, Weizhuo, et autres
Publié: (2024)

FreeKV: Boosting KV Cache Retrieval for Efficient LLM Inference
par: Liu, Guangda, et autres
Publié: (2025)

Oaken: Fast and Efficient LLM Serving with Online-Offline Hybrid KV Cache Quantization
par: Kim, Minsu, et autres
Publié: (2025)

KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference
par: Nadali, Alireza, et autres
Publié: (2026)