Buchumschlag

Cache Me If You Must: Adaptive Key-Value Quantization for Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shutova, Alina, Malinovskii, Vladimir, Egiazarian, Vage, Kuznedelev, Denis, Mazur, Denis, Surkov, Nikita, Ermakov, Ivan, Alistarh, Dan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Extreme Compression of Large Language Models via Additive Quantization
von: Egiazarian, Vage, et al.
Veröffentlicht: (2024)

Hogwild! Inference: Parallel LLM Generation via Concurrent Attention
von: Rodionov, Gleb, et al.
Veröffentlicht: (2025)

PV-Tuning: Beyond Straight-Through Estimation for Extreme LLM Compression
von: Malinovskii, Vladimir, et al.
Veröffentlicht: (2024)

Accurate Compression of Text-to-Image Diffusion Models via Vector Quantization
von: Egiazarian, Vage, et al.
Veröffentlicht: (2024)

WUSH: Near-Optimal Adaptive Transforms for LLM Quantization
von: Chen, Jiale, et al.
Veröffentlicht: (2025)

Grid Games: The Power of Multiple Grids for Quantizing Large Language Models
von: Egiazarian, Vage, et al.
Veröffentlicht: (2026)

Pushing the Limits of Large Language Model Quantization via the Linearity Theorem
von: Malinovskii, Vladimir, et al.
Veröffentlicht: (2024)

KV Cache Offloading for Context-Intensive Tasks
von: Bocharnikov, Andrey, et al.
Veröffentlicht: (2026)

Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization
von: Egiazarian, Vage, et al.
Veröffentlicht: (2025)

EvoPress: Accurate Dynamic Model Compression via Evolutionary Search
von: Sieberling, Oliver, et al.
Veröffentlicht: (2024)

AutoJudge: Judge Decoding Without Manual Annotation
von: Garipov, Roman, et al.
Veröffentlicht: (2025)

The Iterative Optimal Brain Surgeon: Faster Sparse Recovery by Leveraging Second-Order Information
von: Wu, Diyuan, et al.
Veröffentlicht: (2024)

Unified Scaling Laws for Compressed Representations
von: Panferov, Andrei, et al.
Veröffentlicht: (2025)

Asynchronous Reasoning: Training-Free Interactive Thinking LLMs
von: Yakushev, George, et al.
Veröffentlicht: (2025)

Statistically-Lossless Quantization of Large Language Models
von: Helcig, Michael, et al.
Veröffentlicht: (2026)

SKVQ: Sliding-window Key and Value Cache Quantization for Large Language Models
von: Duanmu, Haojie, et al.
Veröffentlicht: (2024)

"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization
von: Kurtic, Eldar, et al.
Veröffentlicht: (2024)

WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More
von: Yue, Yuxuan, et al.
Veröffentlicht: (2024)

Scale-wise Distillation of Diffusion Models
von: Starodubcev, Nikita, et al.
Veröffentlicht: (2025)

Refined distributional limit theorems for compound sums
von: Malinovskii, Vsevolod K.
Veröffentlicht: (2024)

MatGPTQ: Accurate and Efficient Post-Training Matryoshka Quantization
von: Kleinegger, Maximilian, et al.
Veröffentlicht: (2026)

Does Diffusion Beat GAN in Image Super Resolution?
von: Kuznedelev, Denis, et al.
Veröffentlicht: (2024)

Characterizing Graph Datasets for Node Classification: Homophily-Heterophily Dichotomy and Beyond
von: Platonov, Oleg, et al.
Veröffentlicht: (2022)

Neural Optimal Transport with General Cost Functionals
von: Asadulaev, Arip, et al.
Veröffentlicht: (2022)

Mathador-LM: A Dynamic Benchmark for Mathematical Reasoning on Large Language Models
von: Kurtic, Eldar, et al.
Veröffentlicht: (2024)

Evaluating Memory Structure in LLM Agents
von: Shutova, Alina, et al.
Veröffentlicht: (2026)

Rethinking Key-Value Cache Compression Techniques for Large Language Model Serving
von: Gao, Wei, et al.
Veröffentlicht: (2025)

Label Privacy in Split Learning for Large Models with Parameter-Efficient Training
von: Zmushko, Philip, et al.
Veröffentlicht: (2024)

Apertus LLM Family Expansion via Distillation and Quantization
von: Panferov, Andrei, et al.
Veröffentlicht: (2026)

Cache Me if You Can: Accelerating Diffusion Models through Block Caching
von: Wimbauer, Felix, et al.
Veröffentlicht: (2023)

ECO: Quantized Training without Full-Precision Master Weights
von: Nikdan, Mahdi, et al.
Veröffentlicht: (2026)

Adaptive Cost Model for Query Optimization
von: Vasilenko, Nikita, et al.
Veröffentlicht: (2024)

Mitigating the Impact of Outlier Channels for Language Model Quantization with Activation Regularization
von: Nrusimha, Aniruddha, et al.
Veröffentlicht: (2024)

Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning
von: Choenni, Rochelle, et al.
Veröffentlicht: (2024)

Switti: Designing Scale-Wise Transformers for Text-to-Image Synthesis
von: Voronov, Anton, et al.
Veröffentlicht: (2024)

A critical look at the evaluation of GNNs under heterophily: Are we really making progress?
von: Platonov, Oleg, et al.
Veröffentlicht: (2023)

Compression Scaling Laws:Unifying Sparsity and Quantization
von: Frantar, Elias, et al.
Veröffentlicht: (2025)

Rethinking Optimal Transport in Offline Reinforcement Learning
von: Asadulaev, Arip, et al.
Veröffentlicht: (2024)

WeightedKV: Attention Scores Weighted Key-Value Cache Merging for Large Language Models
von: Yuan, Jian, et al.
Veröffentlicht: (2025)

FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models
von: Modoranu, Ionut-Vlad, et al.
Veröffentlicht: (2025)