Buchumschlag

VQKV: High-Fidelity and High-Ratio Cache Compression via Vector-Quantization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Yixuan, Shi, Qingyu, Zhou, Jiayu, Liu, Dianbo, He, Ziwei, Lin, Zhouhan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache
von: Lu, Liming, et al.
Veröffentlicht: (2026)

FreqKV: Key-Value Compression in Frequency Domain for Context Window Extension
von: Kai, Jushi, et al.
Veröffentlicht: (2025)

CommVQ: Commutative Vector Quantization for KV Cache Compression
von: Li, Junyan, et al.
Veröffentlicht: (2025)

PonderLM-2: Pretraining LLM with Latent Thoughts in Continuous Space
von: Zeng, Boyi, et al.
Veröffentlicht: (2025)

AWM: Accurate Weight-Matrix Fingerprint for Large Language Models
von: Zeng, Boyi, et al.
Veröffentlicht: (2025)

QAQ: Quality Adaptive Quantization for LLM KV Cache
von: Dong, Shichen, et al.
Veröffentlicht: (2024)

Mitigating Premature Discretization with Progressive Quantization for Robust Vector Tokenization
von: Zhao, Wenhao, et al.
Veröffentlicht: (2026)

EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction
von: Ji, Shiyu, et al.
Veröffentlicht: (2026)

VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization
von: Yao, Dingyu, et al.
Veröffentlicht: (2025)

A$^2$ATS: Retrieval-Based KV Cache Reduction via Windowed Rotary Position Embedding and Query-Aware Vector Quantization
von: He, Junhui, et al.
Veröffentlicht: (2025)

CoDAR: Continuous Diffusion Language Models are More Powerful Than You Think
von: Shen, Junzhe, et al.
Veröffentlicht: (2026)

TreeKV: Smooth Key-Value Cache Compression with Tree Structures
von: He, Ziwei, et al.
Veröffentlicht: (2025)

AdaPonderLM: Gated Pondering Language Models with Token-Wise Adaptive Depth
von: Song, Shixiang, et al.
Veröffentlicht: (2026)

PonderLM: Pretraining Language Models to Ponder in Continuous Space
von: Zeng, Boyi, et al.
Veröffentlicht: (2025)

Balance of Number of Embedding and their Dimensions in Vector Quantization
von: Chen, Hang, et al.
Veröffentlicht: (2024)

Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression
von: Liu, Peiyu, et al.
Veröffentlicht: (2024)

xKV: Cross-Layer KV-Cache Compression via Aligned Singular Vector Extraction
von: Chang, Chi-Chih, et al.
Veröffentlicht: (2025)

XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression
von: Yang, Haoqi, et al.
Veröffentlicht: (2025)

Fourier Transformer: Fast Long Range Modeling by Removing Sequence Redundancy with FFT Operator
von: He, Ziwei, et al.
Veröffentlicht: (2023)

Towards Controlled Table-to-Text Generation with Scientific Reasoning
von: Guo, Zhixin, et al.
Veröffentlicht: (2023)

Quantization Dominates Rank Reduction for KV-Cache Compression
von: Salfati, Samuel
Veröffentlicht: (2026)

AnTKV: Anchor Token-Aware Sub-Bit Vector Quantization for KV Cache in Large Language Models
von: Li, Zeyu, et al.
Veröffentlicht: (2025)

Semantic Integrity Matters: Benchmarking and Preserving High-Density Reasoning in KV Cache Compression
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

PonderLM-3: Adaptive Token-Wise Pondering with Differentiable Masking
von: Li, He, et al.
Veröffentlicht: (2026)

SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging
von: Wu, Shunlong, et al.
Veröffentlicht: (2026)

KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs
von: Chen, Jian, et al.
Veröffentlicht: (2026)

PyramidInfer: Pyramid KV Cache Compression for High-throughput LLM Inference
von: Yang, Dongjie, et al.
Veröffentlicht: (2024)

VQ-Logits: Compressing the Output Bottleneck of Large Language Models via Vector Quantized Logits
von: Shao, Jintian, et al.
Veröffentlicht: (2025)

SCOPE: Optimizing Key-Value Cache Compression in Long-context Generation
von: Wu, Jialong, et al.
Veröffentlicht: (2024)

Accurate KV Cache Quantization with Outlier Tokens Tracing
von: Su, Yi, et al.
Veröffentlicht: (2025)

OpenBA-V2: Reaching 77.3% High Compression Ratio with Fast Multi-Stage Pruning
von: Qiao, Dan, et al.
Veröffentlicht: (2024)

Beyond Homogeneous Attention: Memory-Efficient LLMs via Fourier-Approximated KV Cache
von: Liu, Xiaoran, et al.
Veröffentlicht: (2025)

CRVQ: Channel-Relaxed Vector Quantization for Extreme Compression of LLMs
von: Xu, Yuzhuang, et al.
Veröffentlicht: (2024)

Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query
von: Wang, Yixuan, et al.
Veröffentlicht: (2025)

CaliDrop: KV Cache Compression with Calibration
von: Su, Yi, et al.
Veröffentlicht: (2025)

HeteroCache: A Dynamic Retrieval Approach to Heterogeneous KV Cache Compression for Long-Context LLM Inference
von: Shi, Zhiyuan, et al.
Veröffentlicht: (2026)

More Human, More Efficient: Aligning Annotations with Quantized SLMs
von: Wang, Jiayu, et al.
Veröffentlicht: (2026)

MiniCache: KV Cache Compression in Depth Dimension for Large Language Models
von: Liu, Akide, et al.
Veröffentlicht: (2024)

Retaining Key Information under High Compression Ratios: Query-Guided Compressor for LLMs
von: Cao, Zhiwei, et al.
Veröffentlicht: (2024)

Multi-Novelty: Improve the Diversity and Novelty of Contents Generated by Large Language Models via inference-time Multi-Views Brainstorming
von: Lagzian, Arash, et al.
Veröffentlicht: (2025)