Copertina

How to Compress KV Cache in RL Post-Training? Shadow Mask Distillation for Memory-Efficient Alignment

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhu, Rui, Bai, Weiheng, Wu, Qiushi, Ren, Yang, Tang, Haixu, Liu, Yuchu
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Can LLMs Predict Polymer Physics Just by Reading Synthesis and Processing Prose?
di: Liu, Yuchu, et al.
Pubblicazione: (2026)

ZSMerge: Zero-Shot KV Cache Compression for Memory-Efficient Long-Context LLMs
di: Liu, Xin, et al.
Pubblicazione: (2025)

KVSculpt: KV Cache Compression as Distillation
di: Jiang, Bo, et al.
Pubblicazione: (2026)

Training Transformers for KV Cache Compressibility
di: Gelberg, Yoav, et al.
Pubblicazione: (2026)

EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction
di: Ji, Shiyu, et al.
Pubblicazione: (2026)

Memory-Efficient Visual Autoregressive Modeling with Scale-Aware KV Cache Compression
di: Li, Kunjun, et al.
Pubblicazione: (2025)

Which Heads Matter for Reasoning? RL-Guided KV Cache Compression
di: Du, Wenjie, et al.
Pubblicazione: (2025)

NestedKV: Nested Memory Routing for Long-Context KV Cache Compression
di: Chen, Hong, et al.
Pubblicazione: (2026)

PackKV: Reducing KV Cache Memory Footprint through LLM-Aware Lossy Compression
di: Jiang, Bo, et al.
Pubblicazione: (2025)

ShadowKV: KV Cache in Shadows for High-Throughput Long-Context LLM Inference
di: Sun, Hanshi, et al.
Pubblicazione: (2024)

Graph-Guided Adaptive Channel Elimination for KV Cache Compression
di: Tong, Enwei, et al.
Pubblicazione: (2026)

ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference
di: Liu, Xiang, et al.
Pubblicazione: (2025)

Lossless KV Cache Compression to 2%
di: Yang, Zhen, et al.
Pubblicazione: (2024)

RazorAttention: Efficient KV Cache Compression Through Retrieval Heads
di: Tang, Hanlin, et al.
Pubblicazione: (2024)

KeepKV: Achieving Periodic Lossless KV Cache Compression for Efficient LLM Inference
di: Tian, Yuxuan, et al.
Pubblicazione: (2025)

ShadowServe: Interference-Free KV Cache Fetching for Distributed Prefix Caching
di: Xiang, Xingyu, et al.
Pubblicazione: (2025)

Forcing-KV: Hybrid KV Cache Compression for Efficient Autoregressive Video Diffusion Models
di: Ji, Yicheng, et al.
Pubblicazione: (2026)

HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference
di: Zeng, Bowen, et al.
Pubblicazione: (2026)

KaVa: Latent Reasoning via Compressed KV-Cache Distillation
di: Kuzina, Anna, et al.
Pubblicazione: (2025)

EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving
di: Feng, Shaoting, et al.
Pubblicazione: (2025)

The Pitfalls of KV Cache Compression
di: Chen, Alex, et al.
Pubblicazione: (2025)

Adaptive KV-Cache Compression without Manually Setting Budget
di: Tang, Chenxia, et al.
Pubblicazione: (2025)

SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging
di: Wu, Shunlong, et al.
Pubblicazione: (2026)

Beyond Token Eviction: Mixed-Dimension Budget Allocation for Efficient KV Cache Compression
di: Miao, Ruijie, et al.
Pubblicazione: (2026)

ThinKV: Thought-Adaptive KV Cache Compression for Efficient Reasoning Models
di: Ramachandran, Akshat, et al.
Pubblicazione: (2025)

StreamKV: Streaming Video Question-Answering with Segment-based KV Cache Retrieval and Compression
di: Chen, Yilong, et al.
Pubblicazione: (2025)

ManifoldKV: Training-Free KV Cache Compression via Euclidean Outlier Detection
di: Datta, Debajyoti, et al.
Pubblicazione: (2026)

AFLGopher: Accelerating Directed Fuzzing via Feasibility-Aware Guidance
di: Bai, Weiheng, et al.
Pubblicazione: (2025)

Efficient Long-Horizon GUI Agents via Training-Free KV Cache Compression
di: Zhou, Bowen, et al.
Pubblicazione: (2026)

OjaKV: Context-Aware Online Low-Rank KV Cache Compression
di: Zhu, Yuxuan, et al.
Pubblicazione: (2025)

CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing
di: Wang, Yixuan, et al.
Pubblicazione: (2025)

XStreamVGGT: Extremely Memory-Efficient Streaming Vision Geometry Grounded Transformer with KV Cache Compression
di: Su, Zunhai, et al.
Pubblicazione: (2026)

XStreamVGGT: Extremely Memory-Efficient Streaming Vision Geometry Grounded Transformer with KV Cache Compression
di: Su, Zunhai, et al.
Pubblicazione: (2026)

GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs
di: Peng, Junjie, et al.
Pubblicazione: (2026)

LongFlow: Efficient KV Cache Compression for Reasoning Models
di: Su, Yi, et al.
Pubblicazione: (2026)

KVCompose: Efficient Structured KV Cache Compression with Composite Tokens
di: Akulov, Dmitry, et al.
Pubblicazione: (2025)

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding
di: Zhang, Haowei, et al.
Pubblicazione: (2026)

How Much Cache Does Reasoning Need? Depth-Cache Tradeoffs in KV-Compressed Transformers
di: Wang, Xiao
Pubblicazione: (2026)

Time and Memory Trade-off of KV-Cache Compression in Tensor Transformer Decoding
di: Chen, Yifang, et al.
Pubblicazione: (2025)

EvolKV: Evolutionary KV Cache Compression for LLM Inference
di: Yu, Bohan, et al.
Pubblicazione: (2025)