Copertina

LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhang, Rongzhi, Wang, Kuang, Liu, Liyuan, Wang, Shuohang, Cheng, Hao, Zhang, Chao, Shen, Yelong
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Artificial Intelligence Computation and Language I.2
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs
di: Chen, Jian, et al.
Pubblicazione: (2026)

Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs
di: Ge, Suyu, et al.
Pubblicazione: (2023)

DynamicKV: Task-Aware Adaptive KV Cache Compression for Long Context LLMs
di: Zhou, Xiabin, et al.
Pubblicazione: (2024)

On the Limits of Learned Importance Scoring for KV Cache Compression
di: Steele, Brady
Pubblicazione: (2026)

OjaKV: Context-Aware Online Low-Rank KV Cache Compression
di: Zhu, Yuxuan, et al.
Pubblicazione: (2025)

Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
di: Saxena, Utkarsh, et al.
Pubblicazione: (2024)

DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity
di: Hao, Jitai, et al.
Pubblicazione: (2026)

Quantization Dominates Rank Reduction for KV-Cache Compression
di: Salfati, Samuel
Pubblicazione: (2026)

CaliDrop: KV Cache Compression with Calibration
di: Su, Yi, et al.
Pubblicazione: (2025)

Homogeneous Keys, Heterogeneous Values: Exploiting Local KV Cache Asymmetry for Long-Context LLMs
di: Cui, Wanyun, et al.
Pubblicazione: (2025)

EliteKV: Scalable KV Cache Compression via RoPE Frequency Selection and Joint Low-Rank Projection
di: Zhou, Yuhao, et al.
Pubblicazione: (2025)

Lossless KV Cache Compression to 2%
di: Yang, Zhen, et al.
Pubblicazione: (2024)

KV-Compress: Paged KV-Cache Compression with Variable Compression Rates per Attention Head
di: Rehg, Isaac
Pubblicazione: (2024)

ZSMerge: Zero-Shot KV Cache Compression for Memory-Efficient Long-Context LLMs
di: Liu, Xin, et al.
Pubblicazione: (2025)

EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction
di: Ji, Shiyu, et al.
Pubblicazione: (2026)

LoRS: Efficient Low-Rank Adaptation for Sparse Large Language Model
di: Hu, Yuxuan, et al.
Pubblicazione: (2025)

LLM Vocabulary Compression for Low-Compute Environments
di: Vennam, Sreeram, et al.
Pubblicazione: (2024)

AttentionPredictor: Temporal Patterns Matter for KV Cache Compression
di: Yang, Qingyue, et al.
Pubblicazione: (2025)

NestedKV: Nested Memory Routing for Long-Context KV Cache Compression
di: Chen, Hong, et al.
Pubblicazione: (2026)

R-KV: Redundancy-aware KV Cache Compression for Reasoning Models
di: Cai, Zefan, et al.
Pubblicazione: (2025)

Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression
di: Liu, Peiyu, et al.
Pubblicazione: (2024)

Transactional Attention: Semantic Sponsorship for KV-Cache Retention
di: Basu, Abhinaba
Pubblicazione: (2026)

PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling
di: Cai, Zefan, et al.
Pubblicazione: (2024)

Palu: Compressing KV-Cache with Low-Rank Projection
di: Chang, Chi-Chih, et al.
Pubblicazione: (2024)

KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference
di: Nadali, Alireza, et al.
Pubblicazione: (2026)

KVSculpt: KV Cache Compression as Distillation
di: Jiang, Bo, et al.
Pubblicazione: (2026)

Which Heads Matter for Reasoning? RL-Guided KV Cache Compression
di: Du, Wenjie, et al.
Pubblicazione: (2025)

CommVQ: Commutative Vector Quantization for KV Cache Compression
di: Li, Junyan, et al.
Pubblicazione: (2025)

More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression
di: Zhang, Jiebin, et al.
Pubblicazione: (2024)

KeepKV: Achieving Periodic Lossless KV Cache Compression for Efficient LLM Inference
di: Tian, Yuxuan, et al.
Pubblicazione: (2025)

Hold Onto That Thought: Assessing KV Cache Compression On Reasoning
di: Liu, Minghui, et al.
Pubblicazione: (2025)

XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression
di: Yang, Haoqi, et al.
Pubblicazione: (2025)

KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction
di: Yuan, Aomufei, et al.
Pubblicazione: (2025)

Key, Value, Compress: A Systematic Exploration of KV Cache Compression Techniques
di: Javidnia, Neusha, et al.
Pubblicazione: (2025)

SABlock: Semantic-Aware KV Cache Eviction with Adaptive Compression Block Size
di: Chen, Jinhan, et al.
Pubblicazione: (2025)

LongFlow: Efficient KV Cache Compression for Reasoning Models
di: Su, Yi, et al.
Pubblicazione: (2026)

Streamlining Redundant Layers to Compress Large Language Models
di: Chen, Xiaodong, et al.
Pubblicazione: (2024)

EvolKV: Evolutionary KV Cache Compression for LLM Inference
di: Yu, Bohan, et al.
Pubblicazione: (2025)

GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs
di: Peng, Junjie, et al.
Pubblicazione: (2026)

MiniCache: KV Cache Compression in Depth Dimension for Large Language Models
di: Liu, Akide, et al.
Pubblicazione: (2024)