:: Library Catalog

Buchumschlag

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kim, Junhyuck, Park, Jongho, Cho, Jaewoong, Papailiopoulos, Dimitris
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	https://arxiv.org/abs/2412.08890
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Not All Bits Are Equal: Scale-Dependent Memory Optimization Strategies for Reasoning Models
von: Kim, Junhyuck, et al.
Veröffentlicht: (2025)

Can Mamba Learn How to Learn? A Comparative Study on In-Context Learning Tasks
von: Park, Jongho, et al.
Veröffentlicht: (2024)

Beyond RLHF: A Unified Theoretical Framework of Alignment
von: Yun, Jihun, et al.
Veröffentlicht: (2025)

Predictive Pipelined Decoding: A Compute-Latency Trade-off for Exact LLM Decoding
von: Yang, Seongjun, et al.
Veröffentlicht: (2023)

Pruning and Distilling Mixture-of-Experts into Dense Language Models
von: Kim, Junhyuck, et al.
Veröffentlicht: (2026)

HCAttention: Extreme KV Cache Compression via Heterogeneous Attention Computing for LLMs
von: Yang, Dongquan, et al.
Veröffentlicht: (2025)

The Pitfalls of KV Cache Compression
von: Chen, Alex, et al.
Veröffentlicht: (2025)

FibQuant: Universal Vector Quantization for Random-Access KV-Cache Compression
von: Lee, Namyoon, et al.
Veröffentlicht: (2026)

Training Transformers for KV Cache Compressibility
von: Gelberg, Yoav, et al.
Veröffentlicht: (2026)

FastKV: Decoupling of Context Reduction and KV Cache Compression for Prefill-Decoding Acceleration
von: Jo, Dongwon, et al.
Veröffentlicht: (2025)

KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction
von: Kim, Jang-Hyun, et al.
Veröffentlicht: (2025)

InfiniGen: Efficient Generative Inference of Large Language Models with Dynamic KV Cache Management
von: Lee, Wonbeom, et al.
Veröffentlicht: (2024)

KVSculpt: KV Cache Compression as Distillation
von: Jiang, Bo, et al.
Veröffentlicht: (2026)

KV-CAR: KV Cache Compression using Autoencoders and KV Reuse in Large Language Models
von: Roy, Sourjya, et al.
Veröffentlicht: (2025)

No Token Left Behind: Reliable KV Cache Compression via Importance-Aware Mixed Precision Quantization
von: Yang, June Yong, et al.
Veröffentlicht: (2024)

KaVa: Latent Reasoning via Compressed KV-Cache Distillation
von: Kuzina, Anna, et al.
Veröffentlicht: (2025)

ThinKV: Thought-Adaptive KV Cache Compression for Efficient Reasoning Models
von: Ramachandran, Akshat, et al.
Veröffentlicht: (2025)

CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing
von: Wang, Yixuan, et al.
Veröffentlicht: (2025)

SWAN: Sparse Winnowed Attention for Reduced Inference Memory via Decompression-Free KV-Cache Compression
von: S, Santhosh G, et al.
Veröffentlicht: (2025)

xKV: Cross-Layer KV-Cache Compression via Aligned Singular Vector Extraction
von: Chang, Chi-Chih, et al.
Veröffentlicht: (2025)

ManifoldKV: Training-Free KV Cache Compression via Euclidean Outlier Detection
von: Datta, Debajyoti, et al.
Veröffentlicht: (2026)

EvolKV: Evolutionary KV Cache Compression for LLM Inference
von: Yu, Bohan, et al.
Veröffentlicht: (2025)

Task Diversity Shortens the ICL Plateau
von: Kim, Jaeyeon, et al.
Veröffentlicht: (2024)

RAP: KV-Cache Compression via RoPE-Aligned Pruning
von: Xin, Jihao, et al.
Veröffentlicht: (2026)

SAiD: Speech-driven Blendshape Facial Animation with Diffusion
von: Park, Inkyu, et al.
Veröffentlicht: (2023)

ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration
von: Yan, Xianglong, et al.
Veröffentlicht: (2025)

RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression
von: Behnam, Payman, et al.
Veröffentlicht: (2025)

Sparse Attention across Multiple-context KV Cache
von: Cao, Ziyi, et al.
Veröffentlicht: (2025)

Palu: Compressing KV-Cache with Low-Rank Projection
von: Chang, Chi-Chih, et al.
Veröffentlicht: (2024)

Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression
von: Swain, Kabir, et al.
Veröffentlicht: (2026)

Inference-Time Hyper-Scaling with KV Cache Compression
von: Łańcucki, Adrian, et al.
Veröffentlicht: (2025)

TriAxialKV: Toward Extreme Low-Precision KV-Cache Quantization for Agentic Inference Tasks
von: Shen, Hanzhang, et al.
Veröffentlicht: (2026)

KVCompose: Efficient Structured KV Cache Compression with Composite Tokens
von: Akulov, Dmitry, et al.
Veröffentlicht: (2025)

ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression
von: Liu, Guangda, et al.
Veröffentlicht: (2024)

KV Pareto: Systems-Level Optimization of KV Cache and Model Compression for Long Context Inference
von: Gokhale, Sai, et al.
Veröffentlicht: (2025)

OjaKV: Context-Aware Online Low-Rank KV Cache Compression
von: Zhu, Yuxuan, et al.
Veröffentlicht: (2025)

Quantization Dominates Rank Reduction for KV-Cache Compression
von: Salfati, Samuel
Veröffentlicht: (2026)

Looped Transformers are Better at Learning Learning Algorithms
von: Yang, Liu, et al.
Veröffentlicht: (2023)

A Simple Plug-in for Improving Eviction-Based KV Cache Compression
von: Lin, Yuping, et al.
Veröffentlicht: (2026)

KQ-SVD: Compressing the KV Cache with Provable Guarantees on Attention Fidelity
von: Lesens, Damien, et al.
Veröffentlicht: (2025)