Buchumschlag

SONIC: Segmented Optimized Nexus for Information Compression in Key-Value Caching

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Hong, Liu, Xiang, Wang, Bo, Fan, Yuxuan, Chu, Yuanlin, Li, Zongluo, Chu, Xiaowen, Hu, Xuming
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

NestedKV: Nested Memory Routing for Long-Context KV Cache Compression
von: Chen, Hong, et al.
Veröffentlicht: (2026)

Deconstructing Pre-training: Knowledge Attribution Analysis in MoE and Dense Models
von: Wang, Bo, et al.
Veröffentlicht: (2026)

Semantic Integrity Matters: Benchmarking and Preserving High-Density Reasoning in KV Cache Compression
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

DiffAdapt: Difficulty-Adaptive Reasoning for Token-Efficient LLM Inference
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

LongGenBench: Long-context Generation Benchmark
von: Liu, Xiang, et al.
Veröffentlicht: (2024)

SCOPE: Optimizing Key-Value Cache Compression in Long-context Generation
von: Wu, Jialong, et al.
Veröffentlicht: (2024)

SSR: Speculative Parallel Scaling Reasoning in Test-time
von: Chu, Yuanlin, et al.
Veröffentlicht: (2025)

TreeKV: Smooth Key-Value Cache Compression with Tree Structures
von: He, Ziwei, et al.
Veröffentlicht: (2025)

The Lottery LLM Hypothesis, Rethinking What Abilities Should LLM Compression Preserve?
von: Tang, Zhenheng, et al.
Veröffentlicht: (2025)

Key, Value, Compress: A Systematic Exploration of KV Cache Compression Techniques
von: Javidnia, Neusha, et al.
Veröffentlicht: (2025)

TableCache: Primary Foreign Key Guided KV Cache Precomputation for Low Latency Text-to-SQL
von: Su, Jinbo, et al.
Veröffentlicht: (2026)

SpeCache: Speculative Key-Value Caching for Efficient Generation of LLMs
von: Jie, Shibo, et al.
Veröffentlicht: (2025)

AnTKV: Anchor Token-Aware Sub-Bit Vector Quantization for KV Cache in Large Language Models
von: Li, Zeyu, et al.
Veröffentlicht: (2025)

Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamics
von: Ananthanarayanan, Samhruth, et al.
Veröffentlicht: (2026)

The Multi-Round Diagnostic RAG Framework for Emulating Clinical Reasoning
von: Sun, Penglei, et al.
Veröffentlicht: (2025)

ZipCCL: Efficient Lossless Data Compression of Communication Collectives for Accelerating LLM Training
von: Lin, Wenxiang, et al.
Veröffentlicht: (2026)

WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More
von: Yue, Yuxuan, et al.
Veröffentlicht: (2024)

Learning to Evict from Key-Value Cache
von: Moschella, Luca, et al.
Veröffentlicht: (2026)

SVDq: 1.25-bit and 410x Key Cache Compression for LLM Attention
von: Yankun, Hong, et al.
Veröffentlicht: (2025)

WeightedKV: Attention Scores Weighted Key-Value Cache Merging for Large Language Models
von: Yuan, Jian, et al.
Veröffentlicht: (2025)

LoRA-FA: Efficient and Effective Low Rank Representation Fine-tuning
von: Zhang, Longteng, et al.
Veröffentlicht: (2023)

CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation
von: Zhang, Hongxuan, et al.
Veröffentlicht: (2024)

LPZero: Language Model Zero-cost Proxy Search from Zero
von: Dong, Peijie, et al.
Veröffentlicht: (2024)

KVSculpt: KV Cache Compression as Distillation
von: Jiang, Bo, et al.
Veröffentlicht: (2026)

Parallel Key-Value Cache Fusion for Position Invariant RAG
von: Oh, Philhoon, et al.
Veröffentlicht: (2025)

FreqKV: Key-Value Compression in Frequency Domain for Context Window Extension
von: Kai, Jushi, et al.
Veröffentlicht: (2025)

PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling
von: Cai, Zefan, et al.
Veröffentlicht: (2024)

Do LLMs Align Human Values Regarding Social Biases? Judging and Explaining Social Biases with LLMs
von: Liu, Yang, et al.
Veröffentlicht: (2025)

SKVQ: Sliding-window Key and Value Cache Quantization for Large Language Models
von: Duanmu, Haojie, et al.
Veröffentlicht: (2024)

SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging
von: Wu, Shunlong, et al.
Veröffentlicht: (2026)

KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction
von: Yuan, Aomufei, et al.
Veröffentlicht: (2025)

AttentionPredictor: Temporal Patterns Matter for KV Cache Compression
von: Yang, Qingyue, et al.
Veröffentlicht: (2025)

Reducing Transformer Key-Value Cache Size with Cross-Layer Attention
von: Brandon, William, et al.
Veröffentlicht: (2024)

Can Compressed LLMs Truly Act? An Empirical Evaluation of Agentic Capabilities in LLM Compression
von: Dong, Peijie, et al.
Veröffentlicht: (2025)

Streamlining Redundant Layers to Compress Large Language Models
von: Chen, Xiaodong, et al.
Veröffentlicht: (2024)

CaliDrop: KV Cache Compression with Calibration
von: Su, Yi, et al.
Veröffentlicht: (2025)

Which Heads Matter for Reasoning? RL-Guided KV Cache Compression
von: Du, Wenjie, et al.
Veröffentlicht: (2025)

KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs
von: Chen, Jian, et al.
Veröffentlicht: (2026)