Buchumschlag

FairKV: Balancing Per-Head KV Cache for Fast Multi-GPU Inference

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhao, Bingzhe, Cheng, Ke, Yuan, Aomufei, Tian, Yuxuan, Zhong, Ruiguang, Hu, Chengchen, Yang, Tong, Yu, Lian
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

KV Cache Compression for Inference Efficiency in LLMs: A Review
von: Liu, Yanyu, et al.
Veröffentlicht: (2025)

Mell: Memory-Efficient Large Language Model Serving via Multi-GPU KV Cache Management
von: Qianli, Liu, et al.
Veröffentlicht: (2025)

Efficient Remote KV Cache Reuse with GPU-native Video Codec
von: Mi, Liang, et al.
Veröffentlicht: (2026)

FastCache: Optimizing Multimodal LLM Serving through Lightweight KV-Cache Compression Framework
von: Zhu, Jianian, et al.
Veröffentlicht: (2025)

CacheFlow: Efficient LLM Serving with 3D-Parallel KV Cache Restoration
von: Nian, Sean, et al.
Veröffentlicht: (2026)

BanaServe: Unified KV Cache and Dynamic Module Migration for Balancing Disaggregated LLM Serving in AI Infrastructure
von: He, Yiyuan, et al.
Veröffentlicht: (2025)

ContiguousKV: Accelerating LLM Prefill with Granularity-Aligned KV Cache Management
von: Zou, Jing, et al.
Veröffentlicht: (2026)

Adaptive KV Cache Reuse for Fast Long-Context LLM Serving
von: li, Fei, et al.
Veröffentlicht: (2026)

Leyline: KV Cache Directives for Agentic Inference
von: Ma, Bole, et al.
Veröffentlicht: (2026)

KVSwap: Disk-aware KV Cache Offloading for Long-Context On-device Inference
von: Zhang, Huawei, et al.
Veröffentlicht: (2025)

RcLLM: Accelerating Generative Recommendation via Beyond-Prefix KV Caching
von: Zhao, Zhan, et al.
Veröffentlicht: (2026)

PackKV: Reducing KV Cache Memory Footprint through LLM-Aware Lossy Compression
von: Jiang, Bo, et al.
Veröffentlicht: (2025)

FDC: Fast KV Dimensionality Compression for Efficient LLM Inference
von: Zhang, Zeyu, et al.
Veröffentlicht: (2024)

PiKV: KV Cache Management System for Mixture of Experts
von: Liu, Dong, et al.
Veröffentlicht: (2025)

PolyKV: A Shared Asymmetrically-Compressed KV Cache Pool for Multi-Agent LLM Inference
von: Patel, Ishan, et al.
Veröffentlicht: (2026)

FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling
von: Li, Weiqing, et al.
Veröffentlicht: (2025)

ForkKV: Scaling Multi-LoRA Agent Serving via Copy-on-Write Disaggregated KV Cache
von: Wang, Shao, et al.
Veröffentlicht: (2026)

TraCT: Disaggregated LLM Serving with CXL Shared Memory KV Cache at Rack-Scale
von: Yoon, Dongha, et al.
Veröffentlicht: (2025)

TokenDance: Scaling Multi-Agent LLM Serving via Collective KV Cache Sharing
von: Bian, Zhuohang, et al.
Veröffentlicht: (2026)

InfiniGen: Efficient Generative Inference of Large Language Models with Dynamic KV Cache Management
von: Lee, Wonbeom, et al.
Veröffentlicht: (2024)

Resident KV Claims: A Conformance Contract for Future Reuse under Active KV Pressure
von: Stepanek, Lukas
Veröffentlicht: (2026)

A Survey on Large Language Model Acceleration based on KV Cache Management
von: Li, Haoyang, et al.
Veröffentlicht: (2024)

KVPR: Efficient LLM Inference with I/O-Aware KV Cache Partial Recomputation
von: Jiang, Chaoyi, et al.
Veröffentlicht: (2024)

DéjàVu: KV-cache Streaming for Fast, Fault-tolerant Generative LLM Serving
von: Strati, Foteini, et al.
Veröffentlicht: (2024)

DUAL-BLADE: Dual-Path NVMe-Direct KV-Cache Offloading for Edge LLM Inference
von: Jeong, Bodon, et al.
Veröffentlicht: (2026)

Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
von: Kim, Kihyun, et al.
Veröffentlicht: (2025)

Adaptive Multi-Objective Tiered Storage Configuration for KV Cache in LLM Service
von: Zheng, Xianzhe, et al.
Veröffentlicht: (2026)

KV-Runahead: Scalable Causal LLM Inference by Parallel Key-Value Cache Generation
von: Cho, Minsik, et al.
Veröffentlicht: (2024)

GORGO: Maximizing KV-Cache Reuse While Minimizing Network Latency in Cross-Region LLM Load Balancing
von: Toniolo, Alessio Ricci, et al.
Veröffentlicht: (2026)

PerCache: Predictive Hierarchical Cache for RAG Applications on Mobile Devices
von: Liu, Kaiwei, et al.
Veröffentlicht: (2025)

KVComp: A High-Performance, LLM-Aware, Lossy Compression Framework for KV Cache
von: Jiang, Bo, et al.
Veröffentlicht: (2025)

Understanding Bottlenecks for Efficiently Serving LLM Inference With KV Offloading
von: Meng, William, et al.
Veröffentlicht: (2025)

ShadowServe: Interference-Free KV Cache Fetching for Distributed Prefix Caching
von: Xiang, Xingyu, et al.
Veröffentlicht: (2025)

MorphServe: Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing
von: Su, Zhaoyuan, et al.
Veröffentlicht: (2025)

DiffKV: Differentiated Memory Management for Large Language Models with Parallel KV Compaction
von: Zhang, Yanqi, et al.
Veröffentlicht: (2024)

FlexKV: Flexible Index Offloading for Memory-Disaggregated Key-Value Store
von: Hu, Zhisheng, et al.
Veröffentlicht: (2025)

Fail-Closed Lowering of Resident KV Claims onto LLM Serving Runtimes
von: Stepanek, Lukas
Veröffentlicht: (2026)

PRESERVE: Prefetching Model Weights and KV-Cache in Distributed LLM Serving
von: Yüzügüler, Ahmet Caner, et al.
Veröffentlicht: (2025)

PAM: Processing Across Memory Hierarchy for Efficient KV-centric LLM Serving System
von: Liu, Lian, et al.
Veröffentlicht: (2026)

HybriMoE: Hybrid CPU-GPU Scheduling and Cache Management for Efficient MoE Inference
von: Zhong, Shuzhang, et al.
Veröffentlicht: (2025)