Buchumschlag

Marconi: Prefix Caching for the Era of Hybrid LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pan, Rui, Wang, Zhuang, Jia, Zhen, Karakus, Can, Zancato, Luca, Dao, Tri, Wang, Yida, Netravali, Ravi
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Distributed, Parallel, and Cluster Computing Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fail Fast, Win Big: Rethinking the Drafting Strategy in Speculative Decoding via Diffusion LLMs
von: Pan, Rui, et al.
Veröffentlicht: (2025)

KVFlow: Efficient Prefix Caching for Accelerating LLM-Based Multi-Agent Workflows
von: Pan, Zaifeng, et al.
Veröffentlicht: (2025)

RcLLM: Accelerating Generative Recommendation via Beyond-Prefix KV Caching
von: Zhao, Zhan, et al.
Veröffentlicht: (2026)

Aragog: Just-in-Time Model Routing for Scalable Serving of Agentic Workflows
von: Dai, Yinwei, et al.
Veröffentlicht: (2025)

Apparate: Rethinking Early Exits to Tame Latency-Throughput Tensions in ML Serving
von: Dai, Yinwei, et al.
Veröffentlicht: (2023)

ShadowServe: Interference-Free KV Cache Fetching for Distributed Prefix Caching
von: Xiang, Xingyu, et al.
Veröffentlicht: (2025)

Towards Efficient Key-Value Cache Management for Prefix Prefilling in LLM Inference
von: Zhu, Yue, et al.
Veröffentlicht: (2025)

UCCL-Zip: Lossless Compression Supercharged GPU Communication
von: Ma, Shuang, et al.
Veröffentlicht: (2026)

DiffusionPipe: Training Large Diffusion Models with Efficient Pipelines
von: Tian, Ye, et al.
Veröffentlicht: (2024)

Not All Tokens Are Worth Caching: Learning Semantic-Aware Eviction for LLM Prefix Caches
von: Fang, Shaoke, et al.
Veröffentlicht: (2026)

KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider
von: Wang, Jiahao, et al.
Veröffentlicht: (2025)

Kairos: A Scalable Serving System for Physical AI
von: Dai, Yinwei, et al.
Veröffentlicht: (2026)

PrefixWall: Mitigating Prefix Caching Side Channels in Shared LLM Systems
von: Pennas, Panagiotis Georgios, et al.
Veröffentlicht: (2026)

A Pipelined Collaborative Speculative Decoding Framework for Efficient Edge-Cloud LLM Inference
von: Zhang, Yida, et al.
Veröffentlicht: (2026)

KVSwap: Disk-aware KV Cache Offloading for Long-Context On-device Inference
von: Zhang, Huawei, et al.
Veröffentlicht: (2025)

Why Smaller Is Slower? Dimensional Misalignment in Compressed LLMs
von: Xin, Jihao, et al.
Veröffentlicht: (2026)

Prefix Consensus For Censorship Resistant BFT
von: Xiang, Zhuolun, et al.
Veröffentlicht: (2026)

Efficient LLM Inference with Activation Checkpointing and Hybrid Caching
von: Lee, Sanghyeon, et al.
Veröffentlicht: (2025)

KV Cache Compression for Inference Efficiency in LLMs: A Review
von: Liu, Yanyu, et al.
Veröffentlicht: (2025)

Wherefore Art Thou? Provenance-Guided Automatic Online Debugging with Lumos
von: Chen, Jingyuan, et al.
Veröffentlicht: (2026)

Raptr: Prefix Consensus for Robust High-Performance BFT
von: Tonkikh, Andrei, et al.
Veröffentlicht: (2025)

SparOA: Sparse and Operator-aware Hybrid Scheduling for Edge DNN Inference
von: Zhang, Ziyang, et al.
Veröffentlicht: (2025)

FedCache: A Knowledge Cache-driven Federated Learning Architecture for Personalized Edge Intelligence
von: Wu, Zhiyuan, et al.
Veröffentlicht: (2023)

PRESERVE: Prefetching Model Weights and KV-Cache in Distributed LLM Serving
von: Yüzügüler, Ahmet Caner, et al.
Veröffentlicht: (2025)

Schedule-Level Shared-Prefix Reuse for LLM RL Training
von: Li, Pengbo, et al.
Veröffentlicht: (2026)

The (R)evolution of Scientific Workflows in the Agentic AI Era: Towards Autonomous Science
von: Shin, Woong, et al.
Veröffentlicht: (2025)

Optimizing Federated Learning in the Era of LLMs: Message Quantization and Streaming
von: Xu, Ziyue, et al.
Veröffentlicht: (2025)

ScaleSim: Serving Large-Scale Multi-Agent Simulation with Invocation Distance-Based Memory Management
von: Pan, Zaifeng, et al.
Veröffentlicht: (2026)

TinyServe: Query-Aware Cache Selection for Efficient LLM Serving
von: Liu, Dong, et al.
Veröffentlicht: (2025)

DCP: Addressing Input Dynamism In Long-Context Training via Dynamic Context Parallelism
von: Jiang, Chenyu, et al.
Veröffentlicht: (2025)

Lancet: Accelerating Mixture-of-Experts Training via Whole Graph Computation-Communication Overlapping
von: Jiang, Chenyu, et al.
Veröffentlicht: (2024)

Communication Round and Computation Efficient Exclusive Prefix-Sums Algorithms (for MPI_Exscan)
von: Träff, Jesper Larsson
Veröffentlicht: (2025)

SMART: When is it Actually Worth Expanding a Speculative Tree?
von: Wang, Lifu, et al.
Veröffentlicht: (2026)

Caching Aided Multi-Tenant Serverless Computing
von: Qiao, Chu, et al.
Veröffentlicht: (2024)

Designing Datacenter Power Delivery Hierarchies for the AI Era
von: Wilkins, Grant, et al.
Veröffentlicht: (2026)

A Survey on Large Language Model Acceleration based on KV Cache Management
von: Li, Haoyang, et al.
Veröffentlicht: (2024)

ELANA: A Simple Energy and Latency Analyzer for LLMs
von: Chiang, Hung-Yueh, et al.
Veröffentlicht: (2025)

KVComp: A High-Performance, LLM-Aware, Lossy Compression Framework for KV Cache
von: Jiang, Bo, et al.
Veröffentlicht: (2025)

FairKV: Balancing Per-Head KV Cache for Fast Multi-GPU Inference
von: Zhao, Bingzhe, et al.
Veröffentlicht: (2025)

TokenLake: A Unified Segment-level Prefix Cache Pool for Fine-grained Elastic Long-Context LLM Serving
von: Wu, Bingyang, et al.
Veröffentlicht: (2025)