Buchumschlag

NanoFlow: Towards Optimal Large Language Model Serving Throughput

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhu, Kan, Gao, Yufei, Zhao, Yilong, Zhao, Liangyu, Zuo, Gefei, Gu, Yile, Xie, Dedong, Tang, Tian, Xu, Qinyu, Ye, Zihao, Kamahori, Keisuke, Lin, Chien-Yu, Wang, Ziren, Wang, Stephanie, Krishnamurthy, Arvind, Kasikci, Baris
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

VoxServe: Streaming-Centric Serving System for Speech Language Models
von: Kamahori, Keisuke, et al.
Veröffentlicht: (2026)

VibeServe: Can AI Agents Build Bespoke LLM Serving Systems?
von: Kamahori, Keisuke, et al.
Veröffentlicht: (2026)

Fiddler: CPU-GPU Orchestration for Fast Inference of Mixture-of-Experts Models
von: Kamahori, Keisuke, et al.
Veröffentlicht: (2024)

Atom: Low-bit Quantization for Efficient and Accurate LLM Serving
von: Zhao, Yilong, et al.
Veröffentlicht: (2023)

Tactic: Adaptive Sparse Attention with Clustering and Distribution Fitting for Long-Context LLMs
von: Zhu, Kan, et al.
Veröffentlicht: (2025)

ConsumerBench: Benchmarking Generative AI Applications on End-User Devices
von: Gu, Yile, et al.
Veröffentlicht: (2025)

TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval
von: Lin, Chien-Yu, et al.
Veröffentlicht: (2025)

LiteASR: Efficient Automatic Speech Recognition with Low-Rank Approximation
von: Kamahori, Keisuke, et al.
Veröffentlicht: (2025)

PolyServe: Efficient Multi-SLO Serving at Scale
von: Zhu, Kan, et al.
Veröffentlicht: (2025)

AgentFlux: Decoupled Fine-Tuning & Inference for On-Device Agentic Systems
von: Kadekodi, Rohan, et al.
Veröffentlicht: (2025)

FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving
von: Ye, Zihao, et al.
Veröffentlicht: (2025)

BlendServe: Optimizing Offline Inference for Auto-regressive Large Models with Resource-aware Batching
von: Zhao, Yilong, et al.
Veröffentlicht: (2024)

ForestColl: Throughput-Optimal Collective Communications on Heterogeneous Network Fabrics
von: Zhao, Liangyu, et al.
Veröffentlicht: (2024)

Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference
von: Tang, Jiaming, et al.
Veröffentlicht: (2024)

DynaFlow: Transparent and Flexible Intra-Device Parallelism via Programmable Operator Scheduling
von: Pan, Yi, et al.
Veröffentlicht: (2026)

gigiProfiler: Diagnosing Performance Issues by Uncovering Application Resource Bottlenecks
von: Hu, Yigong, et al.
Veröffentlicht: (2025)

Magneton: Optimizing Energy Efficiency of ML Systems via Differential Energy Debugging
von: Pan, Yi, et al.
Veröffentlicht: (2025)

Unleashing Scalable Context Parallelism for Foundation Models Pre-Training via FCP
von: Zhao, Yilong, et al.
Veröffentlicht: (2026)

SLOs-Serve: Optimized Serving of Multi-SLO LLMs
von: Chen, Siyuan, et al.
Veröffentlicht: (2025)

Argos: Agentic Time-Series Anomaly Detection with Autonomous Rule Generation via Large Language Models
von: Gu, Yile, et al.
Veröffentlicht: (2025)

Efficient All-to-All Collective Communication Schedules for Direct-Connect Topologies
von: Basu, Prithwish, et al.
Veröffentlicht: (2023)

Cortex: Workflow-Aware Resource Pooling and Scheduling for Agentic Serving
von: Pagonas, Nikos, et al.
Veröffentlicht: (2025)

Accelerating Large-Scale Reasoning Model Inference with Sparse Self-Speculative Decoding
von: Zhao, Yilong, et al.
Veröffentlicht: (2025)

Efficient Direct-Connect Topologies for Collective Communications
von: Zhao, Liangyu, et al.
Veröffentlicht: (2022)

On the rational cohomology of spin hyperelliptic mapping class groups
von: Wang, Gefei
Veröffentlicht: (2024)

Dataset for "Experimental measurement of negative grain-boundary triple line tension"
von: Wang, Ziren
Veröffentlicht: (2025)

DistZO2: High-Throughput and Memory-Efficient Zeroth-Order Fine-tuning LLMs with Distributed Parallel Computing
von: Wang, Liangyu, et al.
Veröffentlicht: (2025)

GENSERVE: Efficient Co-Serving of Heterogeneous Diffusion Model Workloads
von: Ye, Fanjiang, et al.
Veröffentlicht: (2026)

Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
von: Chen, Lequn, et al.
Veröffentlicht: (2023)

Injecting Adrenaline into LLM Serving: Boosting Resource Utilization and Throughput via Attention Disaggregation
von: Liang, Yunkai, et al.
Veröffentlicht: (2025)

Fake Runs, Real Fixes -- Analyzing xPU Performance Through Simulation
von: Zarkadas, Ioannis, et al.
Veröffentlicht: (2025)

The Single Settlement Surface and the Public Ground of Civilization
von: Zhan, Dedong
Veröffentlicht: (2025)

Scale-Mismatch, Lyapunov Stability, and Post-Attractor Decision Regimes
von: Zhan, Dedong
Veröffentlicht: (2026)

BU01 Single-Universe Boundary Axiomatics
von: Zhan, Dedong
Veröffentlicht: (2026)

S01 Projection-Shadow-Cascade. Why Unclosed Readout Cannot Be Settled at the Same Resolution Layer
von: Zhan, Dedong
Veröffentlicht: (2026)

Entropy-Minimizing Driven Field: A Unified Axiom for Cosmic Evolution
von: Zhan, Dedong
Veröffentlicht: (2026)

Set-Theoretic Object Positing and the Failure of Dynamic Completeness
von: Zhan, Dedong
Veröffentlicht: (2026)

Unified Generation Law (Cross-Domain Invariant Generative Law)
von: Zhan, Dedong
Veröffentlicht: (2026)

Stability–Advancement: A Structural Determination for Civilizational Governance Under Fast-Cycle Conditions (CSASD)
von: Zhan, Dedong
Veröffentlicht: (2026)

A rational cohomology which including that of a spin hyperelliptic mapping class group
von: Fu, Yan, et al.
Veröffentlicht: (2025)