Buchumschlag

Enabling Dynamic Sparsity in Quantized LLM Inference

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Rongxiang, Shu, Kangyuan, Lin, Felix Xiaozhu
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DAK: Direct-Access-Enabled GPU Memory Offloading with Optimal Efficiency for LLM Inference
von: Lin, Shouxu, et al.
Veröffentlicht: (2026)

VQ-LLM: High-performance Code Generation for Vector Quantization Augmented LLM Inference
von: Liu, Zihan, et al.
Veröffentlicht: (2025)

MSAO: Adaptive Modality Sparsity-Aware Offloading with Edge-Cloud Collaboration for Efficient Multimodal LLM Inference
von: Yang, Zheming, et al.
Veröffentlicht: (2026)

NCCLZ: Compression-Enabled GPU Collectives with Decoupled Quantization and Entropy Coding
von: Wang, Jiamin, et al.
Veröffentlicht: (2026)

Optimizing LLM Inference Throughput via Memory-aware and SLA-constrained Dynamic Batching
von: Pang, Bowen, et al.
Veröffentlicht: (2025)

DOPD: A Dynamic PD-Disaggregation Architecture for Maximizing Goodput in LLM Inference Serving
von: Liao, Junhan, et al.
Veröffentlicht: (2025)

S-HPLB: Efficient LLM Attention Serving via Sparsity-Aware Head Parallelism Load Balance
von: Liu, Di, et al.
Veröffentlicht: (2026)

Inference without Interference: Disaggregate LLM Inference for Mixed Downstream Workloads
von: Hu, Cunchen, et al.
Veröffentlicht: (2024)

Shift Parallelism: Low-Latency, High-Throughput LLM Inference for Dynamic Workloads
von: Hidayetoglu, Mert, et al.
Veröffentlicht: (2025)

Sponge: Inference Serving with Dynamic SLOs Using In-Place Vertical Scaling
von: Razavi, Kamran, et al.
Veröffentlicht: (2024)

Argus: Token Aware Distributed LLM Inference Optimization
von: Wu, Panlong, et al.
Veröffentlicht: (2025)

Opt4GPTQ: Co-Optimizing Memory and Computation for 4-bit GPTQ Quantized LLM Inference on Heterogeneous Platforms
von: Zhang, Yaozheng, et al.
Veröffentlicht: (2025)

Taming Request Imbalance: SLO-Aware Scheduling for Disaggregated LLM Inference
von: Wang, Qipeng
Veröffentlicht: (2026)

HybridFlow: Resource-Adaptive Subtask Routing for Efficient Edge-Cloud LLM Inference
von: Dong, Jiangwen, et al.
Veröffentlicht: (2025)

λScale: Enabling Fast Scaling for Serverless Large Language Model Inference
von: Yu, Minchen, et al.
Veröffentlicht: (2025)

Torpor: GPU-Enabled Serverless Computing for Low-Latency, Resource-Efficient Inference
von: Yu, Minchen, et al.
Veröffentlicht: (2023)

LLM-CoOpt: A Co-Design and Optimization Framework for Efficient LLM Inference on Heterogeneous Platforms
von: Kong, Jie, et al.
Veröffentlicht: (2026)

Amoeba: Runtime Tensor Parallel Transformation for LLM Inference Services
von: Chen, Haoyu, et al.
Veröffentlicht: (2025)

SCOOT: SLO-Oriented Performance Tuning for LLM Inference Engines
von: Cheng, Ke, et al.
Veröffentlicht: (2024)

CALVO: Improve Serving Efficiency for LLM Inferences with Intense Network Demands
von: Wang, Weiye, et al.
Veröffentlicht: (2026)

Cloud Native System for LLM Inference Serving
von: Xu, Minxian, et al.
Veröffentlicht: (2025)

Federated Inference for Heterogeneous LLM Communication and Collaboration
von: Chen, Zihan, et al.
Veröffentlicht: (2026)

Communication-Efficient Collaborative LLM Inference over LEO Satellite Networks
von: Zhang, Songge, et al.
Veröffentlicht: (2026)

ResiHP: Taming LLM Training Failures with Dynamic Hybrid Parallelism
von: Ma, Tenghui, et al.
Veröffentlicht: (2026)

Chameleon: Taming Dynamic Operator Sequences for Memory-Intensive LLM Training
von: Wang, Zibo, et al.
Veröffentlicht: (2025)

Understanding the Performance and Power of LLM Inferencing on Edge Accelerators
von: Arya, Mayank, et al.
Veröffentlicht: (2025)

From Attention to Disaggregation: Tracing the Evolution of LLM Inference
von: Kumar, Madabattula Rajesh, et al.
Veröffentlicht: (2025)

Towards Resource-Efficient Serverless LLM Inference with SLINFER
von: Xu, Chuhao, et al.
Veröffentlicht: (2025)

Toward Sustainability-Aware LLM Inference on Edge Clusters
von: Rajashekar, Kolichala, et al.
Veröffentlicht: (2025)

Distributed On-Device LLM Inference With Over-the-Air Computation
von: Zhang, Kai, et al.
Veröffentlicht: (2025)

Efficient LLM Inference with Activation Checkpointing and Hybrid Caching
von: Lee, Sanghyeon, et al.
Veröffentlicht: (2025)

WANSpec: Leveraging Global Compute Capacity for LLM Inference
von: Martin, Noah, et al.
Veröffentlicht: (2026)

SYMPHONY: Improving Memory Management for LLM Inference Workloads
von: Agarwal, Saurabh, et al.
Veröffentlicht: (2024)

Power Aware Dynamic Reallocation For Inference
von: Jiang, Yiwei, et al.
Veröffentlicht: (2026)

AcceLLM: Accelerating LLM Inference using Redundancy for Load Balancing and Data Locality
von: Bournias, Ilias, et al.
Veröffentlicht: (2024)

LLM-Emu: Native Runtime Emulation of LLM Inference via Profile-Driven Sampling
von: Da, Wei, et al.
Veröffentlicht: (2026)

Sparsity-Aware Roofline Models for Sparse Matrix-Matrix Multiplication
von: Qian, Matthew, et al.
Veröffentlicht: (2026)

A Pipelined Collaborative Speculative Decoding Framework for Efficient Edge-Cloud LLM Inference
von: Zhang, Yida, et al.
Veröffentlicht: (2026)

FASER: Fine-Grained Phase Management for Speculative Decoding in Dynamic LLM Serving
von: Chen, Wenyan, et al.
Veröffentlicht: (2026)

Blockchain-Enabled Dynamic Spectrum Sharing for Satellite and Terrestrial Communication Networks
von: Wang, Zixin, et al.
Veröffentlicht: (2024)