Buchumschlag

Efficient, VRAM-Constrained xLM Inference on Clients

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ukarande, Aditya, Shekhar, Deep, Blackstein, Marc, Rangan, Ram
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Distributed, Parallel, and Cluster Computing Hardware Architecture Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Splitwiser: Efficient LM inference with constrained resources
von: Aali, Asad, et al.
Veröffentlicht: (2025)

SPAD: Specialized Prefill and Decode Hardware for Disaggregated LLM Inference
von: Zhang, Hengrui, et al.
Veröffentlicht: (2025)

Performance Modeling and Workload Analysis of Distributed Large Language Model Training and Inference
von: Kundu, Joyjit, et al.
Veröffentlicht: (2024)

An End-to-End DNN Inference Framework for the SpiNNaker2 Neuromorphic MPSoC
von: Jobst, Matthias, et al.
Veröffentlicht: (2025)

ENEC: A Lossless AI Model Compression Method Enabling Fast Inference on Ascend NPUs
von: Yang, Jinwu, et al.
Veröffentlicht: (2026)

ZipServ: Fast and Memory-Efficient LLM Inference with Hardware-Aware Lossless Compression
von: Fan, Ruibo, et al.
Veröffentlicht: (2026)

MATCHA: Efficient Deployment of Deep Neural Networks on Multi-Accelerator Heterogeneous Edge SoCs
von: Russo, Enrico, et al.
Veröffentlicht: (2026)

FastGL: A GPU-Efficient Framework for Accelerating Sampling-Based GNN Training at Large Scale
von: Zhu, Zeyu, et al.
Veröffentlicht: (2024)

Understanding Bottlenecks for Efficiently Serving LLM Inference With KV Offloading
von: Meng, William, et al.
Veröffentlicht: (2025)

SLO-aware GPU Frequency Scaling for Energy Efficient LLM Inference Serving
von: Kakolyris, Andreas Kosmas, et al.
Veröffentlicht: (2024)

Observation, Not Prediction: Conversation-Level Disaggregated Scheduling for Agentic Serving
von: Ding, Jianru, et al.
Veröffentlicht: (2026)

Hierarchical Resource Partitioning on Modern GPUs: A Reinforcement Learning Approach
von: Saroliya, Urvij, et al.
Veröffentlicht: (2024)

A Survey on Graph Neural Network Acceleration: Algorithms, Systems, and Customized Hardware
von: Zhang, Shichang, et al.
Veröffentlicht: (2023)

Accelerating Recommender Model ETL with a Streaming FPGA-GPU Dataflow
von: Zhu, Yu, et al.
Veröffentlicht: (2025)

Llumnix: Dynamic Scheduling for Large Language Model Serving
von: Sun, Biao, et al.
Veröffentlicht: (2024)

FlashMoE: Fast Distributed MoE in a Single Kernel
von: Aimuyo, Osayamen Jonathan, et al.
Veröffentlicht: (2025)

ELK: Exploring the Efficiency of Inter-core Connected AI Chips with Deep Learning Compiler Techniques
von: Liu, Yiqi, et al.
Veröffentlicht: (2025)

F-BFQ: Flexible Block Floating-Point Quantization Accelerator for LLMs
von: Haris, Jude, et al.
Veröffentlicht: (2025)

Deep Reinforcement Learning based Online Scheduling Policy for Deep Neural Network Multi-Tenant Multi-Accelerator Systems
von: Blanco, Francesco G., et al.
Veröffentlicht: (2024)

WWW: What, When, Where to Compute-in-Memory
von: Sharma, Tanvi, et al.
Veröffentlicht: (2023)

MLPerf Power: Benchmarking the Energy Efficiency of Machine Learning Systems from Microwatts to Megawatts for Sustainable AI
von: Tschand, Arya, et al.
Veröffentlicht: (2024)

LayerDAG: A Layerwise Autoregressive Diffusion Model for Directed Acyclic Graph Generation
von: Li, Mufei, et al.
Veröffentlicht: (2024)

AI and Memory Wall
von: Gholami, Amir, et al.
Veröffentlicht: (2024)

FedUHD: Unsupervised Federated Learning using Hyperdimensional Computing
von: Lee, You Hak, et al.
Veröffentlicht: (2025)

Toward Cross-Layer Energy Optimizations in AI Systems
von: Chung, Jae-Won, et al.
Veröffentlicht: (2024)

INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing
von: Abi-Karam, Stefan, et al.
Veröffentlicht: (2023)

MAD Max Beyond Single-Node: Enabling Large Machine Learning Model Acceleration on Distributed Systems
von: Hsia, Samuel, et al.
Veröffentlicht: (2023)

Design Space Exploration of DMA based Finer-Grain Compute Communication Overlap
von: Pal, Shagnik, et al.
Veröffentlicht: (2025)

Accelerated Execution of Bayesian Neural Networks using a Single Probabilistic Forward Pass and Code Generation
von: Klein, Bernhard, et al.
Veröffentlicht: (2025)

A High Energy-Efficiency Multi-core Neuromorphic Architecture for Deep SNN Training
von: Li, Mingjing, et al.
Veröffentlicht: (2024)

The Feasibility of Implementing Large-Scale Transformers on Multi-FPGA Platforms
von: Gao, Yu, et al.
Veröffentlicht: (2024)

Accelerating Transposed Convolutions on FPGA-based Edge Devices
von: Haris, Jude, et al.
Veröffentlicht: (2025)

JExplore: Design Space Exploration Tool for Nvidia Jetson Boards
von: Kutukcu, Basar, et al.
Veröffentlicht: (2025)

Exploring Parallelism in FPGA-Based Accelerators for Machine Learning Applications
von: Centeno, Sed, et al.
Veröffentlicht: (2025)

Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning
von: Russo, Enrico, et al.
Veröffentlicht: (2024)

Integrated Hardware Architecture and Device Placement Search
von: Wang, Irene, et al.
Veröffentlicht: (2024)

Patterns behind Chaos: Forecasting Data Movement for Efficient Large-Scale MoE LLM Inference
von: Yu, Zhongkai, et al.
Veröffentlicht: (2025)

PyGim: An Efficient Graph Neural Network Library for Real Processing-In-Memory Architectures
von: Giannoula, Christina, et al.
Veröffentlicht: (2024)

Spira: Exploiting Voxel Data Structural Properties for Efficient Sparse Convolution in Point Cloud Networks
von: Adamopoulos, Dionysios, et al.
Veröffentlicht: (2025)

xPUE: Extending Power Usage Effectiveness Metrics for Cloud Infrastructures
von: Fieni, Guillaume, et al.
Veröffentlicht: (2025)