Buchumschlag

Expert Streaming: Accelerating Low-Batch MoE Inference via Multi-chiplet Architecture and Dynamic Expert Trajectory Scheduling

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ma, Songchen, Li, Hongyi, Zhang, Weihao, Tan, Yonghao, Dong, Pingcheng, Liu, Yu, Liu, Lan, Jiao, Yuzhong, Liu, Xuejiao, Liang, Luhong, Cheng, Kwang-Ting
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Hardware Architecture Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

31.1 A 14.08-to-135.69Token/s ReRAM-on-Logic Stacked Outlier-Free Large-Language-Model Accelerator with Block-Clustered Weight-Compression and Adaptive Parallel-Speculative-Decoding
von: Dong, Pingcheng, et al.
Veröffentlicht: (2026)

APSQ: Additive Partial Sum Quantization with Algorithm-Hardware Co-Design
von: Tan, Yonghao, et al.
Veröffentlicht: (2025)

SliceMoE: Bit-Sliced Expert Caching under Miss-Rate Constraints for Efficient MoE Inference
von: Choi, Yuseon, et al.
Veröffentlicht: (2025)

Genetic Quantization-Aware Approximation for Non-Linear Operations in Transformers
von: Dong, Pingcheng, et al.
Veröffentlicht: (2024)

MoE-GPS: Guidlines for Prediction Strategy for Dynamic Expert Duplication in MoE Load Balancing
von: Ma, Haiyue, et al.
Veröffentlicht: (2025)

Pre-gated MoE: An Algorithm-System Co-Design for Fast and Scalable Mixture-of-Expert Inference
von: Hwang, Ranggi, et al.
Veröffentlicht: (2023)

A3D-MoE: Acceleration of Large Language Models with Mixture of Experts via 3D Heterogeneous Integration
von: Huang, Wei-Hsing, et al.
Veröffentlicht: (2025)

CompAir: Synergizing Complementary PIMs and In-Transit NoC Computation for Efficient LLM Acceleration
von: Li, Hongyi, et al.
Veröffentlicht: (2025)

Communication Characterization of AI Workloads for Large-scale Multi-chiplet Accelerators
von: Musavi, Mariam, et al.
Veröffentlicht: (2024)

SeDA: Secure and Efficient DNN Accelerators with Hardware/Software Synergy
von: Xuan, Wei, et al.
Veröffentlicht: (2025)

A 10.60 $μ$W 150 GOPS Mixed-Bit-Width Sparse CNN Accelerator for Life-Threatening Ventricular Arrhythmia Detection
von: Qin, Yifan, et al.
Veröffentlicht: (2024)

General-purpose Dataflow Model with Neuromorphic Primitives
von: Zhang, Weihao, et al.
Veröffentlicht: (2024)

Efficient MoE Serving in the Memory-Bound Regime: Balance Activated Experts, Not Tokens
von: Yu, Yanpeng, et al.
Veröffentlicht: (2025)

Context-Aware Mixture-of-Experts Inference on CXL-Enabled GPU-NDP Systems
von: Fan, Zehao, et al.
Veröffentlicht: (2025)

Sieve: Dynamic Expert-Aware PIM Acceleration for Evolving Mixture-of-Experts Models
von: Kim, Jungwoo, et al.
Veröffentlicht: (2026)

LLM-FP4: 4-Bit Floating-Point Quantized Transformers
von: Liu, Shih-yang, et al.
Veröffentlicht: (2023)

UbiMoE: A Ubiquitous Mixture-of-Experts Vision Transformer Accelerator With Hybrid Computation Pattern on FPGA
von: Dong, Jiale, et al.
Veröffentlicht: (2025)

AxMoE: Characterizing the Impact of Approximate Multipliers on Mixture-of-Experts DNN Architectures
von: Shende, Omkar B, et al.
Veröffentlicht: (2026)

CATCH: a Cost Analysis Tool for Co-optimization of chiplet-based Heterogeneous systems
von: Graening, Alexander, et al.
Veröffentlicht: (2025)

NeuPIMs: NPU-PIM Heterogeneous Acceleration for Batched LLM Inferencing
von: Heo, Guseul, et al.
Veröffentlicht: (2024)

Potamoi: Accelerating Neural Rendering via a Unified Streaming Architecture
von: Feng, Yu, et al.
Veröffentlicht: (2024)

MLDSE: Scaling Design Space Exploration Infrastructure for Multi-Level Hardware
von: Qu, Huanyu, et al.
Veröffentlicht: (2025)

Mozart: Modularized and Efficient MoE Training on 3.5D Wafer-Scale Chiplet Architectures
von: Luo, Shuqing, et al.
Veröffentlicht: (2026)

A Switch-Centric In-Network Architecture for Accelerating LLM Inference in Shared-Memory Network
von: Jiang, Aojie, et al.
Veröffentlicht: (2026)

MoE-Hub: Taming Software Complexity for Seamless MoE Overlap with Hardware-Accelerated Communication on Multi-GPU Systems
von: Zhou, Zhuoshan, et al.
Veröffentlicht: (2026)

Accelerating MoE with Dynamic In-Switch Computing on Multi-GPUs
von: Zhang, Qijun, et al.
Veröffentlicht: (2026)

NASiC: 3D NAND-based CAM-Selected Multibit CIM Architecture for Efficient On-Device Mixture-of-Experts LLM Inference
von: Xu, Weikai, et al.
Veröffentlicht: (2026)

CarbonPATH: Carbon-aware pathfinding and architecture optimization for chiplet-based AI systems
von: Sudarshan, Chetan Choppali, et al.
Veröffentlicht: (2026)

Scaling Multi-Node Mixture-of-Experts Inference Using Expert Activation Patterns
von: Bambhaniya, Abhimanyu, et al.
Veröffentlicht: (2026)

Mitigating the Bandwidth Wall via Data-Streaming System-Accelerator Co-Design
von: Liu, Qunyou, et al.
Veröffentlicht: (2026)

Duplex: A Device for Large Language Models with Mixture of Experts, Grouped Query Attention, and Continuous Batching
von: Yun, Sungmin, et al.
Veröffentlicht: (2024)

HFRWKV: A High-Performance Fully On-Chip Hardware Accelerator for RWKV
von: Shijie, Liu, et al.
Veröffentlicht: (2026)

FusionCIM: Accelerating LLM Inference with Fusion-Driven Computing-in-Memory Architecture
von: Xuan, Zihao, et al.
Veröffentlicht: (2026)

Reconfigurable Stream Network Architecture
von: Wang, Chengyue, et al.
Veröffentlicht: (2024)

SpikeStream: Accelerating Spiking Neural Network Inference on RISC-V Clusters with Sparse Computation Extensions
von: Manoni, Simone, et al.
Veröffentlicht: (2025)

TriMoE: Augmenting GPU with AMX-Enabled CPU and DIMM-NDP for High-Throughput MoE Inference via Offloading
von: Pan, Yudong, et al.
Veröffentlicht: (2026)

Rethinking LLM Inference Bottlenecks: Insights from Latent Attention and Mixture-of-Experts
von: Yun, Sungmin, et al.
Veröffentlicht: (2025)

StreamTensor: Make Tensors Stream in Dataflow Accelerators for LLMs
von: Ye, Hanchen, et al.
Veröffentlicht: (2025)

Focus: A Streaming Concentration Architecture for Efficient Vision-Language Models
von: Wei, Chiyue, et al.
Veröffentlicht: (2025)

HALO: Memory-Centric Heterogeneous Accelerator with 2.5D Integration for Low-Batch LLM Inference
von: Negi, Shubham, et al.
Veröffentlicht: (2025)