Buchumschlag

From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shahout, Rana, Cai, Colin, Du, Yilun, Yu, Minlan, Mitzenmacher, Michael
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PALS: Power-Aware LLM Serving for Mixture-of-Experts Models
von: Hankendi, Can, et al.
Veröffentlicht: (2026)

SkipPredict: When to Invest in Predictions for Scheduling
von: Shahout, Rana, et al.
Veröffentlicht: (2024)

Optimal Transport Aggregation for Distributed Mixture-of-Experts
von: Chamroukhi, Faïcel, et al.
Veröffentlicht: (2023)

Mosaic: Data-Free Knowledge Distillation via Mixture-of-Experts for Heterogeneous Distributed Environments
von: Liu, Junming, et al.
Veröffentlicht: (2025)

HACK: Homomorphic Acceleration via Compression of the Key-Value Cache for Disaggregated LLM Inference
von: Zhang, Zeyu, et al.
Veröffentlicht: (2025)

MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing
von: Go, Seokjin, et al.
Veröffentlicht: (2025)

Utility-Driven Speculative Decoding for Mixture-of-Experts
von: Saxena, Anish, et al.
Veröffentlicht: (2025)

Exploiting Inter-Layer Expert Affinity for Accelerating Mixture-of-Experts Model Inference
von: Yao, Jinghan, et al.
Veröffentlicht: (2024)

NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference
von: Jiang, Xuanlin, et al.
Veröffentlicht: (2024)

MoESys: A Distributed and Efficient Mixture-of-Experts Training and Inference System for Internet Services
von: Yu, Dianhai, et al.
Veröffentlicht: (2022)

ShadowServe: Interference-Free KV Cache Fetching for Distributed Prefix Caching
von: Xiang, Xingyu, et al.
Veröffentlicht: (2025)

Mixture of Experts with Mixture of Precisions for Tuning Quality of Service
von: Imani, HamidReza, et al.
Veröffentlicht: (2024)

A Survey on Inference Optimization Techniques for Mixture of Experts Models
von: Liu, Jiacheng, et al.
Veröffentlicht: (2024)

Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts
von: Zhang, Shulai, et al.
Veröffentlicht: (2025)

RaMP: Runtime-Aware Megakernel Polymorphism for Mixture-of-Experts
von: Sharma, Vyom, et al.
Veröffentlicht: (2026)

Scalable Pretraining of Large Mixture of Experts Language Models on Aurora Super Computer
von: Vooturi, Dharma Teja, et al.
Veröffentlicht: (2026)

Win Fast or Lose Slow: Balancing Speed and Accuracy in Latency-Sensitive Decisions of LLMs
von: Kang, Hao, et al.
Veröffentlicht: (2025)

WDMoE: Wireless Distributed Mixture of Experts for Large Language Models
von: Xue, Nan, et al.
Veröffentlicht: (2024)

From Barrier to Bridge: The Case for AI Data Center/Power Grid Co-Design
von: Bashir, Noman, et al.
Veröffentlicht: (2026)

Mixture-of-Schedulers: An Adaptive Scheduling Agent as a Learned Router for Expert Policies
von: Wang, Xinbo, et al.
Veröffentlicht: (2025)

Distributed Recoverable Sketches (Extended Version)
von: Cohen, Diana, et al.
Veröffentlicht: (2025)

Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts
von: Sun, Weigao, et al.
Veröffentlicht: (2025)

BlackMamba: Mixture of Experts for State-Space Models
von: Anthony, Quentin, et al.
Veröffentlicht: (2024)

PiKV: KV Cache Management System for Mixture of Experts
von: Liu, Dong, et al.
Veröffentlicht: (2025)

VoltanaLLM: Feedback-Driven Frequency Control and State-Space Routing for Energy-Efficient LLM Serving
von: Yu, Jiahuan, et al.
Veröffentlicht: (2025)

Fiddler: CPU-GPU Orchestration for Fast Inference of Mixture-of-Experts Models
von: Kamahori, Keisuke, et al.
Veröffentlicht: (2024)

HybridEP: Scaling Expert Parallelism to Cross-Datacenter Scenario via Hybrid Expert/Data Transmission
von: Yang, Weihao, et al.
Veröffentlicht: (2025)

FourierMoE: Fourier Mixture-of-Experts Adaptation of Large Language Models
von: Jiang, Juyong, et al.
Veröffentlicht: (2026)

OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models
von: Xue, Fuzhao, et al.
Veröffentlicht: (2024)

Taming Latency-Memory Trade-Off in MoE-Based LLM Serving via Fine-Grained Expert Offloading
von: Yu, Hanfei, et al.
Veröffentlicht: (2025)

Accelerating MoE Model Inference with Expert Sharding
von: Balmau, Oana, et al.
Veröffentlicht: (2025)

CRAFT: Fine-Grained Cost-Aware Expert Replication For Efficient Mixture-of-Experts Serving
von: Zhao, Adrian, et al.
Veröffentlicht: (2026)

FedDriveScore: Federated Scoring Driving Behavior with a Mixture of Metric Distributions
von: Lu, Lin
Veröffentlicht: (2024)

SATER: A Self-Aware and Token-Efficient Approach to Routing and Cascading
von: Shen, Yuanzhe, et al.
Veröffentlicht: (2025)

Post-Deterministic Distributed Systems: A New Foundation for Trustworthy Autonomous Infrastructure
von: He, Jun, et al.
Veröffentlicht: (2026)

Multi-Worker Selection based Distributed Swarm Learning for Edge IoT with Non-i.i.d. Data
von: Yao, Zhuoyu, et al.
Veröffentlicht: (2025)

TrainMover: An Interruption-Resilient Runtime for ML Training
von: Lao, ChonLam, et al.
Veröffentlicht: (2024)

Autellix: An Efficient Serving Engine for LLM Agents as General Programs
von: Luo, Michael, et al.
Veröffentlicht: (2025)

MoSKA: Mixture of Shared KV Attention for Efficient Long-Sequence LLM Inference
von: Rhee, Myunghyun, et al.
Veröffentlicht: (2025)

Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey
von: Liu, Jing, et al.
Veröffentlicht: (2025)