Buchumschlag

The Rise of Sparse Mixture-of-Experts: A Survey from Algorithmic Foundations to Decentralized Architectures and Vertical Domain Applications

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pan, Dong, Li, Bingtao, Zheng, Yongsheng, Ma, Jiren, Fei, Victor
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Comprehensive Survey of Mixture-of-Experts: Algorithms, Theory, and Applications
von: Mu, Siyuan, et al.
Veröffentlicht: (2025)

Modeling Expert Interactions in Sparse Mixture of Experts via Graph Structures
von: Nguyen-Nhat, Minh-Khoi, et al.
Veröffentlicht: (2025)

Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
von: Nikolic, Strahinja, et al.
Veröffentlicht: (2025)

Dense Backpropagation Improves Training for Sparse Mixture-of-Experts
von: Panda, Ashwinee, et al.
Veröffentlicht: (2025)

SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models
von: Tang, Anke, et al.
Veröffentlicht: (2024)

PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference
von: Zhao, Yushu, et al.
Veröffentlicht: (2025)

GRIP: Algorithm-Agnostic Machine Unlearning for Mixture-of-Experts via Geometric Router Constraints
von: Zhu, Andy, et al.
Veröffentlicht: (2026)

Eradicating Negative Transfer in Multi-Physics Foundation Models via Sparse Mixture-of-Experts Routing
von: Sharma, Ellwil, et al.
Veröffentlicht: (2026)

Soft-to-Hard Routing in Sparse Mixture-of-Experts Models
von: Rastegar, Reza
Veröffentlicht: (2026)

Sparse Models, Sparse Safety: Unsafe Routes in Mixture-of-Experts LLMs
von: Jiang, Yukun, et al.
Veröffentlicht: (2026)

Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models
von: Pan, Bowen, et al.
Veröffentlicht: (2024)

dFLMoE: Decentralized Federated Learning via Mixture of Experts for Medical Data Analysis
von: Xie, Luyuan, et al.
Veröffentlicht: (2025)

HodgeCover: Higher-Order Topological Coverage Drives Compression of Sparse Mixture-of-Experts
von: Zhong, Tao, et al.
Veröffentlicht: (2026)

Unified Class and Domain Incremental Learning with Mixture of Experts for Indoor Localization
von: Singampalli, Akhil, et al.
Veröffentlicht: (2025)

From Sparse to Soft Mixtures of Experts
von: Puigcerver, Joan, et al.
Veröffentlicht: (2023)

Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts
von: Tran, TrungKhang, et al.
Veröffentlicht: (2026)

A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models
von: Sun, Mengyang, et al.
Veröffentlicht: (2025)

The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models
von: Wang, Yan, et al.
Veröffentlicht: (2026)

Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts
von: Shi, Xiaoming, et al.
Veröffentlicht: (2024)

UniPool: A Globally Shared Expert Pool for Mixture-of-Experts
von: Huang, Minbin, et al.
Veröffentlicht: (2026)

Mixture-of-Experts Meets In-Context Reinforcement Learning
von: Wu, Wenhao, et al.
Veröffentlicht: (2025)

Mixture of Raytraced Experts
von: Perin, Andrea, et al.
Veröffentlicht: (2025)

Wavelet Mixture of Experts for Time Series Forecasting
von: Zhou, Zheng, et al.
Veröffentlicht: (2025)

Mixture of Experts in a Mixture of RL settings
von: Willi, Timon, et al.
Veröffentlicht: (2024)

Speculating Experts Accelerates Inference for Mixture-of-Experts
von: Madan, Vivan, et al.
Veröffentlicht: (2026)

MoFE-Time: Mixture of Frequency Domain Experts for Time-Series Forecasting Models
von: Liu, Yiwen, et al.
Veröffentlicht: (2025)

MIDG: Mixture of Invariant Experts with knowledge injection for Domain Generalization in Multimodal Sentiment Analysis
von: Li, Yangle, et al.
Veröffentlicht: (2025)

Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization
von: Nakamura, Taishi, et al.
Veröffentlicht: (2025)

TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts
von: Kunwar, Pradip, et al.
Veröffentlicht: (2025)

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models
von: Wei, Jia, et al.
Veröffentlicht: (2026)

MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts
von: Novikov, Ivan
Veröffentlicht: (2025)

MC#: Mixture Compressor for Mixture-of-Experts Large Models
von: Huang, Wei, et al.
Veröffentlicht: (2025)

Routing-Free Mixture-of-Experts
von: Liu, Yilun, et al.
Veröffentlicht: (2026)

Klotski: Efficient Mixture-of-Expert Inference via Expert-Aware Multi-Batch Pipeline
von: Fang, Zhiyuan, et al.
Veröffentlicht: (2025)

Efficiently Editing Mixture-of-Experts Models with Compressed Experts
von: He, Yifei, et al.
Veröffentlicht: (2025)

Mixture of Diverse Size Experts
von: Sun, Manxi, et al.
Veröffentlicht: (2024)

Sparsity and Superposition in Mixture of Experts
von: Chaudhari, Marmik, et al.
Veröffentlicht: (2025)

Mixture of Concept Bottleneck Experts
von: De Santis, Francesco, et al.
Veröffentlicht: (2026)

Mixture of A Million Experts
von: He, Xu Owen
Veröffentlicht: (2024)

Towards Efficient Mixture of Experts: A Holistic Study of Compression Techniques
von: He, Shwai, et al.
Veröffentlicht: (2024)