Mixture of Experts (MoE): A Big Data Perspective
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Gan, Wensheng, Ning, Zhenyao, Qi, Zhenlian, Yu, Philip S. |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Symphony-MoE: Harmonizing Disparate Pre-trained Models into a Coherent Mixture-of-Experts
par: Wang, Qi, et autres
Publié: (2025)
par: Wang, Qi, et autres
Publié: (2025)
MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts
par: Jin, Peng, et autres
Publié: (2024)
par: Jin, Peng, et autres
Publié: (2024)
SDG-MoE: Signed Debate Graph Mixture-of-Experts
par: Kulibaba, Stepan, et autres
Publié: (2026)
par: Kulibaba, Stepan, et autres
Publié: (2026)
PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts
par: Su, Yang, et autres
Publié: (2025)
par: Su, Yang, et autres
Publié: (2025)
Flex-MoE: Modeling Arbitrary Modality Combination via the Flexible Mixture-of-Experts
par: Yun, Sukwon, et autres
Publié: (2024)
par: Yun, Sukwon, et autres
Publié: (2024)
EAC-MoE: Expert-Selection Aware Compressor for Mixture-of-Experts Large Language Models
par: Chen, Yuanteng, et autres
Publié: (2025)
par: Chen, Yuanteng, et autres
Publié: (2025)
MP-MoE: Matrix Profile-Guided Mixture of Experts for Precipitation Forecasting
par: Tran, Huyen Ngoc, et autres
Publié: (2026)
par: Tran, Huyen Ngoc, et autres
Publié: (2026)
Elastic MoE: Unlocking the Inference-Time Scalability of Mixture-of-Experts
par: Gu, Naibin, et autres
Publié: (2025)
par: Gu, Naibin, et autres
Publié: (2025)
MoE-Health: A Mixture of Experts Framework for Robust Multimodal Healthcare Prediction
par: Wang, Xiaoyang, et autres
Publié: (2025)
par: Wang, Xiaoyang, et autres
Publié: (2025)
MoE-I$^2$: Compressing Mixture of Experts Models through Inter-Expert Pruning and Intra-Expert Low-Rank Decomposition
par: Yang, Cheng, et autres
Publié: (2024)
par: Yang, Cheng, et autres
Publié: (2024)
MoE-DisCo:Low Economy Cost Training Mixture-of-Experts Models
par: Ye, Xin, et autres
Publié: (2026)
par: Ye, Xin, et autres
Publié: (2026)
Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts
par: Shi, Xiaoming, et autres
Publié: (2024)
par: Shi, Xiaoming, et autres
Publié: (2024)
ST-MoE-BERT: A Spatial-Temporal Mixture-of-Experts Framework for Long-Term Cross-City Mobility Prediction
par: He, Haoyu, et autres
Publié: (2024)
par: He, Haoyu, et autres
Publié: (2024)
I2MoE: Interpretable Multimodal Interaction-aware Mixture-of-Experts
par: Xin, Jiayi, et autres
Publié: (2025)
par: Xin, Jiayi, et autres
Publié: (2025)
DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts
par: Yao, Zelin, et autres
Publié: (2024)
par: Yao, Zelin, et autres
Publié: (2024)
Alloc-MoE: Budget-Aware Expert Activation Allocation for Efficient Mixture-of-Experts Inference
par: Liu, Baihui, et autres
Publié: (2026)
par: Liu, Baihui, et autres
Publié: (2026)
Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient
par: Ludziejewski, Jan, et autres
Publié: (2025)
par: Ludziejewski, Jan, et autres
Publié: (2025)
$μ$-MoE: Test-Time Pruning as Micro-Grained Mixture-of-Experts
par: Koike-Akino, Toshiaki, et autres
Publié: (2025)
par: Koike-Akino, Toshiaki, et autres
Publié: (2025)
MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts
par: Pióro, Maciej, et autres
Publié: (2024)
par: Pióro, Maciej, et autres
Publié: (2024)
TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts
par: Kunwar, Pradip, et autres
Publié: (2025)
par: Kunwar, Pradip, et autres
Publié: (2025)
L-MoE: End-to-End Training of a Lightweight Mixture of Low-Rank Adaptation Experts
par: Ji, Shihao, et autres
Publié: (2025)
par: Ji, Shihao, et autres
Publié: (2025)
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
par: Hua, Yongxiang, et autres
Publié: (2025)
par: Hua, Yongxiang, et autres
Publié: (2025)
RQ-MoE: Residual Quantization via Mixture of Experts for Efficient Input-Dependent Vector Compression
par: Zhong, Zhengjia, et autres
Publié: (2026)
par: Zhong, Zhengjia, et autres
Publié: (2026)
Seg-MoE: Multi-Resolution Segment-wise Mixture-of-Experts for Time Series Forecasting Transformers
par: Ortigossa, Evandro S., et autres
Publié: (2026)
par: Ortigossa, Evandro S., et autres
Publié: (2026)
Exploiting the Experts: Unauthorized Compression in MoE-LLMs
par: Neogi, Pinaki Prasad Guha, et autres
Publié: (2025)
par: Neogi, Pinaki Prasad Guha, et autres
Publié: (2025)
Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts
par: Sun, Weigao, et autres
Publié: (2025)
par: Sun, Weigao, et autres
Publié: (2025)
Expert Divergence Learning for MoE-based Language Models
par: Li, Jiaang, et autres
Publié: (2026)
par: Li, Jiaang, et autres
Publié: (2026)
BrainNet-MoE: Brain-Inspired Mixture-of-Experts Learning for Neurological Disease Identification
par: Zhang, Jing, et autres
Publié: (2025)
par: Zhang, Jing, et autres
Publié: (2025)
Advances in Large Language Models for Medicine
par: Kan, Zhiyu, et autres
Publié: (2025)
par: Kan, Zhiyu, et autres
Publié: (2025)
Awakening Dormant Experts:Counterfactual Routing to Mitigate MoE Hallucinations
par: Hu, Wentao, et autres
Publié: (2026)
par: Hu, Wentao, et autres
Publié: (2026)
SD-MoE: Spectral Decomposition for Effective Expert Specialization
par: Huang, Ruijun, et autres
Publié: (2026)
par: Huang, Ruijun, et autres
Publié: (2026)
Leave It to the Experts: Detecting Knowledge Distillation via MoE Expert Signatures
par: Li, Pingzhi, et autres
Publié: (2025)
par: Li, Pingzhi, et autres
Publié: (2025)
BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference
par: Wang, Yun, et autres
Publié: (2025)
par: Wang, Yun, et autres
Publié: (2025)
CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning
par: Liu, Yang, et autres
Publié: (2026)
par: Liu, Yang, et autres
Publié: (2026)
Pre-gated MoE: An Algorithm-System Co-Design for Fast and Scalable Mixture-of-Expert Inference
par: Hwang, Ranggi, et autres
Publié: (2023)
par: Hwang, Ranggi, et autres
Publié: (2023)
AT-MoE: Adaptive Task-planning Mixture of Experts via LoRA Approach
par: Li, Xurui, et autres
Publié: (2024)
par: Li, Xurui, et autres
Publié: (2024)
MoE-PHDS: One MoE checkpoint for flexible runtime sparsity
par: Hannah, Lauren. A, et autres
Publié: (2025)
par: Hannah, Lauren. A, et autres
Publié: (2025)
MoE-Pruner: Pruning Mixture-of-Experts Large Language Model using the Hints from Its Router
par: Xie, Yanyue, et autres
Publié: (2024)
par: Xie, Yanyue, et autres
Publié: (2024)
GraphIFE: Rethinking Graph Imbalance Node Classification via Invariant Learning
par: Zeng, Fanlong, et autres
Publié: (2025)
par: Zeng, Fanlong, et autres
Publié: (2025)
Graph Diffusion Network for Drug-Gene Prediction
par: Wu, Jiayang, et autres
Publié: (2025)
par: Wu, Jiayang, et autres
Publié: (2025)
Documents similaires
-
Symphony-MoE: Harmonizing Disparate Pre-trained Models into a Coherent Mixture-of-Experts
par: Wang, Qi, et autres
Publié: (2025) -
MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts
par: Jin, Peng, et autres
Publié: (2024) -
SDG-MoE: Signed Debate Graph Mixture-of-Experts
par: Kulibaba, Stepan, et autres
Publié: (2026) -
PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts
par: Su, Yang, et autres
Publié: (2025) -
Flex-MoE: Modeling Arbitrary Modality Combination via the Flexible Mixture-of-Experts
par: Yun, Sukwon, et autres
Publié: (2024)