Buchumschlag

DIVE into MoE: Diversity-Enhanced Reconstruction of Large Language Models from Dense into Mixture-of-Experts

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Feng, Yuchen, Shen, Bowen, Gu, Naibin, Zhao, Jiaxuan, Fu, Peng, Lin, Zheng, Wang, Weiping
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Elastic MoE: Unlocking the Inference-Time Scalability of Mixture-of-Experts
von: Gu, Naibin, et al.
Veröffentlicht: (2025)

CBP-Tuning: Efficient Local Customization for Black-box Large Language Models
von: Zhao, Jiaxuan, et al.
Veröffentlicht: (2025)

Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning
von: Gu, Naibin, et al.
Veröffentlicht: (2024)

MoE-LLaVA: Mixture of Experts for Large Vision-Language Models
von: Lin, Bin, et al.
Veröffentlicht: (2024)

DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts
von: Feng, Jiarui, et al.
Veröffentlicht: (2026)

MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts
von: Jin, Peng, et al.
Veröffentlicht: (2024)

Steer-MoE: Efficient Audio-Language Alignment with a Mixture-of-Experts Steering Module
von: Feng, Ruitao, et al.
Veröffentlicht: (2025)

MoE-Loco: Mixture of Experts for Multitask Locomotion
von: Huang, Runhan, et al.
Veröffentlicht: (2025)

MoE Jetpack: From Dense Checkpoints to Adaptive Mixture of Experts for Vision Tasks
von: Zhu, Xingkui, et al.
Veröffentlicht: (2024)

EAC-MoE: Expert-Selection Aware Compressor for Mixture-of-Experts Large Language Models
von: Chen, Yuanteng, et al.
Veröffentlicht: (2025)

Horseshoe Mixtures-of-Experts (HS-MoE)
von: Polson, Nick, et al.
Veröffentlicht: (2026)

$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts
von: Takashiro, Shota, et al.
Veröffentlicht: (2026)

MegaScale-MoE: Large-Scale Communication-Efficient Training of Mixture-of-Experts Models in Production
von: Jin, Chao, et al.
Veröffentlicht: (2025)

MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing
von: Zhou, Hao, et al.
Veröffentlicht: (2024)

Hexa-MoE: Efficient and Heterogeneous-aware Training for Mixture-of-Experts
von: Luo, Shuqing, et al.
Veröffentlicht: (2024)

MH-MoE: Multi-Head Mixture-of-Experts
von: Huang, Shaohan, et al.
Veröffentlicht: (2024)

MoE3D: A Mixture-of-Experts Module for 3D Reconstruction
von: Wang, Zichen, et al.
Veröffentlicht: (2026)

MoE-Inference-Bench: Performance Evaluation of Mixture of Expert Large Language and Vision Models
von: Chitty-Venkata, Krishna Teja, et al.
Veröffentlicht: (2025)

MoBE: Mixture-of-Basis-Experts for Compressing MoE-based LLMs
von: Chen, Xiaodong, et al.
Veröffentlicht: (2025)

Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling
von: Jiang, Fan, et al.
Veröffentlicht: (2026)

Sub-MoE: Efficient Mixture-of-Expert LLMs Compression via Subspace Expert Merging
von: Li, Lujun, et al.
Veröffentlicht: (2025)

OD-MoE: On-Demand Expert Loading for Cacheless Edge-Distributed MoE Inference
von: Wang, Liujianfu, et al.
Veröffentlicht: (2025)

Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts
von: Li, Yunxin, et al.
Veröffentlicht: (2024)

MoE-Pruner: Pruning Mixture-of-Experts Large Language Model using the Hints from Its Router
von: Xie, Yanyue, et al.
Veröffentlicht: (2024)

Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models
von: Jiang, Songtao, et al.
Veröffentlicht: (2024)

Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models
von: Wei, Tianwen, et al.
Veröffentlicht: (2024)

Fair-MoE: Fairness-Oriented Mixture of Experts in Vision-Language Models
von: Wang, Peiran, et al.
Veröffentlicht: (2025)

$\texttt{MoE-RBench}$: Towards Building Reliable Language Models with Sparse Mixture-of-Experts
von: Chen, Guanjie, et al.
Veröffentlicht: (2024)

LAER-MoE: Load-Adaptive Expert Re-layout for Efficient Mixture-of-Experts Training
von: Liu, Xinyi, et al.
Veröffentlicht: (2026)

Adapt Once, Thrive with Updates: Transferable Parameter-Efficient Fine-Tuning on Evolving Base Models
von: Gu, Naibin, et al.
Veröffentlicht: (2025)

Mixture of Experts (MoE): A Big Data Perspective
von: Gan, Wensheng, et al.
Veröffentlicht: (2025)

SDG-MoE: Signed Debate Graph Mixture-of-Experts
von: Kulibaba, Stepan, et al.
Veröffentlicht: (2026)

ECG-MoE: Mixture-of-Expert Electrocardiogram Foundation Model
von: Xu, Yuhao, et al.
Veröffentlicht: (2026)

MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting
von: Jin, In-Hwan, et al.
Veröffentlicht: (2025)

eMoE: Task-aware Memory Efficient Mixture-of-Experts-Based (MoE) Model Inference
von: Tairin, Suraiya, et al.
Veröffentlicht: (2025)

MultiPL-MoE: Multi-Programming-Lingual Extension of Large Language Models through Hybrid Mixture-of-Experts
von: Wang, Qing, et al.
Veröffentlicht: (2025)

I2MoE: Interpretable Multimodal Interaction-aware Mixture-of-Experts
von: Xin, Jiayi, et al.
Veröffentlicht: (2025)

DA-MoE: Towards Dynamic Expert Allocation for Mixture-of-Experts Models
von: Aghdam, Maryam Akhavan, et al.
Veröffentlicht: (2024)

SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts
von: Muzio, Alexandre, et al.
Veröffentlicht: (2024)

Pangu Pro MoE: Mixture of Grouped Experts for Efficient Sparsity
von: Tang, Yehui, et al.
Veröffentlicht: (2025)