Buchumschlag

Mixture of Diverse Size Experts

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, Manxi, Liu, Wei, Luan, Jian, Gao, Pengzhi, Wang, Bin
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

STEP: Success-Rate-Aware Trajectory-Efficient Policy Optimization
von: Chen, Yuhan, et al.
Veröffentlicht: (2025)

AnyExperts: On-Demand Expert Allocation for Multimodal Language Models with Mixture of Expert
von: Gao, Yuting, et al.
Veröffentlicht: (2025)

MC#: Mixture Compressor for Mixture-of-Experts Large Models
von: Huang, Wei, et al.
Veröffentlicht: (2025)

EAC-MoE: Expert-Selection Aware Compressor for Mixture-of-Experts Large Language Models
von: Chen, Yuanteng, et al.
Veröffentlicht: (2025)

Mixture of Latent Experts Using Tensor Products
von: Su, Zhan, et al.
Veröffentlicht: (2024)

Dynamic Expert Quantization for Scalable Mixture-of-Experts Inference
von: Chu, Kexin, et al.
Veröffentlicht: (2025)

Efficiently Editing Mixture-of-Experts Models with Compressed Experts
von: He, Yifei, et al.
Veröffentlicht: (2025)

Multi-Head Mixture-of-Experts
von: Wu, Xun, et al.
Veröffentlicht: (2024)

Revisiting Entropy in Reinforcement Learning for Large Reasoning Models
von: Jin, Renren, et al.
Veröffentlicht: (2025)

Accelerating Mixture-of-Expert Inference with Adaptive Expert Split Mechanism
von: Yan, Jiaming, et al.
Veröffentlicht: (2025)

Not All Models Suit Expert Offloading: On Local Routing Consistency of Mixture-of-Expert Models
von: Liang, Jingcong, et al.
Veröffentlicht: (2025)

Efficient Quantization of Mixture-of-Experts with Theoretical Generalization Guarantees
von: Chowdhury, Mohammed Nowaz Rabbani, et al.
Veröffentlicht: (2026)

Mixture of Raytraced Experts
von: Perin, Andrea, et al.
Veröffentlicht: (2025)

Mixture-of-Experts Meets In-Context Reinforcement Learning
von: Wu, Wenhao, et al.
Veröffentlicht: (2025)

OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
von: Gao, Yuting, et al.
Veröffentlicht: (2025)

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models
von: Wei, Jia, et al.
Veröffentlicht: (2026)

BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference
von: Wang, Yun, et al.
Veröffentlicht: (2025)

Mixture of Experts in a Mixture of RL settings
von: Willi, Timon, et al.
Veröffentlicht: (2024)

Speculating Experts Accelerates Inference for Mixture-of-Experts
von: Madan, Vivan, et al.
Veröffentlicht: (2026)

GraphMoRE: Mitigating Topological Heterogeneity via Mixture of Riemannian Experts
von: Guo, Zihao, et al.
Veröffentlicht: (2024)

Mixture of Experts in Large Language Models
von: Zhang, Danyang, et al.
Veröffentlicht: (2025)

Dynamic Adaptive Shared Experts with Grouped Multi-Head Attention Mixture of Experts
von: Li, Cheng, et al.
Veröffentlicht: (2025)

Mixture of A Million Experts
von: He, Xu Owen
Veröffentlicht: (2024)

Sparsity and Superposition in Mixture of Experts
von: Chaudhari, Marmik, et al.
Veröffentlicht: (2025)

Mixture of Concept Bottleneck Experts
von: De Santis, Francesco, et al.
Veröffentlicht: (2026)

Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection
von: Zhan, Zheng, et al.
Veröffentlicht: (2025)

dFLMoE: Decentralized Federated Learning via Mixture of Experts for Medical Data Analysis
von: Xie, Luyuan, et al.
Veröffentlicht: (2025)

MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
von: Xie, Zhitian, et al.
Veröffentlicht: (2024)

Alloc-MoE: Budget-Aware Expert Activation Allocation for Efficient Mixture-of-Experts Inference
von: Liu, Baihui, et al.
Veröffentlicht: (2026)

A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models
von: Sun, Mengyang, et al.
Veröffentlicht: (2025)

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts
von: Dwivedi, Chaitanya, et al.
Veröffentlicht: (2026)

MoFE-Time: Mixture of Frequency Domain Experts for Time-Series Forecasting Models
von: Liu, Yiwen, et al.
Veröffentlicht: (2025)

HoPE: A Novel Positional Encoding Without Long-Term Decay for Enhanced Context Awareness and Extrapolation
von: Chen, Yuhan, et al.
Veröffentlicht: (2024)

Mixture of Heterogeneous Grouped Experts for Language Modeling
von: Ma, Zhicheng, et al.
Veröffentlicht: (2026)

Graph Knowledge Distillation to Mixture of Experts
von: Rumiantsev, Pavel, et al.
Veröffentlicht: (2024)

Theory on Mixture-of-Experts in Continual Learning
von: Li, Hongbo, et al.
Veröffentlicht: (2024)

Mixture of Weak & Strong Experts on Graphs
von: Zeng, Hanqing, et al.
Veröffentlicht: (2023)

HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
von: Zhao, Hao, et al.
Veröffentlicht: (2024)

Zero-shot Generalizable Graph Anomaly Detection with Mixture of Riemannian Experts
von: Zhao, Xinyu, et al.
Veröffentlicht: (2026)

Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning
von: Zhao, Ziyu, et al.
Veröffentlicht: (2025)