:: Library Catalog

Buchumschlag

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Yixiao, Zhao, Ziyu, Cheng, Dongzhou, wu, zhiliang, Gui, Jie, Yang, Yi, Wu, Fei, Cheng, Yu, Fan, Hehe
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	https://arxiv.org/abs/2509.10377
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

One Refiner to Unlock Them All: Inference-Time Reasoning Elicitation via Reinforcement Query Refinement
von: Zhou, Yixiao, et al.
Veröffentlicht: (2026)

Look Inward to Explore Outward: Learning Temperature Policy from LLM Internal States via Hierarchical RL
von: Zhou, Yixiao, et al.
Veröffentlicht: (2026)

Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts
von: Zhang, Zeliang, et al.
Veröffentlicht: (2024)

Mixture of Neuron Experts
von: Cheng, Runxi, et al.
Veröffentlicht: (2025)

Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning
von: Zhao, Ziyu, et al.
Veröffentlicht: (2025)

Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization
von: Nakamura, Taishi, et al.
Veröffentlicht: (2025)

Mixture-of-Experts with Gradient Conflict-Driven Subspace Topology Pruning for Emergent Modularity
von: Gan, Yuxing, et al.
Veröffentlicht: (2025)

A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts
von: Chowdhury, Mohammed Nowaz Rabbani, et al.
Veröffentlicht: (2024)

Uni3D-MoE: Scalable Multimodal 3D Scene Understanding via Mixture of Experts
von: Zhang, Yue, et al.
Veröffentlicht: (2025)

Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time
von: Han, Yixuan, et al.
Veröffentlicht: (2025)

DiEP: Adaptive Mixture-of-Experts Compression through Differentiable Expert Pruning
von: Bai, Sikai, et al.
Veröffentlicht: (2025)

ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns
von: Zhao, Ziyu, et al.
Veröffentlicht: (2026)

MoE-I$^2$: Compressing Mixture of Experts Models through Inter-Expert Pruning and Intra-Expert Low-Rank Decomposition
von: Yang, Cheng, et al.
Veröffentlicht: (2024)

Efficient Expert Pruning for Sparse Mixture-of-Experts Language Models: Enhancing Performance and Reducing Inference Costs
von: Liu, Enshu, et al.
Veröffentlicht: (2024)

Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
von: Lu, Xudong, et al.
Veröffentlicht: (2024)

Dynamic Adaptive Shared Experts with Grouped Multi-Head Attention Mixture of Experts
von: Li, Cheng, et al.
Veröffentlicht: (2025)

Layerwise Recurrent Router for Mixture-of-Experts
von: Qiu, Zihan, et al.
Veröffentlicht: (2024)

Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers
von: Pavlitska, Svetlana, et al.
Veröffentlicht: (2025)

Sparse Models, Sparse Safety: Unsafe Routes in Mixture-of-Experts LLMs
von: Jiang, Yukun, et al.
Veröffentlicht: (2026)

Expert Merging in Sparse Mixture of Experts with Nash Bargaining
von: Nguyen, Dung V., et al.
Veröffentlicht: (2025)

Finding Fantastic Experts in MoEs: A Unified Study for Expert Dropping Strategies and Observations
von: Jaiswal, Ajay, et al.
Veröffentlicht: (2025)

Cluster-Driven Expert Pruning for Mixture-of-Experts Large Language Models
von: Guo, Hongcheng, et al.
Veröffentlicht: (2025)

Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning
von: Zhao, Ziyu, et al.
Veröffentlicht: (2024)

Opportunistic Expert Activation: Batch-Aware Expert Routing for Faster Decode Without Retraining
von: Oncescu, Costin-Andrei, et al.
Veröffentlicht: (2025)

$\texttt{MoE-RBench}$: Towards Building Reliable Language Models with Sparse Mixture-of-Experts
von: Chen, Guanjie, et al.
Veröffentlicht: (2024)

Mosaic Pruning: A Hierarchical Framework for Generalizable Pruning of Mixture-of-Experts Models
von: Hu, Wentao, et al.
Veröffentlicht: (2025)

A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs
von: Liu, Zijie, et al.
Veröffentlicht: (2026)

TradExpert: Revolutionizing Trading with Mixture of Expert LLMs
von: Ding, Qianggang, et al.
Veröffentlicht: (2024)

Preserving Long-Tailed Expert Information in Mixture-of-Experts Tuning
von: He, Haoze, et al.
Veröffentlicht: (2026)

Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
von: Yuan, Yike, et al.
Veröffentlicht: (2025)

From Sparse to Soft Mixtures of Experts
von: Puigcerver, Joan, et al.
Veröffentlicht: (2023)

FLEx: Personalized Federated Learning for Mixture-of-Experts LLMs via Expert Grafting
von: Liu, Fan, et al.
Veröffentlicht: (2025)

Routing-Free Mixture-of-Experts
von: Liu, Yilun, et al.
Veröffentlicht: (2026)

Modeling Expert Interactions in Sparse Mixture of Experts via Graph Structures
von: Nguyen-Nhat, Minh-Khoi, et al.
Veröffentlicht: (2025)

Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
von: Nikolic, Strahinja, et al.
Veröffentlicht: (2025)

Routers Learn the Geometry of Their Experts: Geometric Coupling in Sparse Mixture-of-Experts
von: Ahrac, Sagi, et al.
Veröffentlicht: (2026)

RANGER: Sparsely-Gated Mixture-of-Experts with Adaptive Retrieval Re-ranking for Pathology Report Generation
von: Chen, Yixin, et al.
Veröffentlicht: (2026)

UniPool: A Globally Shared Expert Pool for Mixture-of-Experts
von: Huang, Minbin, et al.
Veröffentlicht: (2026)

Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations
von: Dong, Zican, et al.
Veröffentlicht: (2025)

Mixture of Length and Pruning Experts for Knowledge Graphs Reasoning
von: Du, Enjun, et al.
Veröffentlicht: (2025)