Buchumschlag

Layerwise Recurrent Router for Mixture-of-Experts

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Qiu, Zihan, Huang, Zeyu, Cheng, Shuang, Zhou, Yizhi, Wang, Zili, Titov, Ivan, Fu, Jie
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Closer Look into Mixture-of-Experts in Large Language Models
von: Lo, Ka Man, et al.
Veröffentlicht: (2024)

Post-hoc Reward Calibration: A Case Study on Length Bias
von: Huang, Zeyu, et al.
Veröffentlicht: (2024)

Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert Models
von: Qiu, Zihan, et al.
Veröffentlicht: (2025)

Router Upcycling: Leveraging Mixture-of-Routers in Mixture-of-Experts Upcycling
von: Ran, Junfeng, et al.
Veröffentlicht: (2025)

Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling
von: Huang, Zeyu, et al.
Veröffentlicht: (2025)

Mixture of Routers
von: Zhang, Jia-Chen, et al.
Veröffentlicht: (2025)

Understanding Multilingualism in Mixture-of-Experts LLMs: Routing Mechanism, Expert Specialization, and Layerwise Steering
von: Chen, Yuxin, et al.
Veröffentlicht: (2026)

Yuan 2.0-M32: Mixture of Experts with Attention Router
von: Wu, Shaohua, et al.
Veröffentlicht: (2024)

Part-Of-Speech Sensitivity of Routers in Mixture of Experts Models
von: Antoine, Elie, et al.
Veröffentlicht: (2024)

Empirical Study on Updating Key-Value Memories in Transformer Feed-forward Layers
von: Qiu, Zihan, et al.
Veröffentlicht: (2024)

Coupling Experts and Routers in Mixture-of-Experts via an Auxiliary Loss
von: Lv, Ang, et al.
Veröffentlicht: (2025)

Routers Learn the Geometry of Their Experts: Geometric Coupling in Sparse Mixture-of-Experts
von: Ahrac, Sagi, et al.
Veröffentlicht: (2026)

A Controllable Examination for Long-Context Language Models
von: Yang, Yijun, et al.
Veröffentlicht: (2025)

Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design
von: Cai, Ruisi, et al.
Veröffentlicht: (2024)

Unlocking Continual Learning Abilities in Language Models
von: Du, Wenyu, et al.
Veröffentlicht: (2024)

Glider: Global and Local Instruction-Driven Expert Router
von: Li, Pingzhi, et al.
Veröffentlicht: (2024)

MoE-Pruner: Pruning Mixture-of-Experts Large Language Model using the Hints from Its Router
von: Xie, Yanyue, et al.
Veröffentlicht: (2024)

Dropping Experts, Recombining Neurons: Retraining-Free Pruning for Sparse Mixture-of-Experts LLMs
von: Zhou, Yixiao, et al.
Veröffentlicht: (2025)

CP-Router: An Uncertainty-Aware Router Between LLM and LRM
von: Su, Jiayuan, et al.
Veröffentlicht: (2025)

Omni-Router: Sharing Routing Decisions in Sparse Mixture-of-Experts for Speech Recognition
von: Gu, Zijin, et al.
Veröffentlicht: (2025)

Mixture of Lookup Experts
von: Jie, Shibo, et al.
Veröffentlicht: (2025)

Stacking Your Transformers: A Closer Look at Model Growth for Efficient LLM Pre-Training
von: Du, Wenyu, et al.
Veröffentlicht: (2024)

HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
von: Zhao, Hao, et al.
Veröffentlicht: (2024)

Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models
von: Wang, Zihan, et al.
Veröffentlicht: (2025)

Mixture of Neuron Experts
von: Cheng, Runxi, et al.
Veröffentlicht: (2025)

Generalisation First, Memorisation Second? Memorisation Localisation for Natural Language Classification Tasks
von: Dankers, Verna, et al.
Veröffentlicht: (2024)

GW-MoE: Resolving Uncertainty in MoE Router with Global Workspace Theory
von: Wu, Haoze, et al.
Veröffentlicht: (2024)

Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization
von: Wang, Yaoxiang, et al.
Veröffentlicht: (2025)

Performance Characterization of Expert Router for Scalable LLM Inference
von: Pichlmeier, Josef, et al.
Veröffentlicht: (2024)

ReXMoE: Reusing Experts with Minimal Overhead in Mixture-of-Experts
von: Tan, Zheyue, et al.
Veröffentlicht: (2025)

Layerwise Change of Knowledge in Neural Networks
von: Cheng, Xu, et al.
Veröffentlicht: (2024)

DiEP: Adaptive Mixture-of-Experts Compression through Differentiable Expert Pruning
von: Bai, Sikai, et al.
Veröffentlicht: (2025)

On the Spatial Structure of Mixture-of-Experts in Transformers
von: Bershatsky, Daniel, et al.
Veröffentlicht: (2025)

Towards a Comprehensive Scaling Law of Mixture-of-Experts
von: Zhao, Guoliang, et al.
Veröffentlicht: (2025)

Unlearning Traces the Influential Training Data of Language Models
von: Isonuma, Masaru, et al.
Veröffentlicht: (2024)

M-Wanda: Improving One-Shot Pruning for Multilingual LLMs
von: Choenni, Rochelle, et al.
Veröffentlicht: (2025)

Multi-Head Mixture-of-Experts
von: Wu, Xun, et al.
Veröffentlicht: (2024)

ROMER: Expert Replacement and Router Calibration for Robust MoE LLMs on Analog Compute-in-Memory Systems
von: Zhou, Wenyong, et al.
Veröffentlicht: (2026)

DLP: Dynamic Layerwise Pruning in Large Language Models
von: Chen, Yuli, et al.
Veröffentlicht: (2025)

Maximum Score Routing For Mixture-of-Experts
von: Dong, Bowen, et al.
Veröffentlicht: (2025)