Buchumschlag

Equifinality in Mixture of Experts: Routing Topology Does Not Determine Language Modeling Quality

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ternovtsii, Ivan, Bilak, Yurii
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Geometric Routing Enables Causal Expert Control in Mixture of Experts
von: Ternovtsii, Ivan, et al.
Veröffentlicht: (2026)

Cosine-Similarity Routing with Semantic Anchors for Interpretable Mixture-of-Experts Language Models
von: Ternovtsii, Ivan, et al.
Veröffentlicht: (2025)

Mixture of Layers with Hybrid Attention
von: Ternovtsii, Ivan, et al.
Veröffentlicht: (2026)

AdaMoE: Token-Adaptive Routing with Null Experts for Mixture-of-Experts Language Models
von: Zeng, Zihao, et al.
Veröffentlicht: (2024)

Routing-Free Mixture-of-Experts
von: Liu, Yilun, et al.
Veröffentlicht: (2026)

Multilingual Routing in Mixture-of-Experts
von: Bandarkar, Lucas, et al.
Veröffentlicht: (2025)

Not All Models Suit Expert Offloading: On Local Routing Consistency of Mixture-of-Expert Models
von: Liang, Jingcong, et al.
Veröffentlicht: (2025)

Soft-to-Hard Routing in Sparse Mixture-of-Experts Models
von: Rastegar, Reza
Veröffentlicht: (2026)

RouteHijack: Routing-Aware Attack on Mixture-of-Experts LLMs
von: Xu, Zhiyuan, et al.
Veröffentlicht: (2026)

Probing Semantic Routing in Large Mixture-of-Expert Models
von: Olson, Matthew Lyle, et al.
Veröffentlicht: (2025)

Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts
von: Lyu, Boxuan, et al.
Veröffentlicht: (2026)

Routing-Aware Explanations for Mixture of Experts Graph Models in Malware Detection
von: Shokouhinejad, Hossein, et al.
Veröffentlicht: (2026)

Towards Generalization-Oriented Models for Vehicle Routing Problems with Mixture-of-Experts
von: Miao, Changhao, et al.
Veröffentlicht: (2026)

Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection
von: Zhan, Zheng, et al.
Veröffentlicht: (2025)

RouterRetriever: Routing over a Mixture of Expert Embedding Models
von: Lee, Hyunji, et al.
Veröffentlicht: (2024)

PERFT: Parameter-Efficient Routed Fine-Tuning for Mixture-of-Expert Model
von: Liu, Yilun, et al.
Veröffentlicht: (2024)

Neural Inhibition Improves Dynamic Routing and Mixture of Experts
von: Zou, Will Y., et al.
Veröffentlicht: (2025)

RASA: Routing-Aware Safety Alignment for Mixture-of-Experts Models
von: Liang, Jiacheng, et al.
Veröffentlicht: (2026)

The Expert Interchange Standard: Enabling Dynamic Expert Management in Mixture-of-Experts Language Models
von: Kashinath, Kadaba Shrish
Veröffentlicht: (2026)

Mixture of Experts in Large Language Models
von: Zhang, Danyang, et al.
Veröffentlicht: (2025)

Routing-Aligned Fine-Tuning for Multilingual Downstream Tasks in Mixture-of-Experts Models
von: Deng, Guanzhi, et al.
Veröffentlicht: (2026)

MoxE: Mixture of xLSTM Experts with Entropy-Aware Routing for Efficient Language Modeling
von: Thiombiano, Abdoul Majid O., et al.
Veröffentlicht: (2025)

ProbMoE: Differentiable Probabilistic Routing for Mixture-of-Experts
von: Zhao, Heng, et al.
Veröffentlicht: (2026)

Modality-Guided Mixture of Graph Experts with Entropy-Triggered Routing for Multimodal Recommendation
von: Dai, Ji, et al.
Veröffentlicht: (2026)

Sparse Models, Sparse Safety: Unsafe Routes in Mixture-of-Experts LLMs
von: Jiang, Yukun, et al.
Veröffentlicht: (2026)

AnyExperts: On-Demand Expert Allocation for Multimodal Language Models with Mixture of Expert
von: Gao, Yuting, et al.
Veröffentlicht: (2025)

Spatio-Semantic Expert Routing Architecture with Mixture-of-Experts for Referring Image Segmentation
von: Dalaq, Alaa, et al.
Veröffentlicht: (2026)

MVMoE: Multi-Task Vehicle Routing Solver with Mixture-of-Experts
von: Zhou, Jianan, et al.
Veröffentlicht: (2024)

Pre-Attention Expert Prediction and Prefetching for Mixture-of-Experts Large Language Models
von: Zhu, Shien, et al.
Veröffentlicht: (2025)

Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
von: Liu, Yilun, et al.
Veröffentlicht: (2025)

Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts
von: Xu, Haolei, et al.
Veröffentlicht: (2026)

L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts
von: Yang, Minghao, et al.
Veröffentlicht: (2026)

Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
von: Li, Albus Yizhuo, et al.
Veröffentlicht: (2026)

Geometric Mixture-of-Experts with Curvature-Guided Adaptive Routing for Graph Representation Learning
von: Cao, Haifang, et al.
Veröffentlicht: (2026)

On the Spatial Structure of Mixture-of-Experts in Transformers
von: Bershatsky, Daniel, et al.
Veröffentlicht: (2025)

LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts
von: Zhuang, Yuan, et al.
Veröffentlicht: (2025)

Mixture of Heterogeneous Grouped Experts for Language Modeling
von: Ma, Zhicheng, et al.
Veröffentlicht: (2026)

Mixture of Masters: Sparse Chess Language Models with Player Routing
von: Frisoni, Giacomo, et al.
Veröffentlicht: (2026)

Upcycling Large Language Models into Mixture of Experts
von: He, Ethan, et al.
Veröffentlicht: (2024)

BadMoE: Backdooring Mixture-of-Experts LLMs via Optimizing Routing Triggers and Infecting Dormant Experts
von: Wang, Qingyue, et al.
Veröffentlicht: (2025)