Buchumschlag

TiMoE: Time-Aware Mixture of Language Experts

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Faro, Robin, Fan, Dongyang, Alphaidze, Tamar, Jaggi, Martin
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Towards an empirical understanding of MoE design choices
von: Fan, Dongyang, et al.
Veröffentlicht: (2024)

On-Device Collaborative Language Modeling via a Mixture of Generalists and Specialists
von: Fan, Dongyang, et al.
Veröffentlicht: (2024)

Personalized Collaborative Fine-Tuning for On-Device Large Language Models
von: Wagner, Nicolas, et al.
Veröffentlicht: (2024)

URLs Help, Topics Guide: Understanding Metadata Utility in LLM Training
von: Fan, Dongyang, et al.
Veröffentlicht: (2025)

EvoMoE: Expert Evolution in Mixture of Experts for Multimodal Large Language Models
von: Jing, Linglin, et al.
Veröffentlicht: (2025)

DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
von: Dai, Damai, et al.
Veröffentlicht: (2024)

Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling
von: Jiang, Fan, et al.
Veröffentlicht: (2026)

FourierMoE: Fourier Mixture-of-Experts Adaptation of Large Language Models
von: Jiang, Juyong, et al.
Veröffentlicht: (2026)

MH-MoE: Multi-Head Mixture-of-Experts
von: Huang, Shaohan, et al.
Veröffentlicht: (2024)

$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts
von: Takashiro, Shota, et al.
Veröffentlicht: (2026)

Beyond URLs: Metadata Diversity and Position for Efficient LLM Pretraining
von: Fan, Dongyang, et al.
Veröffentlicht: (2025)

Alloc-MoE: Budget-Aware Expert Activation Allocation for Efficient Mixture-of-Experts Inference
von: Liu, Baihui, et al.
Veröffentlicht: (2026)

Elastic MoE: Unlocking the Inference-Time Scalability of Mixture-of-Experts
von: Gu, Naibin, et al.
Veröffentlicht: (2025)

MoMoE: Mixture of Moderation Experts Framework for AI-Assisted Online Governance
von: Goyal, Agam, et al.
Veröffentlicht: (2025)

MoDEM: Mixture of Domain Expert Models
von: Simonds, Toby, et al.
Veröffentlicht: (2024)

Pre-Attention Expert Prediction and Prefetching for Mixture-of-Experts Large Language Models
von: Zhu, Shien, et al.
Veröffentlicht: (2025)

Pangu Pro MoE: Mixture of Grouped Experts for Efficient Sparsity
von: Tang, Yehui, et al.
Veröffentlicht: (2025)

SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts
von: Muzio, Alexandre, et al.
Veröffentlicht: (2024)

$μ$-MoE: Test-Time Pruning as Micro-Grained Mixture-of-Experts
von: Koike-Akino, Toshiaki, et al.
Veröffentlicht: (2025)

MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing
von: Zhou, Hao, et al.
Veröffentlicht: (2024)

DIVE into MoE: Diversity-Enhanced Reconstruction of Large Language Models from Dense into Mixture-of-Experts
von: Feng, Yuchen, et al.
Veröffentlicht: (2025)

MoBiLE: Efficient Mixture-of-Experts Inference on Consumer GPU with Mixture of Big Little Experts
von: Zhao, Yushu, et al.
Veröffentlicht: (2025)

MobileMoE: Scaling On-Device Mixture of Experts
von: Chen, Yanbei, et al.
Veröffentlicht: (2026)

MoLAE: Mixture of Latent Experts for Parameter-Efficient Language Models
von: Liu, Zehua, et al.
Veröffentlicht: (2025)

S2MoE: Robust Sparse Mixture of Experts via Stochastic Learning
von: Do, Giang, et al.
Veröffentlicht: (2025)

MoSE: Mixture of Slimmable Experts for Efficient and Adaptive Language Models
von: Tastan, Nurbek, et al.
Veröffentlicht: (2026)

Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models
von: Jiang, Songtao, et al.
Veröffentlicht: (2024)

OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models
von: Xue, Fuzhao, et al.
Veröffentlicht: (2024)

$\texttt{MoE-RBench}$: Towards Building Reliable Language Models with Sparse Mixture-of-Experts
von: Chen, Guanjie, et al.
Veröffentlicht: (2024)

Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models
von: Wei, Tianwen, et al.
Veröffentlicht: (2024)

MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts
von: Lou, Yuxuan, et al.
Veröffentlicht: (2026)

MoFE: Mixture of Frozen Experts Architecture
von: Seo, Jean, et al.
Veröffentlicht: (2025)

MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping
von: Huang, Yushi, et al.
Veröffentlicht: (2025)

PT-MoE: An Efficient Finetuning Framework for Integrating Mixture-of-Experts into Prompt Tuning
von: Li, Zongqian, et al.
Veröffentlicht: (2025)

NeuronMoE: Neuron-Guided Mixture-of-Experts for Efficient Multilingual LLM Extension
von: Li, Rongzhi, et al.
Veröffentlicht: (2026)

FLAME-MoE: A Transparent End-to-End Research Platform for Mixture-of-Experts Language Models
von: Kang, Hao, et al.
Veröffentlicht: (2025)

Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment
von: Liu, Zhili, et al.
Veröffentlicht: (2024)

MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
von: Jiang, Weisen, et al.
Veröffentlicht: (2026)

MaskMoE: Boosting Token-Level Learning via Routing Mask in Mixture-of-Experts
von: Su, Zhenpeng, et al.
Veröffentlicht: (2024)

MoG: Mixture of Experts for Graph-based Retrieval-Augmented Generation
von: Yuan, Zheng, et al.
Veröffentlicht: (2026)