On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Nguyen, Huy, Doan, Thong T., Pham, Quang, Bui, Nghi D. Q., Ho, Nhat, Rinaldo, Alessandro
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Online

https://arxiv.org/abs/2505.10860