On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating

Fuente: arXiv
Enregistré dans:
Détails bibliographiques
Auteurs principaux: Nguyen, Huy, Doan, Thong T., Pham, Quang, Bui, Nghi D. Q., Ho, Nhat, Rinaldo, Alessandro
Format: Preprint
Publié: 2025
Sujets:
Accès en ligne:
Tags: Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!