Opportunistic Expert Activation: Batch-Aware Expert Routing for Faster Decode Without Retraining

Fuente: arXiv
Enregistré dans:
Détails bibliographiques
Auteurs principaux: Oncescu, Costin-Andrei, Wu, Qingyang, Chung, Wai Tong, Wu, Robert, Gopal, Bryan, Wang, Junxiong, Dao, Tri, Athiwaratkun, Ben
Format: Preprint
Publié: 2025
Sujets:
Accès en ligne:
Tags: Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!