Klotski: Efficient Mixture-of-Expert Inference via Expert-Aware Multi-Batch Pipeline

Fuente: arXiv
Enregistré dans:
Détails bibliographiques
Auteurs principaux: Fang, Zhiyuan, Huang, Yuegui, Hong, Zicong, Lyu, Yufeng, Chen, Wuhui, Yu, Yue, Yu, Fan, Zheng, Zibin
Format: Preprint
Publié: 2025
Sujets:
Accès en ligne:
Tags: Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!