CARL-MoE: Communication-Aware Adaptive Routing with Load-Balanced Expert Parallelism for Efficient Mixture-of-Experts Training

Fuente: Zenodo

Enregistré dans:

Détails bibliographiques
Auteur principal:	Jin, Haopeng
Format:	Recurso digital
Langue:	anglais
Publié:	Zenodo 2026
Sujets:	CARL-MoE Communication-Aware Affinity Routing Dual-Level Adaptive Load Balancing Locality-Biased Hierarchical Expert Parallelism Congestion-Aware Sinkhorn Warm Start Topology-Aware Expert Placement Refresh GShard Switch Transformer GLaM BASE Layers machine learning deep learning
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Internet