Buchumschlag

MoNTA: Accelerating Mixture-of-Experts Training with Network-Traffc-Aware Parallel Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Guo, Jingming, Liu, Yan, Meng, Yu, Tao, Zhiwei, Liu, Banglan, Chen, Gang, Li, Xiang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts
von: Jin, Peng, et al.
Veröffentlicht: (2024)

Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
von: Hua, Yongxiang, et al.
Veröffentlicht: (2025)

MixGCN: Scalable GCN Training by Mixture of Parallelism and Mixture of Accelerators
von: Wan, Cheng, et al.
Veröffentlicht: (2025)

LightMoE: Reducing Mixture-of-Experts Redundancy through Expert Replacing
von: Hao, Jiawei, et al.
Veröffentlicht: (2026)

Accelerating Mixture-of-Expert Inference with Adaptive Expert Split Mechanism
von: Yan, Jiaming, et al.
Veröffentlicht: (2025)

PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts
von: Su, Yang, et al.
Veröffentlicht: (2025)

Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment
von: Liu, Zhili, et al.
Veröffentlicht: (2024)

MoSEs: Uncertainty-Aware AI-Generated Text Detection via Mixture of Stylistics Experts with Conditional Thresholds
von: Wu, Junxi, et al.
Veröffentlicht: (2025)

BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference
von: Wang, Yun, et al.
Veröffentlicht: (2025)

QuantMoE-Bench: Examining Post-Training Quantization for Mixture-of-Experts
von: Li, Pingzhi, et al.
Veröffentlicht: (2024)

Alloc-MoE: Budget-Aware Expert Activation Allocation for Efficient Mixture-of-Experts Inference
von: Liu, Baihui, et al.
Veröffentlicht: (2026)

EAC-MoE: Expert-Selection Aware Compressor for Mixture-of-Experts Large Language Models
von: Chen, Yuanteng, et al.
Veröffentlicht: (2025)

TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts
von: Xu, Yu, et al.
Veröffentlicht: (2026)

DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts
von: Feng, Jiarui, et al.
Veröffentlicht: (2026)

Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer
von: Liu, Boan, et al.
Veröffentlicht: (2023)

MobileMoE: Scaling On-Device Mixture of Experts
von: Chen, Yanbei, et al.
Veröffentlicht: (2026)

HiMoE-VLA: Hierarchical Mixture-of-Experts for Generalist Vision-Language-Action Policies
von: Du, Zhiying, et al.
Veröffentlicht: (2025)

PoseMoE: Mixture-of-Experts Network for Monocular 3D Human Pose Estimation
von: Liu, Mengyuan, et al.
Veröffentlicht: (2025)

Occult: Optimizing Collaborative Communication across Experts for Accelerated Parallel MoE Training and Inference
von: Luo, Shuqing, et al.
Veröffentlicht: (2025)

Mixture-of-Experts for Personalized and Semantic-Aware Next Location Prediction
von: Liu, Shuai, et al.
Veröffentlicht: (2025)

MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
von: Xie, Zhitian, et al.
Veröffentlicht: (2024)

Speculating Experts Accelerates Inference for Mixture-of-Experts
von: Madan, Vivan, et al.
Veröffentlicht: (2026)

MoBiE: Efficient Inference of Mixture of Binary Experts under Post-Training Quantization
von: Zhao, Zhixiong, et al.
Veröffentlicht: (2026)

MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts
von: Lou, Yuxuan, et al.
Veröffentlicht: (2026)

BrainNet-MoE: Brain-Inspired Mixture-of-Experts Learning for Neurological Disease Identification
von: Zhang, Jing, et al.
Veröffentlicht: (2025)

HiMoE: Heterogeneity-Informed Mixture-of-Experts for Fair Spatial-Temporal Forecasting
von: Yu, Shaohan, et al.
Veröffentlicht: (2024)

MC#: Mixture Compressor for Mixture-of-Experts Large Models
von: Huang, Wei, et al.
Veröffentlicht: (2025)

DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts
von: Yao, Zelin, et al.
Veröffentlicht: (2024)

Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models
von: Wei, Tianwen, et al.
Veröffentlicht: (2024)

OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
von: Gao, Yuting, et al.
Veröffentlicht: (2025)

TradExpert: Revolutionizing Trading with Mixture of Expert LLMs
von: Ding, Qianggang, et al.
Veröffentlicht: (2024)

MoPE: Mixture of Prompt Experts for Parameter-Efficient and Scalable Multimodal Fusion
von: Jiang, Ruixiang, et al.
Veröffentlicht: (2024)

Mixture of Experts (MoE): A Big Data Perspective
von: Gan, Wensheng, et al.
Veröffentlicht: (2025)

MoESys: A Distributed and Efficient Mixture-of-Experts Training and Inference System for Internet Services
von: Yu, Dianhai, et al.
Veröffentlicht: (2022)

MoE-DisCo:Low Economy Cost Training Mixture-of-Experts Models
von: Ye, Xin, et al.
Veröffentlicht: (2026)

Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts
von: Nguyen, Xuan-Phi, et al.
Veröffentlicht: (2026)

MoMa: Efficient Early-Fusion Pre-training with Mixture of Modality-Aware Experts
von: Lin, Xi Victoria, et al.
Veröffentlicht: (2024)

Klotski: Efficient Mixture-of-Expert Inference via Expert-Aware Multi-Batch Pipeline
von: Fang, Zhiyuan, et al.
Veröffentlicht: (2025)

MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
von: Jiang, Weisen, et al.
Veröffentlicht: (2026)

Dynamic Expert Quantization for Scalable Mixture-of-Experts Inference
von: Chu, Kexin, et al.
Veröffentlicht: (2025)