Buchumschlag

FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhan, Ziwei, Zhao, Wenkuan, Li, Yuanqing, Liu, Weijie, Zhang, Xiaoxi, Tan, Chee Wei, Wu, Chuan, Guo, Deke, Chen, Xu
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients
von: Liang, Han, et al.
Veröffentlicht: (2024)

Elastic Mixture of Rank-Wise Experts for Knowledge Reuse in Federated Fine-Tuning
von: Wu, Yebo, et al.
Veröffentlicht: (2025)

pFedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning
von: Yi, Liping, et al.
Veröffentlicht: (2024)

SP-MoE: Speculative Decoding and Prefetching for Accelerating MoE-based Model Inference
von: Chen, Liangkun, et al.
Veröffentlicht: (2025)

FedUHB: Accelerating Federated Unlearning via Polyak Heavy Ball Method
von: Jiang, Yu, et al.
Veröffentlicht: (2024)

FedFQ: Federated Learning with Fine-Grained Quantization
von: Li, Haowei, et al.
Veröffentlicht: (2024)

Hexa-MoE: Efficient and Heterogeneous-aware Training for Mixture-of-Experts
von: Luo, Shuqing, et al.
Veröffentlicht: (2024)

FedCostAware: Enabling Cost-Aware Federated Learning on the Cloud
von: Sinha, Aditya, et al.
Veröffentlicht: (2025)

Fine-grained MoE Load Balancing with Linear Programming
von: Zhao, Chenqi, et al.
Veröffentlicht: (2025)

Fed-GAME: Personalized Federated Learning with Graph Attention Mixture-of-Experts For Time-Series Forecasting
von: Li, Yi, et al.
Veröffentlicht: (2026)

CRAFT: Fine-Grained Cost-Aware Expert Replication For Efficient Mixture-of-Experts Serving
von: Zhao, Adrian, et al.
Veröffentlicht: (2026)

Accelerating Edge Inference for Distributed MoE Models with Latency-Optimized Expert Placement
von: Wu, Tian, et al.
Veröffentlicht: (2025)

ElasticMoE: An Efficient Auto Scaling Method for Mixture-of-Experts Models
von: Singh, Gursimran, et al.
Veröffentlicht: (2025)

BandPilot: Towards Performance- and Contention-Aware GPU Dispatching in AI Clusters
von: Zhang, Kunming, et al.
Veröffentlicht: (2025)

FedFog: Resource-Aware Federated Learning in Edge and Fog Networks
von: Sobati-M, Somayeh
Veröffentlicht: (2025)

MemFine: Memory-Aware Fine-Grained Scheduling for MoE Training
von: Zhao, Lu, et al.
Veröffentlicht: (2025)

FlowMoE: A Scalable Pipeline Scheduling Framework for Distributed Mixture-of-Experts Training
von: Gao, Yunqi, et al.
Veröffentlicht: (2025)

Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts
von: Zhang, Shulai, et al.
Veröffentlicht: (2025)

SiDA-MoE: Sparsity-Inspired Data-Aware Serving for Efficient and Scalable Large Mixture-of-Experts Models
von: Du, Zhixu, et al.
Veröffentlicht: (2023)

FedAgg: Adaptive Federated Learning with Aggregated Gradients
von: Yuan, Wenhao, et al.
Veröffentlicht: (2023)

HAP: Hybrid Adaptive Parallelism for Efficient Mixture-of-Experts Inference
von: Lin, Haoran, et al.
Veröffentlicht: (2025)

Robust Federated Fine-Tuning in Heterogeneous Networks with Unreliable Connections: An Aggregation View
von: Wang, Yanmeng, et al.
Veröffentlicht: (2025)

FedAPTA: Federated Multi-task Learning for Heterogeneous Devices with Adaptive Layer-wise Pruning and Task-aware Aggregation
von: Yu, Zhen, et al.
Veröffentlicht: (2025)

FedQuad: Adaptive Layer-wise LoRA Deployment and Activation Quantization for Federated Fine-Tuning
von: Li, Rukuo, et al.
Veröffentlicht: (2025)

Stable-MoE: Lyapunov-based Token Routing for Distributed Mixture-of-Experts Training over Edge Networks
von: Shi, Long, et al.
Veröffentlicht: (2025)

EC2MoE: Adaptive End-Cloud Pipeline Collaboration Enabling Scalable Mixture-of-Experts Inference
von: Yang, Zheming, et al.
Veröffentlicht: (2025)

FedDD: Toward Communication-efficient Federated Learning with Differential Parameter Dropout
von: Feng, Zhiying, et al.
Veröffentlicht: (2023)

Shared Memory-Aware Latency-Sensitive Message Aggregation for Fine-Grained Communication
von: Chandrasekar, Kavitha, et al.
Veröffentlicht: (2024)

Tangram: High-resolution Video Analytics on Serverless Platform with SLO-aware Batching
von: Peng, Haosong, et al.
Veröffentlicht: (2024)

Communication and Computation Efficient Split Federated Learning in O-RAN
von: Gu, Shunxian, et al.
Veröffentlicht: (2025)

Scattered Mixture-of-Experts Implementation
von: Tan, Shawn, et al.
Veröffentlicht: (2024)

MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing
von: Go, Seokjin, et al.
Veröffentlicht: (2025)

MoE-CAP: Benchmarking Cost, Accuracy and Performance of Sparse Mixture-of-Experts Systems
von: Jiang, Yinsicheng, et al.
Veröffentlicht: (2025)

MoE-CAP: Benchmarking Cost, Accuracy and Performance of Sparse Mixture-of-Experts Systems
von: Jiang, Yinsicheng, et al.
Veröffentlicht: (2024)

MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes
von: Li, Xin-Chun, et al.
Veröffentlicht: (2024)

Optimizing Distributed Deployment of Mixture-of-Experts Model Inference in Serverless Computing
von: Liu, Mengfan, et al.
Veröffentlicht: (2025)

FedTeddi: Temporal Drift and Divergence Aware Scheduling for Timely Federated Edge Learning
von: Bai, Yuxuan, et al.
Veröffentlicht: (2025)

Surviving Partial Rank Failures in Wide Expert-Parallel MoE Inference
von: Sun, Xun, et al.
Veröffentlicht: (2026)

LAER-MoE: Load-Adaptive Expert Re-layout for Efficient Mixture-of-Experts Training
von: Liu, Xinyi, et al.
Veröffentlicht: (2026)

FedRPCA: Enhancing Federated LoRA Aggregation Using Robust PCA
von: Jhunjhunwala, Divyansh, et al.
Veröffentlicht: (2025)