FedCoE: Bridging Generalization and Personalization via Federated Coordinated Dual-level MoEs
Fuente:
arXiv
Salvato in:
| Autori principali: | Dai, Penglin, Li, Fulian, Xu, Xincao, Wang, Junhua, Duan, Lixin, Wu, Xiao |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2026
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
AutoMCU: Feasibility-First MCU Neural Network Customization via LLM-based Multi-Agent Systems
di: Dai, Penglin, et al.
Pubblicazione: (2026)
di: Dai, Penglin, et al.
Pubblicazione: (2026)
FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts
di: Mei, Hanzi, et al.
Pubblicazione: (2024)
di: Mei, Hanzi, et al.
Pubblicazione: (2024)
DualFed: Enjoying both Generalization and Personalization in Federated Learning via Hierachical Representations
di: Zhu, Guogang, et al.
Pubblicazione: (2024)
di: Zhu, Guogang, et al.
Pubblicazione: (2024)
FFT-MoE: Efficient Federated Fine-Tuning for Foundation Models via Large-scale Sparse MoE under Heterogeneous Edge
di: Hu, Gang, et al.
Pubblicazione: (2025)
di: Hu, Gang, et al.
Pubblicazione: (2025)
Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs
di: Li, Bo, et al.
Pubblicazione: (2026)
di: Li, Bo, et al.
Pubblicazione: (2026)
Dense2MoE: Restructuring Diffusion Transformer to MoE for Efficient Text-to-Image Generation
di: Zheng, Youwei, et al.
Pubblicazione: (2025)
di: Zheng, Youwei, et al.
Pubblicazione: (2025)
MoE-Infinity: Efficient MoE Inference on Personal Machines with Sparsity-Aware Expert Cache
di: Xue, Leyang, et al.
Pubblicazione: (2024)
di: Xue, Leyang, et al.
Pubblicazione: (2024)
MoE-Prism: Disentangling Monolithic Experts for Elastic MoE Services via Model-System Co-Designs
di: Xia, Xinfeng, et al.
Pubblicazione: (2025)
di: Xia, Xinfeng, et al.
Pubblicazione: (2025)
MxMoE: Mixed-precision Quantization for MoE with Accuracy and Performance Co-Design
di: Duanmu, Haojie, et al.
Pubblicazione: (2025)
di: Duanmu, Haojie, et al.
Pubblicazione: (2025)
MiM-DiT: MoE in MoE with Diffusion Transformers for All-in-One Image Restoration
di: Kong, Lingshun, et al.
Pubblicazione: (2026)
di: Kong, Lingshun, et al.
Pubblicazione: (2026)
DualSparse-MoE: Coordinating Tensor/Neuron-Level Sparsity with Expert Partition and Reconstruction
di: Cai, Weilin, et al.
Pubblicazione: (2025)
di: Cai, Weilin, et al.
Pubblicazione: (2025)
Sparse Crosscoders for diffing MoEs and Dense models
di: Chaudhari, Marmik, et al.
Pubblicazione: (2026)
di: Chaudhari, Marmik, et al.
Pubblicazione: (2026)
SP-MoE: Speculative Decoding and Prefetching for Accelerating MoE-based Model Inference
di: Chen, Liangkun, et al.
Pubblicazione: (2025)
di: Chen, Liangkun, et al.
Pubblicazione: (2025)
SMoE: An Algorithm-System Co-Design for Pushing MoE to the Edge via Expert Substitution
di: Zhu, Guoying, et al.
Pubblicazione: (2025)
di: Zhu, Guoying, et al.
Pubblicazione: (2025)
GW-MoE: Resolving Uncertainty in MoE Router with Global Workspace Theory
di: Wu, Haoze, et al.
Pubblicazione: (2024)
di: Wu, Haoze, et al.
Pubblicazione: (2024)
CoPEFT: Fast Adaptation Framework for Multi-Agent Collaborative Perception with Parameter-Efficient Fine-Tuning
di: Wei, Quanmin, et al.
Pubblicazione: (2025)
di: Wei, Quanmin, et al.
Pubblicazione: (2025)
D$^{2}$MoE: Dual Routing and Dynamic Scheduling for Efficient On-Device MoE-based LLM Serving
di: Wang, Haodong, et al.
Pubblicazione: (2025)
di: Wang, Haodong, et al.
Pubblicazione: (2025)
ECG-MoE: Mixture-of-Expert Electrocardiogram Foundation Model
di: Xu, Yuhao, et al.
Pubblicazione: (2026)
di: Xu, Yuhao, et al.
Pubblicazione: (2026)
LSH-MoE: Communication-efficient MoE Training via Locality-Sensitive Hashing
di: Nie, Xiaonan, et al.
Pubblicazione: (2024)
di: Nie, Xiaonan, et al.
Pubblicazione: (2024)
Pragmatic Heterogeneous Collaborative Perception via Generative Communication Mechanism
di: Zhou, Junfei, et al.
Pubblicazione: (2025)
di: Zhou, Junfei, et al.
Pubblicazione: (2025)
CoX-MoE: Coalesced Expert Execution for High-Throughput MoE Inference with AMX-Enabled CPU-GPU Co-Execution
di: Son, Muyoung, et al.
Pubblicazione: (2026)
di: Son, Muyoung, et al.
Pubblicazione: (2026)
Polysemantic Experts, Monosemantic Paths: Routing as Control in MoEs
di: Ye, Charles, et al.
Pubblicazione: (2026)
di: Ye, Charles, et al.
Pubblicazione: (2026)
ExpertFlow: Adaptive Expert Scheduling and Memory Coordination for Efficient MoE Inference
di: Shen, Zixu, et al.
Pubblicazione: (2025)
di: Shen, Zixu, et al.
Pubblicazione: (2025)
BIG-MoE: Bypass Isolated Gating MoE for Generalized Multimodal Face Anti-Spoofing
di: Ma, Yingjie, et al.
Pubblicazione: (2024)
di: Ma, Yingjie, et al.
Pubblicazione: (2024)
Grove MoE: Towards Efficient and Superior MoE LLMs with Adjugate Experts
di: Wu, Haoyuan, et al.
Pubblicazione: (2025)
di: Wu, Haoyuan, et al.
Pubblicazione: (2025)
GazeFormer-MoE: Context-Aware Gaze Estimation via CLIP and MoE Transformer
di: Zhao, Xinyuan, et al.
Pubblicazione: (2026)
di: Zhao, Xinyuan, et al.
Pubblicazione: (2026)
pFedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning
di: Yi, Liping, et al.
Pubblicazione: (2024)
di: Yi, Liping, et al.
Pubblicazione: (2024)
CoMoE: Collaborative Optimization of Expert Aggregation and Offloading for MoE-based LLMs at Edge
di: Li, Muqing, et al.
Pubblicazione: (2025)
di: Li, Muqing, et al.
Pubblicazione: (2025)
Pangu Ultra MoE: How to Train Your Big MoE on Ascend NPUs
di: Tang, Yehui, et al.
Pubblicazione: (2025)
di: Tang, Yehui, et al.
Pubblicazione: (2025)
MESA: Improving MoE Safety Alignment via Decentralized Expertise
di: Sun, Yitong, et al.
Pubblicazione: (2026)
di: Sun, Yitong, et al.
Pubblicazione: (2026)
Dual-Stage Reweighted MoE for Long-Tailed Egocentric Mistake Detection
di: Han, Boyu, et al.
Pubblicazione: (2025)
di: Han, Boyu, et al.
Pubblicazione: (2025)
CoRe-Fed: Bridging Collaborative and Representation Fairness via Federated Embedding Distillation
di: Mukhtiar, Noorain, et al.
Pubblicazione: (2026)
di: Mukhtiar, Noorain, et al.
Pubblicazione: (2026)
MoE-Prefill: Zero Redundancy Overheads in MoE Prefill Serving
di: Su, Zhaoyuan, et al.
Pubblicazione: (2026)
di: Su, Zhaoyuan, et al.
Pubblicazione: (2026)
MoE-PHDS: One MoE checkpoint for flexible runtime sparsity
di: Hannah, Lauren. A, et al.
Pubblicazione: (2025)
di: Hannah, Lauren. A, et al.
Pubblicazione: (2025)
ViBE: Co-Optimizing Workload Skew and Hardware Variability for MoE Serving
di: Go, Seokjin, et al.
Pubblicazione: (2026)
di: Go, Seokjin, et al.
Pubblicazione: (2026)
FedKPer: Tackling Generalization and Personalization in Medical Federated Learning via Knowledge Personalization
di: Fowler, Zoe, et al.
Pubblicazione: (2026)
di: Fowler, Zoe, et al.
Pubblicazione: (2026)
Dirichlet-Prior Shaping: Guiding Expert Specialization in Upcycled MoEs
di: Mirvakhabova, Leyla, et al.
Pubblicazione: (2025)
di: Mirvakhabova, Leyla, et al.
Pubblicazione: (2025)
MergeME: Model Merging Techniques for Homogeneous and Heterogeneous MoEs
di: Zhou, Yuhang, et al.
Pubblicazione: (2025)
di: Zhou, Yuhang, et al.
Pubblicazione: (2025)
Continual Pre-training of MoEs: How robust is your router?
di: Thérien, Benjamin, et al.
Pubblicazione: (2025)
di: Thérien, Benjamin, et al.
Pubblicazione: (2025)
MoE-Gen: High-Throughput MoE Inference on a Single GPU with Module-Based Batching
di: Xu, Tairan, et al.
Pubblicazione: (2025)
di: Xu, Tairan, et al.
Pubblicazione: (2025)
Documenti analoghi
-
AutoMCU: Feasibility-First MCU Neural Network Customization via LLM-based Multi-Agent Systems
di: Dai, Penglin, et al.
Pubblicazione: (2026) -
FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts
di: Mei, Hanzi, et al.
Pubblicazione: (2024) -
DualFed: Enjoying both Generalization and Personalization in Federated Learning via Hierachical Representations
di: Zhu, Guogang, et al.
Pubblicazione: (2024) -
FFT-MoE: Efficient Federated Fine-Tuning for Foundation Models via Large-scale Sparse MoE under Heterogeneous Edge
di: Hu, Gang, et al.
Pubblicazione: (2025) -
Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs
di: Li, Bo, et al.
Pubblicazione: (2026)