Buchumschlag

Merging Multi-Task Models via Weight-Ensembling Mixture of Experts

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tang, Anke, Shen, Li, Luo, Yong, Yin, Nan, Zhang, Lefei, Tao, Dacheng
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging
von: Shen, Li, et al.
Veröffentlicht: (2024)

AdaMerging: Adaptive Model Merging for Multi-Task Learning
von: Yang, Enneng, et al.
Veröffentlicht: (2023)

Representation Surgery for Multi-Task Model Merging
von: Yang, Enneng, et al.
Veröffentlicht: (2024)

Multi-Task Model Merging via Adaptive Weight Disentanglement
von: Xiong, Feng, et al.
Veröffentlicht: (2024)

SurgeryV2: Bridging the Gap Between Model Merging and Multi-Task Learning with Deep Representation Surgery
von: Yang, Enneng, et al.
Veröffentlicht: (2024)

MINGLE: Mixture of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging
von: Qiu, Zihuan, et al.
Veröffentlicht: (2025)

Refining Few-Step Text-to-Multiview Diffusion via Reinforcement Learning
von: Zhang, Ziyi, et al.
Veröffentlicht: (2025)

Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts
von: Liu, Zhili, et al.
Veröffentlicht: (2024)

Localize-and-Stitch: Efficient Model Merging via Sparse Task Arithmetic
von: He, Yifei, et al.
Veröffentlicht: (2024)

Confronting Reward Overoptimization for Diffusion Models: A Perspective of Inductive and Primacy Biases
von: Zhang, Ziyi, et al.
Veröffentlicht: (2024)

Task-conditioned Ensemble of Expert Models for Continuous Learning
von: Sharma, Renu, et al.
Veröffentlicht: (2025)

Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning
von: Yang, Minghao, et al.
Veröffentlicht: (2025)

Split-Ensemble: Efficient OOD-aware Ensemble via Task and Model Splitting
von: Chen, Anthony, et al.
Veröffentlicht: (2023)

Efficient Training of Diffusion Mixture-of-Experts Models: A Practical Recipe
von: Liu, Yahui, et al.
Veröffentlicht: (2025)

Aligning Few-Step Diffusion Models with Dense Reward Difference Learning
von: Zhang, Ziyi, et al.
Veröffentlicht: (2024)

Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities
von: Yang, Enneng, et al.
Veröffentlicht: (2024)

SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models
von: Tang, Anke, et al.
Veröffentlicht: (2024)

DC-Merge: Improving Model Merging with Directional Consistency
von: Zhang, Han-Chen, et al.
Veröffentlicht: (2026)

Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging
von: Guo, Kuangpu, et al.
Veröffentlicht: (2025)

Domain-Specialized Object Detection via Model-Level Mixtures of Experts
von: Pavlitska, Svetlana, et al.
Veröffentlicht: (2026)

Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts
von: Lou, Meng, et al.
Veröffentlicht: (2026)

FRISM: Fine-Grained Reasoning Injection via Subspace-Level Model Merging for Vision-Language Models
von: Huang, Chenyu, et al.
Veröffentlicht: (2026)

Weight Weaving: Parameter Pooling for Data-Free Model Merging
von: Chaves, Levy, et al.
Veröffentlicht: (2025)

Merging without Forgetting: Continual Fusion of Task-Specific Models via Optimal Transport
von: Pan, Zecheng, et al.
Veröffentlicht: (2025)

EMoE: Eigenbasis-Guided Routing for Mixture-of-Experts
von: Cheng, Anzhe, et al.
Veröffentlicht: (2026)

Localizing Task Information for Improved Model Merging and Compression
von: Wang, Ke, et al.
Veröffentlicht: (2024)

EMR-Merging: Tuning-Free High-Performance Model Merging
von: Huang, Chenyu, et al.
Veröffentlicht: (2024)

CodeMerge: Codebook-Guided Model Merging for Robust Test-Time Adaptation in Autonomous Driving
von: Yang, Huitong, et al.
Veröffentlicht: (2025)

Mixture-of-Experts Models in Vision: Routing, Optimization, and Generalization
von: Rokah, Adam, et al.
Veröffentlicht: (2026)

MoQE: Improve Quantization Model performance via Mixture of Quantization Experts
von: Zhang, Jinhao, et al.
Veröffentlicht: (2025)

Learning on Model Weights using Tree Experts
von: Horwitz, Eliahu, et al.
Veröffentlicht: (2024)

Breaking the Likelihood-Quality Trade-off in Diffusion Models by Merging Pretrained Experts
von: Esfandiari, Yasin, et al.
Veröffentlicht: (2025)

ZipIt! Merging Models from Different Tasks without Training
von: Stoica, George, et al.
Veröffentlicht: (2023)

Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization
von: Oldfield, James, et al.
Veröffentlicht: (2024)

Stable Routing for Mixture-of-Experts in Class-Incremental Learning
von: Guo, Zirui, et al.
Veröffentlicht: (2026)

Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models
von: Luo, Jun, et al.
Veröffentlicht: (2024)

Task-Aware Multi-Expert Architecture For Lifelong Deep Learning
von: Wang, Jianyu, et al.
Veröffentlicht: (2025)

Multi-head Ensemble of Smoothed Classifiers for Certified Robustness
von: Fang, Kun, et al.
Veröffentlicht: (2022)

Video Relationship Detection Using Mixture of Experts
von: Shaabana, Ala, et al.
Veröffentlicht: (2024)

Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers
von: Pavlitska, Svetlana, et al.
Veröffentlicht: (2025)