Buchumschlag

Expert Merging: Model Merging with Unsupervised Expert Alignment and Importance-Guided Layer Chunking

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Dengming, Ma, Xiaowen, Ni, Zhenliang, Wu, Zhenkai, Shu, Han, Jiang, Xin, Chen, Xinghao
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

VLM-Pruner: Buffering for Spatial Sparsity in an Efficient VLM Centrifugal Token Pruning Paradigm
von: Wu, Zhenkai, et al.
Veröffentlicht: (2025)

Ada-MoGE: Adaptive Mixture of Gaussian Expert Model for Time Series Forecasting
von: Ni, Zhenliang, et al.
Veröffentlicht: (2025)

TimePro: Efficient Multivariate Long-term Time Series Forecasting with Variable- and Time-Aware Hyper-state
von: Ma, Xiaowen, et al.
Veröffentlicht: (2025)

Expert Merging in Sparse Mixture of Experts with Nash Bargaining
von: Nguyen, Dung V., et al.
Veröffentlicht: (2025)

Channel Merging: Preserving Specialization for Merged Experts
von: Zhang, Mingyang, et al.
Veröffentlicht: (2024)

Learning More Generalized Experts by Merging Experts in Mixture-of-Experts
von: Park, Sejik
Veröffentlicht: (2024)

Fine-Grained Model Merging via Modular Expert Recombination
von: Qiu, Haiyun, et al.
Veröffentlicht: (2026)

CAMEx: Curvature-aware Merging of Experts
von: Nguyen, Dung V., et al.
Veröffentlicht: (2025)

Soft Merging of Experts with Adaptive Routing
von: Muqeeth, Mohammed, et al.
Veröffentlicht: (2023)

Towards Adaptive Continual Model Merging via Manifold-Aware Expert Evolution
von: Qiu, Haiyun, et al.
Veröffentlicht: (2026)

MergeMoE: Efficient Compression of MoE Models via Expert Output Merging
von: Miao, Ruijie, et al.
Veröffentlicht: (2025)

Sub-MoE: Efficient Mixture-of-Expert LLMs Compression via Subspace Expert Merging
von: Li, Lujun, et al.
Veröffentlicht: (2025)

Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation
von: Xie, Guofu, et al.
Veröffentlicht: (2025)

Why Do More Experts Fail? A Theoretical Analysis of Model Merging
von: Wang, Zijing, et al.
Veröffentlicht: (2025)

FedMerge: Federated Personalization via Model Merging
von: Chen, Shutong, et al.
Veröffentlicht: (2025)

Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts
von: Arnob, Samin Yeasar, et al.
Veröffentlicht: (2025)

Rethinking Layer-wise Model Merging through Chain of Merges
von: Buzzega, Pietro, et al.
Veröffentlicht: (2025)

REAM: Merging Improves Pruning of Experts in LLMs
von: Jha, Saurav, et al.
Veröffentlicht: (2026)

Merging Multi-Task Models via Weight-Ensembling Mixture of Experts
von: Tang, Anke, et al.
Veröffentlicht: (2024)

Faster, Smaller, and Smarter: Task-Aware Expert Merging for Online MoE Inference
von: Han, Ziyi, et al.
Veröffentlicht: (2025)

Train Separately, Merge Together: Modular Post-Training with Mixture-of-Experts
von: Morrison, Jacob, et al.
Veröffentlicht: (2026)

Trade-offs in Ensembling, Merging and Routing Among Parameter-Efficient Experts
von: Lotfi, Sanae, et al.
Veröffentlicht: (2026)

Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging
von: Wang, Yuanyi, et al.
Veröffentlicht: (2026)

PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference
von: Zhao, Yushu, et al.
Veröffentlicht: (2025)

SyMerge: From Non-Interference to Synergistic Merging via Single-Layer Adaptation
von: Jung, Aecheon, et al.
Veröffentlicht: (2024)

Upcycling Instruction Tuning from Dense to Mixture-of-Experts via Parameter Merging
von: Hui, Tingfeng, et al.
Veröffentlicht: (2024)

Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging
von: Shen, Li, et al.
Veröffentlicht: (2024)

BD-Merging: Bias-Aware Dynamic Model Merging with Evidence-Guided Contrastive Learning
von: Xie, Yuhan, et al.
Veröffentlicht: (2026)

DC-Merge: Improving Model Merging with Directional Consistency
von: Zhang, Han-Chen, et al.
Veröffentlicht: (2026)

Local Mixtures of Experts: Essentially Free Test-Time Training via Model Merging
von: Bertolissi, Ryo, et al.
Veröffentlicht: (2025)

Breaking the Likelihood-Quality Trade-off in Diffusion Models by Merging Pretrained Experts
von: Esfandiari, Yasin, et al.
Veröffentlicht: (2025)

Scalable Model Merging with Progressive Layer-wise Distillation
von: Xu, Jing, et al.
Veröffentlicht: (2025)

TimeExpert: Boosting Long Time Series Forecasting with Temporal Mix of Experts
von: Ma, Xiaowen, et al.
Veröffentlicht: (2025)

MIN-Merging: Merge the Important Neurons for Model Merging
von: Liang, Yunfei
Veröffentlicht: (2025)

Model Assembly Learning with Heterogeneous Layer Weight Merging
von: Zhang, Yi-Kai, et al.
Veröffentlicht: (2025)

CodeMerge: Codebook-Guided Model Merging for Robust Test-Time Adaptation in Autonomous Driving
von: Yang, Huitong, et al.
Veröffentlicht: (2025)

From Coefficients to Directions: Rethinking Model Merging with Directional Alignment
von: Chen, Zhikang, et al.
Veröffentlicht: (2025)

MergeBench: A Benchmark for Merging Domain-Specialized LLMs
von: He, Yifei, et al.
Veröffentlicht: (2025)

Pareto Merging: Multi-Objective Optimization for Preference-Aware Model Merging
von: Chen, Weiyu, et al.
Veröffentlicht: (2024)

MINGLE: Mixture of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging
von: Qiu, Zihuan, et al.
Veröffentlicht: (2025)