Buchumschlag

Fine-Grained Model Merging via Modular Expert Recombination

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Qiu, Haiyun, Wu, Xingyu, Feng, Liang, Tan, Kay Chen
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Towards Adaptive Continual Model Merging via Manifold-Aware Expert Evolution
von: Qiu, Haiyun, et al.
Veröffentlicht: (2026)

HM3: Hierarchical Multi-Objective Model Merging for Pretrained Models
von: Zhou, Yu, et al.
Veröffentlicht: (2024)

Design Principle Transfer in Neural Architecture Search via Large Language Models
von: Zhou, Xun, et al.
Veröffentlicht: (2024)

Expert Merging: Model Merging with Unsupervised Expert Alignment and Importance-Guided Layer Chunking
von: Zhang, Dengming, et al.
Veröffentlicht: (2025)

FRISM: Fine-Grained Reasoning Injection via Subspace-Level Model Merging for Vision-Language Models
von: Huang, Chenyu, et al.
Veröffentlicht: (2026)

Train Separately, Merge Together: Modular Post-Training with Mixture-of-Experts
von: Morrison, Jacob, et al.
Veröffentlicht: (2026)

Structural Priors and Modular Adapters in the Composable Fine-Tuning Algorithm of Large-Scale Models
von: Wang, Yuxiao, et al.
Veröffentlicht: (2025)

CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs
von: Zhou, Yu, et al.
Veröffentlicht: (2024)

RainSeer: Fine-Grained Rainfall Reconstruction via Physics-Guided Modeling
von: Chen, Lin, et al.
Veröffentlicht: (2025)

Expert Merging in Sparse Mixture of Experts with Nash Bargaining
von: Nguyen, Dung V., et al.
Veröffentlicht: (2025)

Diversity-Aware Policy Optimization for Large Language Model Reasoning
von: Yao, Jian, et al.
Veröffentlicht: (2025)

MergeMoE: Efficient Compression of MoE Models via Expert Output Merging
von: Miao, Ruijie, et al.
Veröffentlicht: (2025)

CAMEx: Curvature-aware Merging of Experts
von: Nguyen, Dung V., et al.
Veröffentlicht: (2025)

LLM Cannot Discover Causality, and Should Be Restricted to Non-Decisional Support in Causal Discovery
von: Wu, Xingyu, et al.
Veröffentlicht: (2025)

Twin-Merging: Dynamic Integration of Modular Expertise in Model Merging
von: Lu, Zhenyi, et al.
Veröffentlicht: (2024)

Vanishing Feature: Diagnosing Model Merging and Beyond
von: Qu, Xingyu, et al.
Veröffentlicht: (2024)

Certain Head, Uncertain Tail: Expert-Sample for Test-Time Scaling in Fine-Grained MoE
von: Chen, Yuanteng, et al.
Veröffentlicht: (2026)

Large Language Model-Enhanced Algorithm Selection: Towards Comprehensive Algorithm Representation
von: Wu, Xingyu, et al.
Veröffentlicht: (2023)

Learning More Generalized Experts by Merging Experts in Mixture-of-Experts
von: Park, Sejik
Veröffentlicht: (2024)

Modular Diffusion Policy Training: Decoupling and Recombining Guidance and Diffusion for Offline RL
von: Chen, Zhaoyang, et al.
Veröffentlicht: (2025)

MIN-Merging: Merge the Important Neurons for Model Merging
von: Liang, Yunfei
Veröffentlicht: (2025)

FedMerge: Federated Personalization via Model Merging
von: Chen, Shutong, et al.
Veröffentlicht: (2025)

Why Do More Experts Fail? A Theoretical Analysis of Model Merging
von: Wang, Zijing, et al.
Veröffentlicht: (2025)

Sub-MoE: Efficient Mixture-of-Expert LLMs Compression via Subspace Expert Merging
von: Li, Lujun, et al.
Veröffentlicht: (2025)

How Multimodal Integration Boost the Performance of LLM for Optimization: Case Study on Capacitated Vehicle Routing Problems
von: Huang, Yuxiao, et al.
Veröffentlicht: (2024)

Soft Merging of Experts with Adaptive Routing
von: Muqeeth, Mohammed, et al.
Veröffentlicht: (2023)

CRAFT: Fine-Grained Cost-Aware Expert Replication For Efficient Mixture-of-Experts Serving
von: Zhao, Adrian, et al.
Veröffentlicht: (2026)

Scaling Laws for Fine-Grained Mixture of Experts
von: Krajewski, Jakub, et al.
Veröffentlicht: (2024)

Channel Merging: Preserving Specialization for Merged Experts
von: Zhang, Mingyang, et al.
Veröffentlicht: (2024)

MINGLE: Mixture of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging
von: Qiu, Zihuan, et al.
Veröffentlicht: (2025)

Merging Multi-Task Models via Weight-Ensembling Mixture of Experts
von: Tang, Anke, et al.
Veröffentlicht: (2024)

Unlock the Power of Algorithm Features: A Generalization Analysis for Algorithm Selection
von: Wu, Xingyu, et al.
Veröffentlicht: (2024)

Local Mixtures of Experts: Essentially Free Test-Time Training via Model Merging
von: Bertolissi, Ryo, et al.
Veröffentlicht: (2025)

Superpose Task-specific Features for Model Merging
von: Qiu, Haiquan, et al.
Veröffentlicht: (2025)

CoMoE: Contrastive Representation for Mixture-of-Experts in Parameter-Efficient Fine-tuning
von: Feng, Jinyuan, et al.
Veröffentlicht: (2025)

SFMP: Fine-Grained, Hardware-Friendly and Search-Free Mixed-Precision Quantization for Large Language Models
von: Nie, Xin, et al.
Veröffentlicht: (2026)

PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference
von: Zhao, Yushu, et al.
Veröffentlicht: (2025)

Upcycling Instruction Tuning from Dense to Mixture-of-Experts via Parameter Merging
von: Hui, Tingfeng, et al.
Veröffentlicht: (2024)

Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging
von: Wang, Yuanyi, et al.
Veröffentlicht: (2026)

Fine, I'll Merge It Myself: A Multi-Fidelity Framework for Automated Model Merging
von: Su, Guinan, et al.
Veröffentlicht: (2025)