Buchumschlag

E-PMQ: Expert-Guided Post-Merge Quantization with Merged-Weight Anchoring

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Wenjun, Gu, Yanggan, Cai, Shuo, Wang, Yuanyi, Wang, Pengkai, Wu, Jianmin, Yang, Hongxia
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FeatCal: Feature Calibration for Post-Merging Models
von: Gu, Yanggan, et al.
Veröffentlicht: (2026)

Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging
von: Wang, Yuanyi, et al.
Veröffentlicht: (2026)

MergePipe: A Budget-Aware Parameter Management System for Scalable LLM Merging
von: Wang, Yuanyi, et al.
Veröffentlicht: (2026)

PMC-InterCPT: Rethinking Biomedical Interleaved Data for Multimodal Continued Pretraining
von: Zhu, Guanghao, et al.
Veröffentlicht: (2026)

InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion
von: Wang, Yuanyi, et al.
Veröffentlicht: (2025)

InfiFPO: Implicit Model Fusion via Preference Optimization in Large Language Models
von: Gu, Yanggan, et al.
Veröffentlicht: (2025)

Model Merging Scaling Laws in Large Language Models
von: Wang, Yuanyi, et al.
Veröffentlicht: (2025)

Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training
von: Wang, Yuanyi, et al.
Veröffentlicht: (2026)

1bit-Merging: Dynamic Quantized Merging for Large Language Models
von: Liu, Shuqi, et al.
Veröffentlicht: (2025)

Unconstrained Model Merging for Enhanced LLM Reasoning
von: Zhang, Yiming, et al.
Veröffentlicht: (2024)

Channel Merging: Preserving Specialization for Merged Experts
von: Zhang, Mingyang, et al.
Veröffentlicht: (2024)

Dynamic Fisher-weighted Model Merging via Bayesian Optimization
von: Lee, Sanwoo, et al.
Veröffentlicht: (2025)

Sens-Merging: Sensitivity-Guided Parameter Balancing for Merging Large Language Models
von: Liu, Shuqi, et al.
Veröffentlicht: (2025)

Optimal Brain Iterative Merging: Mitigating Interference in LLM Merging
von: Wang, Zhixiang, et al.
Veröffentlicht: (2025)

Transport and Merge: Cross-Architecture Merging for Large Language Models
von: Cui, Chenhang, et al.
Veröffentlicht: (2026)

Model Assembly Learning with Heterogeneous Layer Weight Merging
von: Zhang, Yi-Kai, et al.
Veröffentlicht: (2025)

Extrapolation Merging: Keep Improving With Extrapolation and Merging
von: Lin, Yiguan, et al.
Veröffentlicht: (2025)

Upcycling Instruction Tuning from Dense to Mixture-of-Experts via Parameter Merging
von: Hui, Tingfeng, et al.
Veröffentlicht: (2024)

PlaM: Training-Free Plateau-Guided Model Merging for Better Visual Grounding in MLLMs
von: Wang, Zijing, et al.
Veröffentlicht: (2026)

Activation-Guided Consensus Merging for Large Language Models
von: Yao, Yuxuan, et al.
Veröffentlicht: (2025)

Multi-Task Model Merging via Adaptive Weight Disentanglement
von: Xiong, Feng, et al.
Veröffentlicht: (2024)

SuperMerge: An Approach For Gradient-Based Model Merging
von: Yang, Haoyu, et al.
Veröffentlicht: (2024)

Model Tells You Where to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks
von: Wang, Zheng, et al.
Veröffentlicht: (2024)

ACE-Merging: Data-Free Model Merging with Adaptive Covariance Estimation
von: Xu, Bo, et al.
Veröffentlicht: (2026)

High-order Joint Constituency and Dependency Parsing
von: Gu, Yanggan, et al.
Veröffentlicht: (2023)

Pruning via Merging: Compressing LLMs via Manifold Alignment Based Layer Merging
von: Liu, Deyuan, et al.
Veröffentlicht: (2024)

Model Merging for Knowledge Editing
von: Fu, Zichuan, et al.
Veröffentlicht: (2025)

CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging
von: Cao, Jie, et al.
Veröffentlicht: (2026)

RCP-Merging: Merging Long Chain-of-Thought Models with Domain-Specific Models by Considering Reasoning Capability as Prior
von: Yang, Junyao, et al.
Veröffentlicht: (2025)

Split and Merge: Aligning Position Biases in LLM-based Evaluators
von: Li, Zongjie, et al.
Veröffentlicht: (2023)

PMQ-VE: Progressive Multi-Frame Quantization for Video Enhancement
von: Feng, ZhanFeng, et al.
Veröffentlicht: (2025)

Dataless Knowledge Fusion by Merging Weights of Language Models
von: Jin, Xisen, et al.
Veröffentlicht: (2022)

REAM: Merging Improves Pruning of Experts in LLMs
von: Jha, Saurav, et al.
Veröffentlicht: (2026)

InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training
von: Wang, Pengkai, et al.
Veröffentlicht: (2025)

AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging
von: Zhao, Yiran, et al.
Veröffentlicht: (2024)

WeightedKV: Attention Scores Weighted Key-Value Cache Merging for Large Language Models
von: Yuan, Jian, et al.
Veröffentlicht: (2025)

Checkpoint Merging via Bayesian Optimization in LLM Pretraining
von: Liu, Deyuan, et al.
Veröffentlicht: (2024)

Activated Parameter Locating via Causal Intervention for Model Merging
von: Kong, Fanshuang, et al.
Veröffentlicht: (2024)

EAQuant: Enhancing Post-Training Quantization for MoE Models via Expert-Aware Optimization
von: Fu, Zhongqian, et al.
Veröffentlicht: (2025)

DELLA-Merging: Reducing Interference in Model Merging through Magnitude-Based Sampling
von: Deep, Pala Tej, et al.
Veröffentlicht: (2024)