Buchumschlag

Task Arithmetic in Trust Region: A Training-Free Model Merging Approach to Navigate Knowledge Conflicts

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, Wenju, Li, Qingyong, Wang, Wen, Geng, Yangli-ao, Li, Boyang
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CAT Merging: A Training-Free Approach for Resolving Conflicts in Model Merging
von: Sun, Wenju, et al.
Veröffentlicht: (2025)

Towards Minimizing Feature Drift in Model Merging: Layer-wise Task Vector Fusion for Adaptive Knowledge Integration
von: Sun, Wenju, et al.
Veröffentlicht: (2025)

Extending Precipitation Nowcasting Horizons via Spectral Fusion of Radar Observations and Foundation Model Priors
von: Qin, Yuze, et al.
Veröffentlicht: (2026)

Exemplar-free Class Incremental Learning via Discriminative and Comparable One-class Classifiers
von: Sun, Wenju, et al.
Veröffentlicht: (2022)

Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging
von: Sun, Wenju, et al.
Veröffentlicht: (2023)

MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities
von: Li, Kunxi, et al.
Veröffentlicht: (2024)

Training-free Heterogeneous Model Merging
von: Xu, Zhengqi, et al.
Veröffentlicht: (2024)

Model Merging in the Essential Subspace
von: Li, Longhua, et al.
Veröffentlicht: (2026)

CABS: Conflict-Aware and Balanced Sparsification for Enhancing Model Merging
von: Yang, Zongzhen, et al.
Veröffentlicht: (2025)

PM-MOE: Mixture of Experts on Private Model Parameters for Personalized Federated Learning
von: Feng, Yu, et al.
Veröffentlicht: (2025)

A Training Data Recipe to Accelerate A* Search with Language Models
von: Gupta, Devaansh, et al.
Veröffentlicht: (2024)

Signal-Adaptive Trust Regions for Gradient-Free Optimization of Recurrent Spiking Neural Networks
von: Li, Jinhao, et al.
Veröffentlicht: (2026)

Superpose Task-specific Features for Model Merging
von: Qiu, Haiquan, et al.
Veröffentlicht: (2025)

CATA: Continual Machine Unlearning via Conflict-Averse Task Arithmetic
von: Lin, Shen, et al.
Veröffentlicht: (2026)

Efficient Training of Large-Scale AI Models Through Federated Mixture-of-Experts: A System-Level Approach
von: Chen, Xiaobing, et al.
Veröffentlicht: (2025)

Local Mixtures of Experts: Essentially Free Test-Time Training via Model Merging
von: Bertolissi, Ryo, et al.
Veröffentlicht: (2025)

Model Merging for Knowledge Editing
von: Fu, Zichuan, et al.
Veröffentlicht: (2025)

DQT: Dynamic Quantization Training via Dequantization-Free Nested Integer Arithmetic
von: Shalby, Hazem Hesham Yousef, et al.
Veröffentlicht: (2025)

Language Models Do Hard Arithmetic Tasks Easily and Hardly Do Easy Arithmetic Tasks
von: Gambardella, Andrew, et al.
Veröffentlicht: (2024)

MergeMix: Optimizing Mid-Training Data Mixtures via Learnable Model Merging
von: Wang, Jiapeng, et al.
Veröffentlicht: (2026)

Bayesian Model Merging
von: Li, Kaiyang, et al.
Veröffentlicht: (2026)

Model Merging via Multi-Teacher Knowledge Distillation
von: Dalili, Seyed Arshan, et al.
Veröffentlicht: (2025)

ARM: Role-Conditioned Neuron Transplantation for Training-Free Generalist LLM Agent Merging
von: Feng, Zhuoka, et al.
Veröffentlicht: (2026)

Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
von: Xu, Xingcheng, et al.
Veröffentlicht: (2024)

TrasMuon: Trust-Region Adaptive Scaling for Orthogonalized Momentum Optimizers
von: Cheng, Peng, et al.
Veröffentlicht: (2026)

A Model Can Help Itself: Reward-Free Self-Training for LLM Reasoning
von: Li, Mengqi, et al.
Veröffentlicht: (2025)

FreeGAD: A Training-Free yet Effective Approach for Graph Anomaly Detection
von: Zhao, Yunfeng, et al.
Veröffentlicht: (2025)

Multi-Level Collaboration in Model Merging
von: Li, Qi, et al.
Veröffentlicht: (2025)

Task-Oriented GNNs Training on Large Knowledge Graphs for Accurate and Efficient Modeling
von: Abdallah, Hussein, et al.
Veröffentlicht: (2024)

Benchmarking Multimodal Knowledge Conflict for Large Multimodal Models
von: Jia, Yifan, et al.
Veröffentlicht: (2025)

MIN-Merging: Merge the Important Neurons for Model Merging
von: Liang, Yunfei
Veröffentlicht: (2025)

Toward a Holistic Approach to Continual Model Merging
von: Phan, Hoang, et al.
Veröffentlicht: (2025)

Merging Smarter, Generalizing Better: Enhancing Model Merging on OOD Data
von: Zhang, Bingjie, et al.
Veröffentlicht: (2025)

Representation Surgery for Multi-Task Model Merging
von: Yang, Enneng, et al.
Veröffentlicht: (2024)

Conflict-Aware Adversarial Training
von: Xue, Zhiyu, et al.
Veröffentlicht: (2024)

APAR: Modeling Irregular Target Functions in Tabular Regression via Arithmetic-Aware Pre-Training and Adaptive-Regularized Fine-Tuning
von: Wu, Hong-Wei, et al.
Veröffentlicht: (2024)

Trust Regions Sell, But Who's Buying? Overlap Geometry as an Alternative Trust Region for Policy Optimization
von: Trivedi, Gaurish, et al.
Veröffentlicht: (2026)

Provable In-Context Vector Arithmetic via Retrieving Task Concepts
von: Bu, Dake, et al.
Veröffentlicht: (2025)

xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein
von: Chen, Bo, et al.
Veröffentlicht: (2024)

Task-Stratified Knowledge Scaling Laws for Post-Training Quantized Large Language Models
von: Zhou, Chenxi, et al.
Veröffentlicht: (2025)