Buchumschlag

When Shared Knowledge Hurts: Spectral Over-Accumulation in Model Merging

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Yayuan, Peng, Ze, Zhang, Jian, Guo, Jintao, Duan, Yue, Shi, Yinghuan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MAGIC: Achieving Superior Model Merging via Magnitude Calibration
von: Li, Yayuan, et al.
Veröffentlicht: (2025)

Text and Image Are Mutually Beneficial: Enhancing Training-Free Few-Shot Classification with CLIP
von: Li, Yayuan, et al.
Veröffentlicht: (2024)

When RAG Hurts: Diagnosing and Mitigating Attention Distraction in Retrieval-Augmented LVLMs
von: Zhao, Beidi, et al.
Veröffentlicht: (2026)

Reasoning Can Hurt the Inductive Abilities of Large Language Models
von: Jin, Haibo, et al.
Veröffentlicht: (2025)

START: A Generalized State Space Model with Saliency-Driven Token-Aware Transformation
von: Guo, Jintao, et al.
Veröffentlicht: (2024)

When to Think and When to Look: Uncertainty-Guided Lookback
von: Bi, Jing, et al.
Veröffentlicht: (2025)

SETA: Semantic-Aware Token Augmentation for Domain Generalization
von: Guo, Jintao, et al.
Veröffentlicht: (2024)

Learning Generalizable Models via Disentangling Spurious and Enhancing Potential Correlations
von: Wang, Na, et al.
Veröffentlicht: (2024)

Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage and Sharing in LLMs
von: Li, Yunxin, et al.
Veröffentlicht: (2023)

Parameter Competition Balancing for Model Merging
von: Du, Guodong, et al.
Veröffentlicht: (2024)

How to Merge Your Multimodal Models Over Time?
von: Dziadzio, Sebastian, et al.
Veröffentlicht: (2024)

Duala: Dual-Level Alignment of Subjects and Stimuli for Cross-Subject fMRI Decoding
von: Li, Shumeng, et al.
Veröffentlicht: (2026)

One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination
von: Fa, Zhan, et al.
Veröffentlicht: (2026)

Taste More, Taste Better: Diverse Data and Strong Model Boost Semi-Supervised Crowd Counting
von: Yang, Maochen, et al.
Veröffentlicht: (2025)

Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models
von: Yang, Yuncheng, et al.
Veröffentlicht: (2024)

VisCodex: Unified Multimodal Code Generation via Merging Vision and Coding Models
von: Jiang, Lingjie, et al.
Veröffentlicht: (2025)

LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models
von: Shang, Yuzhang, et al.
Veröffentlicht: (2024)

When and How Much to Imagine: Adaptive Test-Time Scaling with World Models for Visual Spatial Reasoning
von: Yu, Shoubin, et al.
Veröffentlicht: (2026)

Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities
von: Yang, Enneng, et al.
Veröffentlicht: (2024)

R1-ShareVL: Incentivizing Reasoning Capability of Multimodal Large Language Models via Share-GRPO
von: Yao, Huanjin, et al.
Veröffentlicht: (2025)

Geometry without Position? When Positional Embeddings Help and Hurt Spatial Reasoning
von: Shi, Jian, et al.
Veröffentlicht: (2026)

Large Language Models can Share Images, Too!
von: Lee, Young-Jun, et al.
Veröffentlicht: (2023)

Evolutionary Negative Module Pruning for Better LoRA Merging
von: Cao, Anda, et al.
Veröffentlicht: (2026)

Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)?
von: Zhang, Yue, et al.
Veröffentlicht: (2026)

Resolving Interference (RI): Disentangling Models for Improved Model Merging
von: Ramesh, Pratik, et al.
Veröffentlicht: (2026)

AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning
von: Zhong, Yiwu, et al.
Veröffentlicht: (2024)

Mamba-Sea: A Mamba-based Framework with Global-to-Local Sequence Augmentation for Generalizable Medical Image Segmentation
von: Cheng, Zihan, et al.
Veröffentlicht: (2025)

Can Video Large Multimodal Models Think Like Doubters-or Double-Down: A Study on Defeasible Video Entailment
von: Zhang, Yue, et al.
Veröffentlicht: (2025)

Towards Reversible Model Merging For Low-rank Weights
von: Alipour, Mohammadsajad, et al.
Veröffentlicht: (2025)

Do We Really Need External Tools to Mitigate Hallucinations? SIRA: Shared-Prefix Internal Reconstruction of Attribution
von: Qin, Tian, et al.
Veröffentlicht: (2026)

Overview of the NLPCC 2025 Shared Task 4: Multi-modal, Multilingual, and Multi-hop Medical Instructional Video Question Answering Challenge
von: Li, Bin, et al.
Veröffentlicht: (2025)

InternAgent: When Agent Becomes the Scientist -- Building Closed-Loop System from Hypothesis to Verification
von: InternAgent Team, et al.
Veröffentlicht: (2025)

Uncovering Knowledge Gaps in Radiology Report Generation Models through Knowledge Graphs
von: Zhang, Xiaoman, et al.
Veröffentlicht: (2024)

KARL: Knowledge-Aware Reasoning and Reinforcement Learning for Knowledge-Intensive Visual Grounding
von: Ma, Xinyu, et al.
Veröffentlicht: (2025)

FlowCut: Rethinking Redundancy via Information Flow for Efficient Vision-Language Models
von: Tong, Jintao, et al.
Veröffentlicht: (2025)

Reasoning Resides in Layers: Restoring Temporal Reasoning in Video-Language Models with Layer-Selective Merging
von: Fu, Zihang, et al.
Veröffentlicht: (2026)

Updating CLIP to Prefer Descriptions Over Captions
von: Zur, Amir, et al.
Veröffentlicht: (2024)

Caption First, VQA Second: Knowledge Density, Not Task Format, Drives Multimodal Scaling
von: Zou, Hongjian, et al.
Veröffentlicht: (2026)

Preserving Knowledge in Large Language Model with Model-Agnostic Self-Decompression
von: Zhang, Zilun, et al.
Veröffentlicht: (2024)

Transferring Textual Preferences to Vision-Language Understanding through Model Merging
von: Li, Chen-An, et al.
Veröffentlicht: (2025)