Localize-and-Stitch: Efficient Model Merging via Sparse Task Arithmetic
Fuente:
arXiv
Salvato in:
| Autori principali: | He, Yifei, Hu, Yuzheng, Lin, Yong, Zhang, Tong, Zhao, Han |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Multi-Task Model Merging via Adaptive Weight Disentanglement
di: Xiong, Feng, et al.
Pubblicazione: (2024)
di: Xiong, Feng, et al.
Pubblicazione: (2024)
Efficient Model Editing with Task-Localized Sparse Fine-tuning
di: Iurada, Leonardo, et al.
Pubblicazione: (2025)
di: Iurada, Leonardo, et al.
Pubblicazione: (2025)
ZJUKLAB at SemEval-2025 Task 4: Unlearning via Model Merging
di: Xu, Haoming, et al.
Pubblicazione: (2025)
di: Xu, Haoming, et al.
Pubblicazione: (2025)
Parameter Competition Balancing for Model Merging
di: Du, Guodong, et al.
Pubblicazione: (2024)
di: Du, Guodong, et al.
Pubblicazione: (2024)
TASO: Task-Aligned Sparse Optimization for Parameter-Efficient Model Adaptation
di: Miao, Daiye, et al.
Pubblicazione: (2025)
di: Miao, Daiye, et al.
Pubblicazione: (2025)
Efficient Stitchable Task Adaptation
di: He, Haoyu, et al.
Pubblicazione: (2023)
di: He, Haoyu, et al.
Pubblicazione: (2023)
BYOM: Building Your Own Multi-Task Model For Free
di: Jiang, Weisen, et al.
Pubblicazione: (2023)
di: Jiang, Weisen, et al.
Pubblicazione: (2023)
DC-Merge: Improving Model Merging with Directional Consistency
di: Zhang, Han-Chen, et al.
Pubblicazione: (2026)
di: Zhang, Han-Chen, et al.
Pubblicazione: (2026)
Merging Multi-Task Models via Weight-Ensembling Mixture of Experts
di: Tang, Anke, et al.
Pubblicazione: (2024)
di: Tang, Anke, et al.
Pubblicazione: (2024)
Transferring Textual Preferences to Vision-Language Understanding through Model Merging
di: Li, Chen-An, et al.
Pubblicazione: (2025)
di: Li, Chen-An, et al.
Pubblicazione: (2025)
Realistic Evaluation of Model Merging for Compositional Generalization
di: Tam, Derek, et al.
Pubblicazione: (2024)
di: Tam, Derek, et al.
Pubblicazione: (2024)
Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging
di: Shen, Li, et al.
Pubblicazione: (2024)
di: Shen, Li, et al.
Pubblicazione: (2024)
Localizing Task Information for Improved Model Merging and Compression
di: Wang, Ke, et al.
Pubblicazione: (2024)
di: Wang, Ke, et al.
Pubblicazione: (2024)
MAGIC: Achieving Superior Model Merging via Magnitude Calibration
di: Li, Yayuan, et al.
Pubblicazione: (2025)
di: Li, Yayuan, et al.
Pubblicazione: (2025)
How to Merge Your Multimodal Models Over Time?
di: Dziadzio, Sebastian, et al.
Pubblicazione: (2024)
di: Dziadzio, Sebastian, et al.
Pubblicazione: (2024)
White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?
di: Yu, Yaodong, et al.
Pubblicazione: (2023)
di: Yu, Yaodong, et al.
Pubblicazione: (2023)
The Instinctive Bias: Spurious Images lead to Illusion in MLLMs
di: Han, Tianyang, et al.
Pubblicazione: (2024)
di: Han, Tianyang, et al.
Pubblicazione: (2024)
Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging
di: Guo, Kuangpu, et al.
Pubblicazione: (2025)
di: Guo, Kuangpu, et al.
Pubblicazione: (2025)
Steering LVLMs via Sparse Autoencoder for Hallucination Mitigation
di: Hua, Zhenglin, et al.
Pubblicazione: (2025)
di: Hua, Zhenglin, et al.
Pubblicazione: (2025)
FlashVID: Efficient Video Large Language Models via Training-free Tree-based Spatiotemporal Token Merging
di: Fan, Ziyang, et al.
Pubblicazione: (2026)
di: Fan, Ziyang, et al.
Pubblicazione: (2026)
Exploring Model Kinship for Merging Large Language Models
di: Hu, Yedi, et al.
Pubblicazione: (2024)
di: Hu, Yedi, et al.
Pubblicazione: (2024)
EMR-Merging: Tuning-Free High-Performance Model Merging
di: Huang, Chenyu, et al.
Pubblicazione: (2024)
di: Huang, Chenyu, et al.
Pubblicazione: (2024)
Efficient Vision-Language Reasoning via Adaptive Token Pruning
di: Li, Xue, et al.
Pubblicazione: (2025)
di: Li, Xue, et al.
Pubblicazione: (2025)
Task-Specific Directions: Definition, Exploration, and Utilization in Parameter Efficient Fine-Tuning
di: Si, Chongjie, et al.
Pubblicazione: (2024)
di: Si, Chongjie, et al.
Pubblicazione: (2024)
Beyond Adapter Retrieval: Latent Geometry-Preserving Composition via Sparse Task Projection
di: Jin, Pengfei, et al.
Pubblicazione: (2024)
di: Jin, Pengfei, et al.
Pubblicazione: (2024)
D$^{3}$ToM: Decider-Guided Dynamic Token Merging for Accelerating Diffusion MLLMs
di: Chang, Shuochen, et al.
Pubblicazione: (2025)
di: Chang, Shuochen, et al.
Pubblicazione: (2025)
T$^3$Bench: Benchmarking Current Progress in Text-to-3D Generation
di: He, Yuze, et al.
Pubblicazione: (2023)
di: He, Yuze, et al.
Pubblicazione: (2023)
AdaMerging: Adaptive Model Merging for Multi-Task Learning
di: Yang, Enneng, et al.
Pubblicazione: (2023)
di: Yang, Enneng, et al.
Pubblicazione: (2023)
Towards Efficient Large Vision-Language Models: A Comprehensive Survey on Inference Strategies
di: Pathak, Surendra, et al.
Pubblicazione: (2026)
di: Pathak, Surendra, et al.
Pubblicazione: (2026)
T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with Trajectory Stitching
di: Pan, Zizheng, et al.
Pubblicazione: (2024)
di: Pan, Zizheng, et al.
Pubblicazione: (2024)
Video-Text Dataset Construction from Multi-AI Feedback: Promoting Weak-to-Strong Preference Learning for Video Large Language Models
di: Yi, Hao, et al.
Pubblicazione: (2024)
di: Yi, Hao, et al.
Pubblicazione: (2024)
Sign Stitching: A Novel Approach to Sign Language Production
di: Walsh, Harry, et al.
Pubblicazione: (2024)
di: Walsh, Harry, et al.
Pubblicazione: (2024)
DAM: Dynamic Adapter Merging for Continual Video QA Learning
di: Cheng, Feng, et al.
Pubblicazione: (2024)
di: Cheng, Feng, et al.
Pubblicazione: (2024)
Dynamic-LLaVA: Efficient Multimodal Large Language Models via Dynamic Vision-language Context Sparsification
di: Huang, Wenxuan, et al.
Pubblicazione: (2024)
di: Huang, Wenxuan, et al.
Pubblicazione: (2024)
LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models
di: Shang, Yuzhang, et al.
Pubblicazione: (2024)
di: Shang, Yuzhang, et al.
Pubblicazione: (2024)
InfoMerge: Information-aware Token Compression for Efficient Video Large Language Models
di: Liu, Xinxin, et al.
Pubblicazione: (2026)
di: Liu, Xinxin, et al.
Pubblicazione: (2026)
POSESTITCH-SLT: Linguistically Inspired Pose-Stitching for End-to-End Sign Language Translation
di: Joshi, Abhinav, et al.
Pubblicazione: (2025)
di: Joshi, Abhinav, et al.
Pubblicazione: (2025)
When Shared Knowledge Hurts: Spectral Over-Accumulation in Model Merging
di: Li, Yayuan, et al.
Pubblicazione: (2026)
di: Li, Yayuan, et al.
Pubblicazione: (2026)
Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities
di: Yang, Enneng, et al.
Pubblicazione: (2024)
di: Yang, Enneng, et al.
Pubblicazione: (2024)
Resolving Interference (RI): Disentangling Models for Improved Model Merging
di: Ramesh, Pratik, et al.
Pubblicazione: (2026)
di: Ramesh, Pratik, et al.
Pubblicazione: (2026)
Documenti analoghi
-
Multi-Task Model Merging via Adaptive Weight Disentanglement
di: Xiong, Feng, et al.
Pubblicazione: (2024) -
Efficient Model Editing with Task-Localized Sparse Fine-tuning
di: Iurada, Leonardo, et al.
Pubblicazione: (2025) -
ZJUKLAB at SemEval-2025 Task 4: Unlearning via Model Merging
di: Xu, Haoming, et al.
Pubblicazione: (2025) -
Parameter Competition Balancing for Model Merging
di: Du, Guodong, et al.
Pubblicazione: (2024) -
TASO: Task-Aligned Sparse Optimization for Parameter-Efficient Model Adaptation
di: Miao, Daiye, et al.
Pubblicazione: (2025)