Buchumschlag

ImPart: Importance-Aware Delta-Sparsification for Improved Model Compression and Merging in LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yang, Yan, Li, Yixia, Wang, Hongru, Wei, Xuetao, Yu, Jianqiao, Chen, Yun, Chen, Guanhua
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SeqAR: Jailbreak LLMs with Sequential Auto-Generated Characters
von: Yang, Yan, et al.
Veröffentlicht: (2024)

Enhancing Delta Compression in LLMs via SVD-based Quantization Error Minimization
von: Xiong, Boya, et al.
Veröffentlicht: (2025)

SeTAR: Out-of-Distribution Detection with Selective Low-Rank Approximation
von: Li, Yixia, et al.
Veröffentlicht: (2024)

MiLoRA: Harnessing Minor Singular Components for Parameter-Efficient LLM Finetuning
von: Wang, Hanqing, et al.
Veröffentlicht: (2024)

PACIT: Unlocking the Power of Examples for Better In-Context Instruction Tuning
von: Xue, Tianci, et al.
Veröffentlicht: (2023)

G2: Guided Generation for Enhanced Output Diversity in LLMs
von: Ruan, Zhiwen, et al.
Veröffentlicht: (2025)

Enhancing Large Language Model Reasoning via Selective Critical Token Fine-Tuning
von: Ruan, Zhiwen, et al.
Veröffentlicht: (2025)

Modeling LLM Unlearning as an Asymmetric Two-Task Learning Problem
von: Xiao, Zeguan, et al.
Veröffentlicht: (2026)

Compound-QA: A Benchmark for Evaluating LLMs on Compound Questions
von: Hou, Yutao, et al.
Veröffentlicht: (2024)

From Word to World: Can Large Language Models be Implicit Text-based World Models?
von: Li, Yixia, et al.
Veröffentlicht: (2025)

LayAlign: Enhancing Multilingual Reasoning in Large Language Models via Layer-Wise Adaptive Fusion and Alignment Strategy
von: Ruan, Zhiwen, et al.
Veröffentlicht: (2025)

Towards Fair and Comprehensive Evaluation of Routers in Collaborative LLM Systems
von: Wu, Wanxing, et al.
Veröffentlicht: (2026)

One Size Does Not Fit All: A Distribution-Aware Sparsification for More Precise Model Merging
von: Luo, Yingfeng, et al.
Veröffentlicht: (2025)

Distract Large Language Models for Automatic Jailbreak Attack
von: Xiao, Zeguan, et al.
Veröffentlicht: (2024)

Unveiling Over-Memorization in Finetuning LLMs for Reasoning Tasks
von: Ruan, Zhiwen, et al.
Veröffentlicht: (2025)

Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models
von: Ping, Bowen, et al.
Veröffentlicht: (2024)

Pruning via Merging: Compressing LLMs via Manifold Alignment Based Layer Merging
von: Liu, Deyuan, et al.
Veröffentlicht: (2024)

Enhancing Uncertainty Estimation in LLMs with Expectation of Aggregated Internal Belief
von: Xiao, Zeguan, et al.
Veröffentlicht: (2025)

VisCodex: Unified Multimodal Code Generation via Merging Vision and Coding Models
von: Jiang, Lingjie, et al.
Veröffentlicht: (2025)

Optimal Brain Restoration for Joint Quantization and Sparsification of LLMs
von: Guo, Hang, et al.
Veröffentlicht: (2025)

EMS: Adaptive Evict-then-Merge Strategy for Head-wise KV Cache Compression Based on Global-Local Importance
von: Li, Yingxin, et al.
Veröffentlicht: (2024)

Be Cautious When Merging Unfamiliar LLMs: A Phishing Model Capable of Stealing Privacy
von: Guo, Zhenyuan, et al.
Veröffentlicht: (2025)

MTA: A Merge-then-Adapt Framework for Personalized Large Language Model
von: Li, Xiaopeng, et al.
Veröffentlicht: (2025)

DogeRM: Equipping Reward Models with Domain Knowledge through Model Merging
von: Lin, Tzu-Han, et al.
Veröffentlicht: (2024)

Extrapolation Merging: Keep Improving With Extrapolation and Merging
von: Lin, Yiguan, et al.
Veröffentlicht: (2025)

Twin-Merging: Dynamic Integration of Modular Expertise in Model Merging
von: Lu, Zhenyi, et al.
Veröffentlicht: (2024)

DAST: Context-Aware Compression in LLMs via Dynamic Allocation of Soft Tokens
von: Chen, Shaoshen, et al.
Veröffentlicht: (2025)

NaturalConv: A Chinese Dialogue Dataset Towards Multi-turn Topic-driven Conversation
von: Wang, Xiaoyang, et al.
Veröffentlicht: (2021)

Model Tells You Where to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks
von: Wang, Zheng, et al.
Veröffentlicht: (2024)

Towards Bridging the Reward-Generation Gap in Direct Alignment Algorithms
von: Xiao, Zeguan, et al.
Veröffentlicht: (2025)

Pi-SQL: Enhancing Text-to-SQL with Fine-Grained Guidance from Pivot Programming Languages
von: chi, Yongdong, et al.
Veröffentlicht: (2025)

REAM: Merging Improves Pruning of Experts in LLMs
von: Jha, Saurav, et al.
Veröffentlicht: (2026)

CABS: Conflict-Aware and Balanced Sparsification for Enhancing Model Merging
von: Yang, Zongzhen, et al.
Veröffentlicht: (2025)

SE-Merging: A Self-Enhanced Approach for Dynamic Model Merging
von: Chen, Zijun, et al.
Veröffentlicht: (2025)

STAR: Spectral Truncation and Rescale for Model Merging
von: Lee, Yu-Ang, et al.
Veröffentlicht: (2025)

The Thinking Spectrum: An Empirical Study of Tunable Reasoning in LLMs through Model Merging
von: Lan, Xiaochong, et al.
Veröffentlicht: (2025)

PIS: Linking Importance Sampling and Attention Mechanisms for Efficient Prompt Compression
von: Chen, Lizhe, et al.
Veröffentlicht: (2025)

Importance Sparsification for Sinkhorn Algorithm
von: Li, Mengyu, et al.
Veröffentlicht: (2023)

Beyond the Surface: Enhancing LLM-as-a-Judge Alignment with Human via Internal Representations
von: Lai, Peng, et al.
Veröffentlicht: (2025)

Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging
von: Farn, Hua, et al.
Veröffentlicht: (2024)