DPPA: Pruning Method for Large Language Model to Model Merging
Fuente:
arXiv
Salvato in:
| Autori principali: | Zhu, Yaochen, Xia, Rui, Zhang, Jiajun |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models
di: Lu, Jinliang, et al.
Pubblicazione: (2024)
di: Lu, Jinliang, et al.
Pubblicazione: (2024)
Knowledge Graph-Enhanced Large Language Models via Path Selection
di: Liu, Haochen, et al.
Pubblicazione: (2024)
di: Liu, Haochen, et al.
Pubblicazione: (2024)
Knowledge Editing for Large Language Models: A Survey
di: Wang, Song, et al.
Pubblicazione: (2023)
di: Wang, Song, et al.
Pubblicazione: (2023)
Transport and Merge: Cross-Architecture Merging for Large Language Models
di: Cui, Chenhang, et al.
Pubblicazione: (2026)
di: Cui, Chenhang, et al.
Pubblicazione: (2026)
Pruning as a Cooperative Game: Surrogate-Assisted Layer Contribution Estimation for Large Language Models
di: Ding, Xuan, et al.
Pubblicazione: (2026)
di: Ding, Xuan, et al.
Pubblicazione: (2026)
Pruning General Large Language Models into Customized Expert Models
di: Zhao, Yirao, et al.
Pubblicazione: (2025)
di: Zhao, Yirao, et al.
Pubblicazione: (2025)
DLP: Dynamic Layerwise Pruning in Large Language Models
di: Chen, Yuli, et al.
Pubblicazione: (2025)
di: Chen, Yuli, et al.
Pubblicazione: (2025)
Activation-Informed Merging of Large Language Models
di: Nobari, Amin Heyrani, et al.
Pubblicazione: (2025)
di: Nobari, Amin Heyrani, et al.
Pubblicazione: (2025)
Saliency-driven Dynamic Token Pruning for Large Language Models
di: Tao, Yao, et al.
Pubblicazione: (2025)
di: Tao, Yao, et al.
Pubblicazione: (2025)
Beware of Calibration Data for Pruning Large Language Models
di: Ji, Yixin, et al.
Pubblicazione: (2024)
di: Ji, Yixin, et al.
Pubblicazione: (2024)
Have You Merged My Model? On The Robustness of Large Language Model IP Protection Methods Against Model Merging
di: Cong, Tianshuo, et al.
Pubblicazione: (2024)
di: Cong, Tianshuo, et al.
Pubblicazione: (2024)
Sens-Merging: Sensitivity-Guided Parameter Balancing for Merging Large Language Models
di: Liu, Shuqi, et al.
Pubblicazione: (2025)
di: Liu, Shuqi, et al.
Pubblicazione: (2025)
Pruning Large Language Models with Semi-Structural Adaptive Sparse Training
di: Huang, Weiyu, et al.
Pubblicazione: (2024)
di: Huang, Weiyu, et al.
Pubblicazione: (2024)
AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging
di: Zhao, Yiran, et al.
Pubblicazione: (2024)
di: Zhao, Yiran, et al.
Pubblicazione: (2024)
Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging
di: Yang, Jinluan, et al.
Pubblicazione: (2025)
di: Yang, Jinluan, et al.
Pubblicazione: (2025)
LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging
di: Liu, Zehua, et al.
Pubblicazione: (2025)
di: Liu, Zehua, et al.
Pubblicazione: (2025)
Large Language Model Pruning
di: Huang, Hanjuan, et al.
Pubblicazione: (2024)
di: Huang, Hanjuan, et al.
Pubblicazione: (2024)
Prompt-based Depth Pruning of Large Language Models
di: Wee, Juyun, et al.
Pubblicazione: (2025)
di: Wee, Juyun, et al.
Pubblicazione: (2025)
Sparsity Induction for Accurate Post-Training Pruning of Large Language Models
di: Jiang, Minhao, et al.
Pubblicazione: (2026)
di: Jiang, Minhao, et al.
Pubblicazione: (2026)
Pruning Large Language Models by Identifying and Preserving Functional Networks
di: Liu, Yiheng, et al.
Pubblicazione: (2025)
di: Liu, Yiheng, et al.
Pubblicazione: (2025)
Arcee's MergeKit: A Toolkit for Merging Large Language Models
di: Goddard, Charles, et al.
Pubblicazione: (2024)
di: Goddard, Charles, et al.
Pubblicazione: (2024)
SDMPrune: Self-Distillation MLP Pruning for Efficient Large Language Models
di: Zhu, Hourun, et al.
Pubblicazione: (2025)
di: Zhu, Hourun, et al.
Pubblicazione: (2025)
Investigating Hallucinations in Pruned Large Language Models for Abstractive Summarization
di: Chrysostomou, George, et al.
Pubblicazione: (2023)
di: Chrysostomou, George, et al.
Pubblicazione: (2023)
Entropy-Based Block Pruning for Efficient Large Language Models
di: Yang, Liangwei, et al.
Pubblicazione: (2025)
di: Yang, Liangwei, et al.
Pubblicazione: (2025)
K-Merge: Online Continual Merging of Adapters for On-device Large Language Models
di: Shenaj, Donald, et al.
Pubblicazione: (2025)
di: Shenaj, Donald, et al.
Pubblicazione: (2025)
ALPS: Attention Localization and Pruning Strategy for Efficient Alignment of Large Language Models
di: Chen, Hao, et al.
Pubblicazione: (2025)
di: Chen, Hao, et al.
Pubblicazione: (2025)
PAT: Pruning-Aware Tuning for Large Language Models
di: Liu, Yijiang, et al.
Pubblicazione: (2024)
di: Liu, Yijiang, et al.
Pubblicazione: (2024)
LaCo: Large Language Model Pruning via Layer Collapse
di: Yang, Yifei, et al.
Pubblicazione: (2024)
di: Yang, Yifei, et al.
Pubblicazione: (2024)
Pruning via Merging: Compressing LLMs via Manifold Alignment Based Layer Merging
di: Liu, Deyuan, et al.
Pubblicazione: (2024)
di: Liu, Deyuan, et al.
Pubblicazione: (2024)
Revisiting Large Language Model Pruning using Neuron Semantic Attribution
di: Ding, Yizhuo, et al.
Pubblicazione: (2025)
di: Ding, Yizhuo, et al.
Pubblicazione: (2025)
Countering Catastrophic Forgetting of Large Language Models for Better Instruction Following via Weight-Space Model Merging
di: Lyu, Mengxian, et al.
Pubblicazione: (2026)
di: Lyu, Mengxian, et al.
Pubblicazione: (2026)
Execution-Verified Reinforcement Learning for Optimization Modeling
di: Guan, Runda, et al.
Pubblicazione: (2026)
di: Guan, Runda, et al.
Pubblicazione: (2026)
Adaptive Pruning for Large Language Models with Structural Importance Awareness
di: Zheng, Haotian, et al.
Pubblicazione: (2024)
di: Zheng, Haotian, et al.
Pubblicazione: (2024)
SuperMerge: An Approach For Gradient-Based Model Merging
di: Yang, Haoyu, et al.
Pubblicazione: (2024)
di: Yang, Haoyu, et al.
Pubblicazione: (2024)
Sample-aware Adaptive Structured Pruning for Large Language Models
di: Kong, Jun, et al.
Pubblicazione: (2025)
di: Kong, Jun, et al.
Pubblicazione: (2025)
Unlocking the Potential of Model Merging for Low-Resource Languages
di: Tao, Mingxu, et al.
Pubblicazione: (2024)
di: Tao, Mingxu, et al.
Pubblicazione: (2024)
Systematic Weight Evaluation for Pruning Large Language Models: Enhancing Performance and Sustainability
di: Islam, Ashhadul, et al.
Pubblicazione: (2025)
di: Islam, Ashhadul, et al.
Pubblicazione: (2025)
Efficient Shapley Value-based Non-Uniform Pruning of Large Language Models
di: Sun, Chuan, et al.
Pubblicazione: (2025)
di: Sun, Chuan, et al.
Pubblicazione: (2025)
One-Shot Sensitivity-Aware Mixed Sparsity Pruning for Large Language Models
di: Shao, Hang, et al.
Pubblicazione: (2023)
di: Shao, Hang, et al.
Pubblicazione: (2023)
BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation
di: Pai, Tsung-Min, et al.
Pubblicazione: (2025)
di: Pai, Tsung-Min, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models
di: Lu, Jinliang, et al.
Pubblicazione: (2024) -
Knowledge Graph-Enhanced Large Language Models via Path Selection
di: Liu, Haochen, et al.
Pubblicazione: (2024) -
Knowledge Editing for Large Language Models: A Survey
di: Wang, Song, et al.
Pubblicazione: (2023) -
Transport and Merge: Cross-Architecture Merging for Large Language Models
di: Cui, Chenhang, et al.
Pubblicazione: (2026) -
Pruning as a Cooperative Game: Surrogate-Assisted Layer Contribution Estimation for Large Language Models
di: Ding, Xuan, et al.
Pubblicazione: (2026)