Systematic Weight Evaluation for Pruning Large Language Models: Enhancing Performance and Sustainability
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Islam, Ashhadul, Belhaouari, Samir Brahim, Bermak, Amine |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Bio-Inspired Adaptive Neurons for Dynamic Weighting in Artificial Neural Networks
par: Islam, Ashhadul, et autres
Publié: (2024)
par: Islam, Ashhadul, et autres
Publié: (2024)
Large Language Model Enhanced Particle Swarm Optimization for Hyperparameter Tuning for Deep Learning Models
par: Hameed, Saad, et autres
Publié: (2025)
par: Hameed, Saad, et autres
Publié: (2025)
Pushing Boundaries: Exploring Zero Shot Object Classification with Large Multimodal Models
par: Islam, Ashhadul, et autres
Publié: (2023)
par: Islam, Ashhadul, et autres
Publié: (2023)
Oversampling and Downsampling with Core-Boundary Awareness: A Data Quality-Driven Approach
par: Belhaouari, Samir Brahim, et autres
Publié: (2025)
par: Belhaouari, Samir Brahim, et autres
Publié: (2025)
Understanding Performance Collapse in Layer-Pruned Large Language Models via Decision Representation Transitions
par: Shi, Boyu, et autres
Publié: (2026)
par: Shi, Boyu, et autres
Publié: (2026)
Large Language Model Pruning
par: Huang, Hanjuan, et autres
Publié: (2024)
par: Huang, Hanjuan, et autres
Publié: (2024)
DLP: Dynamic Layerwise Pruning in Large Language Models
par: Chen, Yuli, et autres
Publié: (2025)
par: Chen, Yuli, et autres
Publié: (2025)
Prompt-based Depth Pruning of Large Language Models
par: Wee, Juyun, et autres
Publié: (2025)
par: Wee, Juyun, et autres
Publié: (2025)
Pruning General Large Language Models into Customized Expert Models
par: Zhao, Yirao, et autres
Publié: (2025)
par: Zhao, Yirao, et autres
Publié: (2025)
DPPA: Pruning Method for Large Language Model to Model Merging
par: Zhu, Yaochen, et autres
Publié: (2024)
par: Zhu, Yaochen, et autres
Publié: (2024)
Achieving Peak Performance for Large Language Models: A Systematic Review
par: Rostam, Zhyar Rzgar K, et autres
Publié: (2024)
par: Rostam, Zhyar Rzgar K, et autres
Publié: (2024)
SPAFIT: Stratified Progressive Adaptation Fine-tuning for Pre-trained Large Language Models
par: Arora, Samir, et autres
Publié: (2024)
par: Arora, Samir, et autres
Publié: (2024)
Entropy-Based Block Pruning for Efficient Large Language Models
par: Yang, Liangwei, et autres
Publié: (2025)
par: Yang, Liangwei, et autres
Publié: (2025)
Saliency-driven Dynamic Token Pruning for Large Language Models
par: Tao, Yao, et autres
Publié: (2025)
par: Tao, Yao, et autres
Publié: (2025)
Investigating Hallucinations in Pruned Large Language Models for Abstractive Summarization
par: Chrysostomou, George, et autres
Publié: (2023)
par: Chrysostomou, George, et autres
Publié: (2023)
The Super Weight in Large Language Models
par: Yu, Mengxia, et autres
Publié: (2024)
par: Yu, Mengxia, et autres
Publié: (2024)
Evaluating the Performance of Large Language Models on GAOKAO Benchmark
par: Zhang, Xiaotian, et autres
Publié: (2023)
par: Zhang, Xiaotian, et autres
Publié: (2023)
Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
par: Liu, Jun, et autres
Publié: (2024)
par: Liu, Jun, et autres
Publié: (2024)
Scaling Open-Weight Large Language Models for Hydropower Regulatory Information Extraction: A Systematic Analysis
par: Yoon, Hong-Jun, et autres
Publié: (2025)
par: Yoon, Hong-Jun, et autres
Publié: (2025)
Evaluating and Enhancing Large Language Models Performance in Domain-specific Medicine: Osteoarthritis Management with DocOA
par: Chen, Xi, et autres
Publié: (2024)
par: Chen, Xi, et autres
Publié: (2024)
Revisiting Large Language Model Pruning using Neuron Semantic Attribution
par: Ding, Yizhuo, et autres
Publié: (2025)
par: Ding, Yizhuo, et autres
Publié: (2025)
LaCo: Large Language Model Pruning via Layer Collapse
par: Yang, Yifei, et autres
Publié: (2024)
par: Yang, Yifei, et autres
Publié: (2024)
Pruning Large Language Models with Semi-Structural Adaptive Sparse Training
par: Huang, Weiyu, et autres
Publié: (2024)
par: Huang, Weiyu, et autres
Publié: (2024)
Sparsity Induction for Accurate Post-Training Pruning of Large Language Models
par: Jiang, Minhao, et autres
Publié: (2026)
par: Jiang, Minhao, et autres
Publié: (2026)
Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages
par: Tamang, S., et autres
Publié: (2024)
par: Tamang, S., et autres
Publié: (2024)
ALPS: Attention Localization and Pruning Strategy for Efficient Alignment of Large Language Models
par: Chen, Hao, et autres
Publié: (2025)
par: Chen, Hao, et autres
Publié: (2025)
Efficient Shapley Value-based Non-Uniform Pruning of Large Language Models
par: Sun, Chuan, et autres
Publié: (2025)
par: Sun, Chuan, et autres
Publié: (2025)
One-Shot Sensitivity-Aware Mixed Sparsity Pruning for Large Language Models
par: Shao, Hang, et autres
Publié: (2023)
par: Shao, Hang, et autres
Publié: (2023)
Enhancing Large Language Model Performance with Gradient-Based Parameter Selection
par: Li, Haoling, et autres
Publié: (2024)
par: Li, Haoling, et autres
Publié: (2024)
Evaluating the Translation Performance of Large Language Models Based on Euas-20
par: Huang, Yan, et autres
Publié: (2024)
par: Huang, Yan, et autres
Publié: (2024)
LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models
par: Parmar, Mihir, et autres
Publié: (2024)
par: Parmar, Mihir, et autres
Publié: (2024)
Weights-Rotated Preference Optimization for Large Language Models
par: Yang, Chenxu, et autres
Publié: (2025)
par: Yang, Chenxu, et autres
Publié: (2025)
Beware of Calibration Data for Pruning Large Language Models
par: Ji, Yixin, et autres
Publié: (2024)
par: Ji, Yixin, et autres
Publié: (2024)
COPAL: Continual Pruning in Large Language Generative Models
par: Malla, Srikanth, et autres
Publié: (2024)
par: Malla, Srikanth, et autres
Publié: (2024)
PAT: Pruning-Aware Tuning for Large Language Models
par: Liu, Yijiang, et autres
Publié: (2024)
par: Liu, Yijiang, et autres
Publié: (2024)
Towards Robust Pruning: An Adaptive Knowledge-Retention Pruning Strategy for Language Models
par: Li, Jianwei, et autres
Publié: (2023)
par: Li, Jianwei, et autres
Publié: (2023)
Evaluating and Enhancing Large Language Models for Conversational Reasoning on Knowledge Graphs
par: Huang, Yuxuan
Publié: (2023)
par: Huang, Yuxuan
Publié: (2023)
Pruning Large Language Models to Intra-module Low-rank Architecture with Transitional Activations
par: Shen, Bowen, et autres
Publié: (2024)
par: Shen, Bowen, et autres
Publié: (2024)
Localizing AI: Evaluating Open-Weight Language Models for Languages of Baltic States
par: Kapočiūtė-Dzikienė, Jurgita, et autres
Publié: (2025)
par: Kapočiūtė-Dzikienė, Jurgita, et autres
Publié: (2025)
Integrating Non-Linear Radon Transformation for Diabetic Retinopathy Grading
par: Mohsen, Farida, et autres
Publié: (2025)
par: Mohsen, Farida, et autres
Publié: (2025)
Documents similaires
-
Bio-Inspired Adaptive Neurons for Dynamic Weighting in Artificial Neural Networks
par: Islam, Ashhadul, et autres
Publié: (2024) -
Large Language Model Enhanced Particle Swarm Optimization for Hyperparameter Tuning for Deep Learning Models
par: Hameed, Saad, et autres
Publié: (2025) -
Pushing Boundaries: Exploring Zero Shot Object Classification with Large Multimodal Models
par: Islam, Ashhadul, et autres
Publié: (2023) -
Oversampling and Downsampling with Core-Boundary Awareness: A Data Quality-Driven Approach
par: Belhaouari, Samir Brahim, et autres
Publié: (2025) -
Understanding Performance Collapse in Layer-Pruned Large Language Models via Decision Representation Transitions
par: Shi, Boyu, et autres
Publié: (2026)