Buchumschlag

Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gao, Yuan, Liu, Zujing, Zhang, Weizhong, Du, Bo, Xia, Gui-Song
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FBQuant: FeedBack Quantization for Large Language Models
von: Liu, Yijiang, et al.
Veröffentlicht: (2025)

Model Hemorrhage and the Robustness Limits of Large Language Models
von: Ma, Ziyang, et al.
Veröffentlicht: (2025)

Wanda++: Pruning Large Language Models via Regional Gradients
von: Yang, Yifan, et al.
Veröffentlicht: (2025)

PAT: Pruning-Aware Tuning for Large Language Models
von: Liu, Yijiang, et al.
Veröffentlicht: (2024)

Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
von: Xia, Mengzhou, et al.
Veröffentlicht: (2023)

Large Language Model Pruning
von: Huang, Hanjuan, et al.
Veröffentlicht: (2024)

DISP-LLM: Dimension-Independent Structural Pruning for Large Language Models
von: Gao, Shangqian, et al.
Veröffentlicht: (2024)

Pruning Large Language Models by Identifying and Preserving Functional Networks
von: Liu, Yiheng, et al.
Veröffentlicht: (2025)

Deterministic Differentiable Structured Pruning for Large Language Models
von: Huang, Weiyu, et al.
Veröffentlicht: (2026)

Frustratingly Easy Task-aware Pruning for Large Language Models
von: Tian, Yuanhe, et al.
Veröffentlicht: (2025)

DarwinLM: Evolutionary Structured Pruning of Large Language Models
von: Tang, Shengkun, et al.
Veröffentlicht: (2025)

Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
von: Liu, Jun, et al.
Veröffentlicht: (2024)

DrugImproverGPT: A Large Language Model for Drug Optimization with Fine-Tuning via Structured Policy Optimization
von: Liu, Xuefeng, et al.
Veröffentlicht: (2025)

Beyond Size: How Gradients Shape Pruning Decisions in Large Language Models
von: Das, Rocktim Jyoti, et al.
Veröffentlicht: (2023)

Olica: Efficient Structured Pruning of Large Language Models without Retraining
von: He, Jiujun, et al.
Veröffentlicht: (2025)

PIP: Perturbation-based Iterative Pruning for Large Language Models
von: Cao, Yi, et al.
Veröffentlicht: (2025)

Shortened LLaMA: Depth Pruning for Large Language Models with Comparison of Retraining Methods
von: Kim, Bo-Kyeong, et al.
Veröffentlicht: (2024)

Gradient-Adaptive Policy Optimization: Towards Multi-Objective Alignment of Large Language Models
von: Li, Chengao, et al.
Veröffentlicht: (2025)

ToMoE: Converting Dense Large Language Models to Mixture-of-Experts through Dynamic Structural Pruning
von: Gao, Shangqian, et al.
Veröffentlicht: (2025)

Adaptive Pruning for Large Language Models with Structural Importance Awareness
von: Zheng, Haotian, et al.
Veröffentlicht: (2024)

Sample-aware Adaptive Structured Pruning for Large Language Models
von: Kong, Jun, et al.
Veröffentlicht: (2025)

Relative Kinetic Utility for Reasoning-Aware Structural Pruning in Large Language Models
von: Qian, Tianhao
Veröffentlicht: (2026)

Beware of Calibration Data for Pruning Large Language Models
von: Ji, Yixin, et al.
Veröffentlicht: (2024)

Structural Pruning of Pre-trained Language Models via Neural Architecture Search
von: Klein, Aaron, et al.
Veröffentlicht: (2024)

A Survey of On-Policy Distillation for Large Language Models
von: Song, Mingyang, et al.
Veröffentlicht: (2026)

Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization
von: Ji, Yixin, et al.
Veröffentlicht: (2024)

Policy-Gradient Training of Language Models for Ranking
von: Gao, Ge, et al.
Veröffentlicht: (2023)

From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models
von: Wang, Ziyan, et al.
Veröffentlicht: (2025)

TLPO: Token-Level Policy Optimization for Mitigating Language Confusion in Large Language Models
von: Choo, Jinho, et al.
Veröffentlicht: (2026)

PPC-GPT: Federated Task-Specific Compression of Large Language Models via Pruning and Chain-of-Thought Distillation
von: Fan, Tao, et al.
Veröffentlicht: (2025)

A Simple and Effective Pruning Approach for Large Language Models
von: Sun, Mingjie, et al.
Veröffentlicht: (2023)

FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing
von: Smith, James Seale, et al.
Veröffentlicht: (2025)

AGGC: Adaptive Group Gradient Clipping for Stabilizing Large Language Model Training
von: Li, Zhiyuan, et al.
Veröffentlicht: (2026)

Fast and Effective Weight Update for Pruned Large Language Models
von: Boža, Vladimír
Veröffentlicht: (2024)

Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models
von: Ali, Ameen, et al.
Veröffentlicht: (2025)

Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
von: Lu, Xudong, et al.
Veröffentlicht: (2024)

EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning
von: Zhao, Songlin, et al.
Veröffentlicht: (2025)

GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
von: Tian, Kaiyuan, et al.
Veröffentlicht: (2026)

IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining
von: Li, Yixiao, et al.
Veröffentlicht: (2025)

Joint Selection for Large-Scale Pre-Training Data via Policy Gradient-based Mask Learning
von: Fan, Ziqing, et al.
Veröffentlicht: (2025)