Buchumschlag

SlimGPT: Layer-wise Structured Pruning for Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ling, Gui, Wang, Ziyang, Yan, Yuliang, Liu, Qingwen
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models
von: Tang, Zicong, et al.
Veröffentlicht: (2025)

GRASPrune: Global Gating for Budgeted Structured Pruning of Large Language Models
von: Wang, Ziyang, et al.
Veröffentlicht: (2026)

MaskPrune: Mask-based LLM Pruning for Layer-wise Uniform Structures
von: Qin, Jiayu, et al.
Veröffentlicht: (2025)

SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training
von: Tang, Shengkun, et al.
Veröffentlicht: (2026)

The Structural Scalpel: Automated Contiguous Layer Pruning for Large Language Models
von: Lu, Yao, et al.
Veröffentlicht: (2025)

LaSM: Layer-wise Scaling Mechanism for Defending Pop-up Attack on GUI Agents
von: Yan, Zihe, et al.
Veröffentlicht: (2025)

Enhanced Structured Lasso Pruning with Class-wise Information
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

MoPE-CLIP: Structured Pruning for Efficient Vision-Language Models with Module-wise Pruning Error Metric
von: Lin, Haokun, et al.
Veröffentlicht: (2024)

Improve Decoding Factuality by Token-wise Cross Layer Entropy of Large Language Models
von: Wu, Jialiang, et al.
Veröffentlicht: (2025)

SlimPack: Fine-Grained Asymmetric Packing for Balanced and Efficient Variable-Length LLM Training
von: Liu, Yuliang, et al.
Veröffentlicht: (2025)

On the Limits of Layer Pruning for Generative Reasoning in Large Language Models
von: Shrestha, Safal, et al.
Veröffentlicht: (2026)

LaCo: Large Language Model Pruning via Layer Collapse
von: Yang, Yifei, et al.
Veröffentlicht: (2024)

OmniDrop: Layer-wise Token Pruning for Omni-modal LLMs via Query-Guidance
von: Park, Yeo Jeong, et al.
Veröffentlicht: (2026)

SlimPipe: Memory-Thrifty and Efficient Pipeline Parallelism for Long-Context LLM Training
von: Li, Zhouyang, et al.
Veröffentlicht: (2025)

Layer-wise Regularized Dropout for Neural Language Models
von: Ni, Shiwen, et al.
Veröffentlicht: (2024)

GPrune-LLM: Generalization-Aware Structured Pruning for Large Language Models
von: Liu, Xiaoyun, et al.
Veröffentlicht: (2026)

SlimSpeech: Lightweight and Efficient Text-to-Speech with Slim Rectified Flow
von: Wang, Kaidi, et al.
Veröffentlicht: (2025)

Understanding Performance Collapse in Layer-Pruned Large Language Models via Decision Representation Transitions
von: Shi, Boyu, et al.
Veröffentlicht: (2026)

Structure-Aware Automatic Channel Pruning by Searching with Graph Embedding
von: Liu, Zifan, et al.
Veröffentlicht: (2025)

Sample-aware Adaptive Structured Pruning for Large Language Models
von: Kong, Jun, et al.
Veröffentlicht: (2025)

Exploring Federated Pruning for Large Language Models
von: Guo, Pengxin, et al.
Veröffentlicht: (2025)

Slim-SC: Thought Pruning for Efficient Scaling with Self-Consistency
von: Hong, Colin, et al.
Veröffentlicht: (2025)

Layer-wise Positional Bias in Short-Context Language Modeling
von: Rahimi, Maryam, et al.
Veröffentlicht: (2026)

HoneyGPT: Breaking the Trilemma in Terminal Honeypots with Large Language Model
von: Wang, Ziyang, et al.
Veröffentlicht: (2024)

Addition in Four Movements: Mapping Layer-wise Information Trajectories in LLMs
von: Yan, Yao
Veröffentlicht: (2025)

POP: Online Structural Pruning Enables Efficient Inference of Large Foundation Models
von: Chen, Yi, et al.
Veröffentlicht: (2026)

SwiftPrune: Hessian-Free Weight Pruning for Large Language Models
von: Kang, Yuhan, et al.
Veröffentlicht: (2025)

Pruning Large Language Models with Semi-Structural Adaptive Sparse Training
von: Huang, Weiyu, et al.
Veröffentlicht: (2024)

Exploring Layer-wise Information Effectiveness for Post-Training Quantization in Small Language Models
von: Xiao, He, et al.
Veröffentlicht: (2025)

LinguaSim: Interactive Multi-Vehicle Testing Scenario Generation via Natural Language Instruction Based on Large Language Models
von: Shi, Qingyuan, et al.
Veröffentlicht: (2025)

Pruning as a Cooperative Game: Surrogate-Assisted Layer Contribution Estimation for Large Language Models
von: Ding, Xuan, et al.
Veröffentlicht: (2026)

Adaptive Pruning for Large Language Models with Structural Importance Awareness
von: Zheng, Haotian, et al.
Veröffentlicht: (2024)

Thanos: A Block-wise Pruning Algorithm for Efficient Large Language Model Compression
von: Ilin, Ivan, et al.
Veröffentlicht: (2025)

Symmetric Pruning of Large Language Models
von: Yi, Kai, et al.
Veröffentlicht: (2025)

Rec-GPT4V: Multimodal Recommendation with Large Vision-Language Models
von: Liu, Yuqing, et al.
Veröffentlicht: (2024)

From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models
von: Wang, Ziyan, et al.
Veröffentlicht: (2025)

A Vision-and-Knowledge Enhanced Large Language Model for Generalizable Pedestrian Crossing Behavior Inference
von: Pu, Qingwen, et al.
Veröffentlicht: (2026)

Large Language Model Pruning
von: Huang, Hanjuan, et al.
Veröffentlicht: (2024)

LEVI: Generalizable Fine-tuning via Layer-wise Ensemble of Different Views
von: Roh, Yuji, et al.
Veröffentlicht: (2024)

Less is More: Towards Green Code Large Language Models via Unified Structural Pruning
von: Yang, Guang, et al.
Veröffentlicht: (2024)