Layer Collapse Can be Induced by Unstructured Pruning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liao, Zhu, Quétu, Victor, Nguyen, Van-Tam, Tartaglione, Enzo
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Till the Layers Collapse: Compressing a Deep Neural Network through the Lenses of Batch Normalization Layers
von: Liao, Zhu, et al.
Veröffentlicht: (2024)

DSD$^2$: Can We Dodge Sparse Double Descent and Compress the Neural Network Worry-Free?
von: Quétu, Victor, et al.
Veröffentlicht: (2023)

LaCoOT: Layer Collapse through Optimal Transport
von: Quétu, Victor, et al.
Veröffentlicht: (2024)

The Simpler The Better: An Entropy-Based Importance Metric To Reduce Neural Networks' Depth
von: Quétu, Victor, et al.
Veröffentlicht: (2024)

Memory Constrained Dynamic Subnetwork Update for Transfer Learning
von: Quélennec, Aël, et al.
Veröffentlicht: (2025)

Beyond Low-rank Decomposition: A Shortcut Approach for Efficient On-Device Learning
von: Nguyen, Le-Trung, et al.
Veröffentlicht: (2025)

Study of Training Dynamics for Memory-Constrained Fine-Tuning
von: Quélennec, Aël, et al.
Veröffentlicht: (2025)

Memory-Optimized Once-For-All Network
von: Girard, Maxime, et al.
Veröffentlicht: (2024)

Debiasing surgeon: fantastic weights and how to find them
von: Nahon, Rémi, et al.
Veröffentlicht: (2024)

Efficient Resource-Constrained Training of Transformers via Subspace Optimization
von: Nguyen, Le-Trung, et al.
Veröffentlicht: (2025)

Hoeffding Concept Bottleneck Models with Applications to Overhead Images
von: Bénard, Clément, et al.
Veröffentlicht: (2026)

Structured vs. Unstructured Pruning: An Exponential Gap
von: Ferre', Davide, et al.
Veröffentlicht: (2026)

On the Collapse Errors Induced by the Deterministic Sampler for Diffusion Models
von: Zhang, Yi, et al.
Veröffentlicht: (2025)

SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning
von: Liao, Huanxuan, et al.
Veröffentlicht: (2025)

UnIT: Scalable Unstructured Inference-Time Pruning for MAC-efficient Neural Inference on MCUs
von: Neth, Ashe, et al.
Veröffentlicht: (2025)

Weighted Ensemble Models Are Strong Continual Learners
von: Marouf, Imad Eddine, et al.
Veröffentlicht: (2023)

LayerCollapse: Adaptive compression of neural networks
von: Shabgahi, Soheil Zibakhsh, et al.
Veröffentlicht: (2023)

The Structural Scalpel: Automated Contiguous Layer Pruning for Large Language Models
von: Lu, Yao, et al.
Veröffentlicht: (2025)

FAIR-Pruner: A Flexible Framework for Automatic Layer-Wise Pruning via Tolerance of Difference
von: Lin, Chenqing, et al.
Veröffentlicht: (2025)

Can We Understand Plasticity Through Neural Collapse?
von: Bonifazi, Guglielmo, et al.
Veröffentlicht: (2024)

Data-Free Pruning of Self-Attention Layers in LLMs
von: Saikumar, Dhananjay, et al.
Veröffentlicht: (2025)

Collapsed Inference for Bayesian Deep Learning
von: Zeng, Zhe, et al.
Veröffentlicht: (2023)

A Generic Layer Pruning Method for Signal Modulation Recognition Deep Learning Models
von: Lu, Yao, et al.
Veröffentlicht: (2024)

CLOVER: Cross-Layer Orthogonal Vectors Pruning and Fine-Tuning
von: Meng, Fanxu, et al.
Veröffentlicht: (2024)

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs
von: Yun, Vincent-Daniel, et al.
Veröffentlicht: (2026)

On the Limits of Layer Pruning for Generative Reasoning in Large Language Models
von: Shrestha, Safal, et al.
Veröffentlicht: (2026)

When Fewer Layers Break More Chains: Layer Pruning Harms Test-Time Scaling in LLMs
von: Wang, Keyu, et al.
Veröffentlicht: (2025)

Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP)
von: Li, Huanran, et al.
Veröffentlicht: (2024)

MaskPrune: Mask-based LLM Pruning for Layer-wise Uniform Structures
von: Qin, Jiayu, et al.
Veröffentlicht: (2025)

Activation Map Compression through Tensor Decomposition for Deep Learning
von: Nguyen, Le-Trung, et al.
Veröffentlicht: (2024)

Say My Name: a Model's Bias Discovery Framework
von: Ciranni, Massimiliano, et al.
Veröffentlicht: (2024)

Adaptive Layer Selection for Layer-Wise Token Pruning in LLM Inference
von: Taniguchi, Rei, et al.
Veröffentlicht: (2026)

PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs
von: Yu, Tongzhou, et al.
Veröffentlicht: (2025)

Mosaic Pruning: A Hierarchical Framework for Generalizable Pruning of Mixture-of-Experts Models
von: Hu, Wentao, et al.
Veröffentlicht: (2025)

Minimizing Collateral Damage in Activation Steering
von: Nguyen, Tam, et al.
Veröffentlicht: (2026)

IDAP++: Advancing Divergence-Based Pruning via Filter-Level and Layer-Level Optimization
von: Samarin, Aleksei, et al.
Veröffentlicht: (2025)

Towards Layer-Wise Personalized Federated Learning: Adaptive Layer Disentanglement via Conflicting Gradients
von: Nguyen, Minh Duong, et al.
Veröffentlicht: (2024)

LANISTR: Multimodal Learning from Structured and Unstructured Data
von: Ebrahimi, Sayna, et al.
Veröffentlicht: (2023)

Space Alignment Matters: The Missing Piece for Inducing Neural Collapse in Long-Tailed Learning
von: Wang, Jinping, et al.
Veröffentlicht: (2025)

ForTIFAI: Fending Off Recursive Training Induced Failure for AI Model Collapse
von: Shabgahi, Soheil Zibakhsh, et al.
Veröffentlicht: (2025)