Copertina

No Free Prune: Information-Theoretic Barriers to Pruning at Initialization

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Kumar, Tanishq, Luo, Kevin, Sellke, Mark
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

On Size-Independent Sample Complexity of ReLU Networks
di: Sellke, Mark
Pubblicazione: (2023)

An Effective Information Theoretic Framework for Channel Pruning
di: Chen, Yihao, et al.
Pubblicazione: (2024)

Inference-Time Chain-of-Thought Pruning with Latent Informativeness Signals
di: Li, Sophie, et al.
Pubblicazione: (2025)

Pruning at Initialization -- A Sketching Perspective
di: Bar, Noga, et al.
Pubblicazione: (2023)

SwiftPrune: Hessian-Free Weight Pruning for Large Language Models
di: Kang, Yuhan, et al.
Pubblicazione: (2025)

Incentivizing Exploration with Linear Contexts and Combinatorial Actions
di: Sellke, Mark
Pubblicazione: (2023)

Theoretical and Empirical Advances in Forest Pruning
di: Dorador, Albert
Pubblicazione: (2024)

What Scalable Second-Order Information Knows for Pruning at Initialization
di: Navarrete, Ivo Gollini, et al.
Pubblicazione: (2025)

Rapid Deployment of DNNs for Edge Computing via Structured Pruning at Initialization
di: Eccles, Bailey J., et al.
Pubblicazione: (2024)

On Learning-Curve Monotonicity for Maximum Likelihood Estimators
di: Sellke, Mark, et al.
Pubblicazione: (2025)

Nonparametric MLE for Gaussian Location Mixtures: Certified Computation and Generic Behavior
di: Polyanskiy, Yury, et al.
Pubblicazione: (2025)

Mutual Information Preserving Neural Network Pruning
di: Westphal, Charles, et al.
Pubblicazione: (2024)

AIMER: Calibration-Free Task-Agnostic MoE Pruning
di: Liu, Zongfang, et al.
Pubblicazione: (2026)

Prune, Update and Trim: Robust Structured Pruning for Large Language Models
di: Mecke, Diego Coello de Portugal, et al.
Pubblicazione: (2026)

To Bag is to Prune
di: Coulombe, Philippe Goulet
Pubblicazione: (2020)

Data-Free Pruning of Self-Attention Layers in LLMs
di: Saikumar, Dhananjay, et al.
Pubblicazione: (2025)

Non-transferable Pruning
di: Ding, Ruyi, et al.
Pubblicazione: (2024)

Training-Free Dataset Pruning for Instance Segmentation
di: Dai, Yalun, et al.
Pubblicazione: (2025)

Sparsest Models Elude Pruning: An Exposé of Pruning's Current Capabilities
di: Zhang, Stephen, et al.
Pubblicazione: (2024)

STUN: Structured-Then-Unstructured Pruning for Scalable MoE Pruning
di: Lee, Jaeseong, et al.
Pubblicazione: (2024)

Pruning Weights but Not Truth: Safeguarding Truthfulness While Pruning LLMs
di: Fu, Yao, et al.
Pubblicazione: (2025)

Geometry Meets Incentives: Sample-Efficient Incentivized Exploration with Linear Contexts
di: Schiffer, Benjamin, et al.
Pubblicazione: (2025)

Theoretically Grounded Pruning of Large Ground Sets for Constrained, Discrete Optimization
di: Nath, Ankur, et al.
Pubblicazione: (2024)

FedPaI: Achieving Extreme Sparsity in Federated Learning via Pruning at Initialization
di: Wang, Haonan, et al.
Pubblicazione: (2025)

LLM-Rank: A Graph Theoretical Approach to Pruning Large Language Models
di: Hoffmann, David, et al.
Pubblicazione: (2024)

Quantization vs Pruning: Insights from the Strong Lottery Ticket Hypothesis
di: Kumar, Aakash, et al.
Pubblicazione: (2025)

Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes
di: Kolawole, Steven, et al.
Pubblicazione: (2024)

QAdaPrune: Adaptive Parameter Pruning For Training Variational Quantum Circuits
di: Kulshrestha, Ankit, et al.
Pubblicazione: (2024)

Holistic Adversarially Robust Pruning
di: Zhao, Qi, et al.
Pubblicazione: (2024)

Pruning and Malicious Injection: A Retraining-Free Backdoor Attack on Transformer Models
di: Zhao, Taibiao, et al.
Pubblicazione: (2025)

Training-Free Restoration of Pruned Neural Networks
di: Lee, Keonho, et al.
Pubblicazione: (2025)

Towards Sobolev Pruning
di: Kichler, Neil, et al.
Pubblicazione: (2023)

Lightweight Edge Learning via Dataset Pruning
di: Ale, Laha, et al.
Pubblicazione: (2026)

PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs
di: Yu, Tongzhou, et al.
Pubblicazione: (2025)

IPPRO: Importance-based Pruning with PRojective Offset for Magnitude-indifferent Structural Pruning
di: Jung, Jaeheun, et al.
Pubblicazione: (2025)

TopoPrune: Robust Data Pruning via Unified Latent Space Topology
di: Roy, Arjun, et al.
Pubblicazione: (2026)

Mosaic Pruning: A Hierarchical Framework for Generalizable Pruning of Mixture-of-Experts Models
di: Hu, Wentao, et al.
Pubblicazione: (2025)

Beyond Manually Designed Pruning Policies with Second-Level Performance Prediction: A Pruning Framework for LLMs
di: Ma, Zuxin, et al.
Pubblicazione: (2025)

ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models
di: Li, Xu, et al.
Pubblicazione: (2026)

TT-Prune: Joint Model Pruning and Resource Allocation for Communication-efficient Time-triggered Federated Learning
di: Zhang, Xinlu, et al.
Pubblicazione: (2025)