Buchumschlag

Growing Winning Subnetworks, Not Pruning Them: A Paradigm for Density Discovery in Sparse Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yao, Qihang, Dovrolis, Constantine
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Continual Knowledge Updating in LLM Systems: Learning Through Multi-Timescale Memory Dynamics
von: Pattichis, Andreas, et al.
Veröffentlicht: (2026)

PEAKS: Selecting Key Training Examples Incrementally via Prediction Error Anchored by Kernel Similarity
von: Gurbuz, Mustafa Burak, et al.
Veröffentlicht: (2025)

Patch-Based Contrastive Learning and Memory Consolidation for Online Unsupervised Continual Learning
von: Taylor, Cameron, et al.
Veröffentlicht: (2024)

Stochastic Subnetwork Annealing: A Regularization Technique for Fine Tuning Pruned Subnetworks
von: Whitaker, Tim, et al.
Veröffentlicht: (2024)

Fast Track to Winning Tickets: Repowering One-Shot Pruning for Graph Neural Networks
von: Yue, Yanwei, et al.
Veröffentlicht: (2024)

Continual Learning: Forget-free Winning Subnetworks for Video Representations
von: Kang, Haeyong, et al.
Veröffentlicht: (2023)

Growing Networks with Autonomous Pruning
von: De Lambilly, Charles, et al.
Veröffentlicht: (2026)

Neural Subnetwork Ensembles
von: Whitaker, Tim
Veröffentlicht: (2023)

Sequential Bayesian Neural Subnetwork Ensembles
von: Jantre, Sanket, et al.
Veröffentlicht: (2022)

The Multiple Ticket Hypothesis: Random Sparse Subnetworks Suffice for RLVR
von: Adewuyi, Israel, et al.
Veröffentlicht: (2026)

Sparse Explanations of Neural Networks Using Pruned Layer-Wise Relevance Propagation
von: Sarmiento, Paulo Yanez, et al.
Veröffentlicht: (2024)

Growing with Experience: Growing Neural Networks in Deep Reinforcement Learning
von: Fehring, Lukas, et al.
Veröffentlicht: (2025)

Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
von: Suwal, Sanish, et al.
Veröffentlicht: (2025)

One-Cycle Structured Pruning via Stability-Driven Subnetwork Search
von: Ghimire, Deepak, et al.
Veröffentlicht: (2025)

Task-specific Subnetwork Discovery in Reinforcement Learning for Autonomous Underwater Navigation
von: Liu, Yi-Ling, et al.
Veröffentlicht: (2026)

Reinforcement Learning Fine-Tunes a Sparse Subnetwork in Large Language Models
von: Balashov, Andrii
Veröffentlicht: (2025)

Layer Pruning with Consensus: A Triple-Win Solution
von: Mugnaini, Leandro Giusti, et al.
Veröffentlicht: (2024)

When To Grow? A Fitting Risk-Aware Policy for Layer Growing in Deep Neural Networks
von: Wu, Haihang, et al.
Veröffentlicht: (2024)

Spectral Pruning for Recurrent Neural Networks
von: Furuya, Takashi, et al.
Veröffentlicht: (2021)

SSFL: Discovering Sparse Unified Subnetworks at Initialization for Efficient Federated Learning
von: Ohib, Riyasat, et al.
Veröffentlicht: (2024)

Instilling Inductive Biases with Subnetworks
von: Zhang, Enyan, et al.
Veröffentlicht: (2023)

Finding Stable Subnetworks at Initialization with Dataset Distillation
von: McDermott, Luke, et al.
Veröffentlicht: (2025)

An Efficient Sparse Fine-Tuning with Low Quantization Error via Neural Network Pruning
von: Li, Cen-Jhih, et al.
Veröffentlicht: (2025)

Pruning and Quantization Impact on Graph Neural Networks
von: Khedri, Khatoon, et al.
Veröffentlicht: (2025)

Reservoir Computing: A New Paradigm for Neural Networks
von: Grezes, Felix
Veröffentlicht: (2025)

Mutual Information Preserving Neural Network Pruning
von: Westphal, Charles, et al.
Veröffentlicht: (2024)

Quantized Rank Reduction: A Communications-Efficient Federated Learning Scheme for Network-Critical Applications
von: Kritsiolis, Dimitrios, et al.
Veröffentlicht: (2025)

Grow-Prune-Freeze Networks: Adaptive & Continual Learning Technique for Olfactory Navigation
von: France, Kordel K., et al.
Veröffentlicht: (2026)

Model Parallelism With Subnetwork Data Parallelism
von: Singh, Vaibhav, et al.
Veröffentlicht: (2025)

How Sparse Can We Prune A Deep Network: A Fundamental Limit Perspective
von: Zhang, Qiaozhe, et al.
Veröffentlicht: (2023)

Data Classification with Dynamically Growing and Shrinking Neural Networks
von: Świderski, Szymon, et al.
Veröffentlicht: (2025)

Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks
von: Yun, Juyoung
Veröffentlicht: (2023)

Sparse Covariance Neural Networks
von: Cavallo, Andrea, et al.
Veröffentlicht: (2024)

Concurrent Training and Layer Pruning of Deep Neural Networks
von: Guenter, Valentin Frank Ingmar, et al.
Veröffentlicht: (2024)

Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks
von: Fu, Yonggan, et al.
Veröffentlicht: (2021)

Always-Sparse Training by Growing Connections with Guided Stochastic Exploration
von: Heddes, Mike, et al.
Veröffentlicht: (2024)

Adaptive Sharpness-Aware Pruning for Robust Sparse Networks
von: Bair, Anna, et al.
Veröffentlicht: (2023)

PruneSymNet: A Symbolic Neural Network and Pruning Algorithm for Symbolic Regression
von: Wu, Min, et al.
Veröffentlicht: (2024)

Adaptive Signal Resuscitation: Channel-wise Post-Pruning Repair for Sparse Vision Networks
von: Zhan, Qishi, et al.
Veröffentlicht: (2026)

Pre-Training Identification of Graph Winning Tickets in Adaptive Spatial-Temporal Graph Neural Networks
von: Duan, Wenying, et al.
Veröffentlicht: (2024)