Stochastic Subnetwork Annealing: A Regularization Technique for Fine Tuning Pruned Subnetworks
Fuente:
arXiv
Salvato in:
| Autori principali: | Whitaker, Tim, Whitley, Darrell |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Neural Subnetwork Ensembles
di: Whitaker, Tim
Pubblicazione: (2023)
di: Whitaker, Tim
Pubblicazione: (2023)
Reinforcement Learning Fine-Tunes a Sparse Subnetwork in Large Language Models
di: Balashov, Andrii
Pubblicazione: (2025)
di: Balashov, Andrii
Pubblicazione: (2025)
Instilling Inductive Biases with Subnetworks
di: Zhang, Enyan, et al.
Pubblicazione: (2023)
di: Zhang, Enyan, et al.
Pubblicazione: (2023)
Growing Winning Subnetworks, Not Pruning Them: A Paradigm for Density Discovery in Sparse Neural Networks
di: Yao, Qihang, et al.
Pubblicazione: (2025)
di: Yao, Qihang, et al.
Pubblicazione: (2025)
One-Cycle Structured Pruning via Stability-Driven Subnetwork Search
di: Ghimire, Deepak, et al.
Pubblicazione: (2025)
di: Ghimire, Deepak, et al.
Pubblicazione: (2025)
Sequential Bayesian Neural Subnetwork Ensembles
di: Jantre, Sanket, et al.
Pubblicazione: (2022)
di: Jantre, Sanket, et al.
Pubblicazione: (2022)
Model Parallelism With Subnetwork Data Parallelism
di: Singh, Vaibhav, et al.
Pubblicazione: (2025)
di: Singh, Vaibhav, et al.
Pubblicazione: (2025)
Finding Stable Subnetworks at Initialization with Dataset Distillation
di: McDermott, Luke, et al.
Pubblicazione: (2025)
di: McDermott, Luke, et al.
Pubblicazione: (2025)
Continual Deep Learning on the Edge via Stochastic Local Competition among Subnetworks
di: Christophides, Theodoros, et al.
Pubblicazione: (2024)
di: Christophides, Theodoros, et al.
Pubblicazione: (2024)
Efficient Stagewise Pretraining via Progressive Subnetworks
di: Panigrahi, Abhishek, et al.
Pubblicazione: (2024)
di: Panigrahi, Abhishek, et al.
Pubblicazione: (2024)
Stochastic Collapse: How Gradient Noise Attracts SGD Dynamics Towards Simpler Subnetworks
di: Chen, Feng, et al.
Pubblicazione: (2023)
di: Chen, Feng, et al.
Pubblicazione: (2023)
Reinforcement Learning Finetunes Small Subnetworks in Large Language Models
di: Mukherjee, Sagnik, et al.
Pubblicazione: (2025)
di: Mukherjee, Sagnik, et al.
Pubblicazione: (2025)
REDS: Resource-Efficient Deep Subnetworks for Dynamic Resource Constraints
di: Corti, Francesco, et al.
Pubblicazione: (2023)
di: Corti, Francesco, et al.
Pubblicazione: (2023)
Memory Constrained Dynamic Subnetwork Update for Transfer Learning
di: Quélennec, Aël, et al.
Pubblicazione: (2025)
di: Quélennec, Aël, et al.
Pubblicazione: (2025)
A Combinatorial Theory of Dropout: Subnetworks, Graph Geometry, and Generalization
di: Dhayalkar, Sahil Rajesh
Pubblicazione: (2025)
di: Dhayalkar, Sahil Rajesh
Pubblicazione: (2025)
Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data
di: Stefanski, Grzegorz, et al.
Pubblicazione: (2026)
di: Stefanski, Grzegorz, et al.
Pubblicazione: (2026)
Discovering Knowledge-Critical Subnetworks in Pretrained Language Models
di: Bayazit, Deniz, et al.
Pubblicazione: (2023)
di: Bayazit, Deniz, et al.
Pubblicazione: (2023)
FedSI: Federated Subnetwork Inference for Efficient Uncertainty Quantification
di: Chen, Hui, et al.
Pubblicazione: (2024)
di: Chen, Hui, et al.
Pubblicazione: (2024)
The Heuristic Core: Understanding Subnetwork Generalization in Pretrained Language Models
di: Bhaskar, Adithya, et al.
Pubblicazione: (2024)
di: Bhaskar, Adithya, et al.
Pubblicazione: (2024)
TwIST: Rigging the Lottery in Transformers with Independent Subnetwork Training
di: Menezes, Michael, et al.
Pubblicazione: (2025)
di: Menezes, Michael, et al.
Pubblicazione: (2025)
The Multiple Ticket Hypothesis: Random Sparse Subnetworks Suffice for RLVR
di: Adewuyi, Israel, et al.
Pubblicazione: (2026)
di: Adewuyi, Israel, et al.
Pubblicazione: (2026)
Learning to Rebalance Multi-Modal Optimization by Adaptively Masking Subnetworks
di: Yang, Yang, et al.
Pubblicazione: (2024)
di: Yang, Yang, et al.
Pubblicazione: (2024)
Bias In, Bias Out? Finding Unbiased Subnetworks in Vanilla Models
di: Matos, Ivan Luiz De Moura, et al.
Pubblicazione: (2026)
di: Matos, Ivan Luiz De Moura, et al.
Pubblicazione: (2026)
Learning Power Control Protocol for In-Factory 6G Subnetworks
di: Uyoata, Uyoata E., et al.
Pubblicazione: (2025)
di: Uyoata, Uyoata E., et al.
Pubblicazione: (2025)
Task-specific Subnetwork Discovery in Reinforcement Learning for Autonomous Underwater Navigation
di: Liu, Yi-Ling, et al.
Pubblicazione: (2026)
di: Liu, Yi-Ling, et al.
Pubblicazione: (2026)
FedSub: Introducing Class-aware Subnetworks Fusion to Enhance Personalized Federated Learning
di: Campana, Mattia Giovanni, et al.
Pubblicazione: (2024)
di: Campana, Mattia Giovanni, et al.
Pubblicazione: (2024)
Robust Tickets Can Transfer Better: Drawing More Transferable Subnetworks in Transfer Learning
di: Fu, Yonggan, et al.
Pubblicazione: (2023)
di: Fu, Yonggan, et al.
Pubblicazione: (2023)
Towards a Better Theoretical Understanding of Independent Subnetwork Training
di: Shulgin, Egor, et al.
Pubblicazione: (2023)
di: Shulgin, Egor, et al.
Pubblicazione: (2023)
Continual Learning: Forget-free Winning Subnetworks for Video Representations
di: Kang, Haeyong, et al.
Pubblicazione: (2023)
di: Kang, Haeyong, et al.
Pubblicazione: (2023)
Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
di: Suwal, Sanish, et al.
Pubblicazione: (2025)
di: Suwal, Sanish, et al.
Pubblicazione: (2025)
Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks
di: Fu, Yonggan, et al.
Pubblicazione: (2021)
di: Fu, Yonggan, et al.
Pubblicazione: (2021)
Exploring Subnetwork Interactions in Heterogeneous Brain Network via Prior-Informed Graph Learning
di: Liu, Siyu, et al.
Pubblicazione: (2026)
di: Liu, Siyu, et al.
Pubblicazione: (2026)
SSFL: Discovering Sparse Unified Subnetworks at Initialization for Efficient Federated Learning
di: Ohib, Riyasat, et al.
Pubblicazione: (2024)
di: Ohib, Riyasat, et al.
Pubblicazione: (2024)
FedPeWS: Personalized Warmup via Subnetworks for Enhanced Heterogeneous Federated Learning
di: Tastan, Nurbek, et al.
Pubblicazione: (2024)
di: Tastan, Nurbek, et al.
Pubblicazione: (2024)
Unsupervised Graph-based Learning Method for Sub-band Allocation in 6G Subnetworks
di: Abode, Daniel, et al.
Pubblicazione: (2023)
di: Abode, Daniel, et al.
Pubblicazione: (2023)
Adaptive Dual-Teacher Distillation with Subnetwork Rectification for Bridging Semantic Gaps in Black-Box Domain Adaptation
di: Zhang, Zhe, et al.
Pubblicazione: (2026)
di: Zhang, Zhe, et al.
Pubblicazione: (2026)
NK Hybrid Genetic Algorithm for Clustering
di: Tinós, Renato, et al.
Pubblicazione: (2024)
di: Tinós, Renato, et al.
Pubblicazione: (2024)
Effective Fine-Tuning with Eigenvector Centrality Based Pruning
di: Chowdhury, Shaif, et al.
Pubblicazione: (2025)
di: Chowdhury, Shaif, et al.
Pubblicazione: (2025)
Learning Rate Annealing Improves Tuning Robustness in Stochastic Optimization
di: Attia, Amit, et al.
Pubblicazione: (2025)
di: Attia, Amit, et al.
Pubblicazione: (2025)
Policy Gradient with Adaptive Entropy Annealing for Continual Fine-Tuning
di: Zhang, Yaqian, et al.
Pubblicazione: (2026)
di: Zhang, Yaqian, et al.
Pubblicazione: (2026)
Documenti analoghi
-
Neural Subnetwork Ensembles
di: Whitaker, Tim
Pubblicazione: (2023) -
Reinforcement Learning Fine-Tunes a Sparse Subnetwork in Large Language Models
di: Balashov, Andrii
Pubblicazione: (2025) -
Instilling Inductive Biases with Subnetworks
di: Zhang, Enyan, et al.
Pubblicazione: (2023) -
Growing Winning Subnetworks, Not Pruning Them: A Paradigm for Density Discovery in Sparse Neural Networks
di: Yao, Qihang, et al.
Pubblicazione: (2025) -
One-Cycle Structured Pruning via Stability-Driven Subnetwork Search
di: Ghimire, Deepak, et al.
Pubblicazione: (2025)