Buchumschlag

Insights into the Lottery Ticket Hypothesis and Iterative Magnitude Pruning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Saleem, Tausifa Jan, Ahuja, Ramanjit, Prasad, Surendra, Lall, Brejesh
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LIB-KD: Teaching Inductive Bias for Efficient Vision Transformer Distillation and Compression
von: Habib, Gousia, et al.
Veröffentlicht: (2023)

Quantization vs Pruning: Insights from the Strong Lottery Ticket Hypothesis
von: Kumar, Aakash, et al.
Veröffentlicht: (2025)

Bayesian Lottery Ticket Hypothesis
von: Kuhn, Nicholas, et al.
Veröffentlicht: (2026)

Knowledge Distillation in Vision Transformers: A Critical Review
von: Habib, Gousia, et al.
Veröffentlicht: (2023)

On the Sparsity of the Strong Lottery Ticket Hypothesis
von: Natale, Emanuele, et al.
Veröffentlicht: (2024)

A Survey of Lottery Ticket Hypothesis
von: Liu, Bohan, et al.
Veröffentlicht: (2024)

Investigating the Lottery Ticket Hypothesis for Variational Quantum Circuits
von: Kölle, Michael, et al.
Veröffentlicht: (2025)

The Strong Lottery Ticket Hypothesis for Multi-Head Attention Mechanisms
von: Otsuka, Hikari, et al.
Veröffentlicht: (2025)

LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
von: Upadhyay, Ojasw
Veröffentlicht: (2024)

SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
von: You, Haoran, et al.
Veröffentlicht: (2022)

KS-Lottery: Finding Certified Lottery Tickets for Multilingual Language Models
von: Yuan, Fei, et al.
Veröffentlicht: (2024)

Generative QoE Modeling: A Lightweight Approach for Telecom Networks
von: Nayar, Vinti, et al.
Veröffentlicht: (2025)

When Layers Play the Lottery, all Tickets Win at Initialization
von: Jordao, Artur, et al.
Veröffentlicht: (2023)

Weisfeiler and Leman Go Gambling: Why Expressive Lottery Tickets Win
von: Kummer, Lorenz, et al.
Veröffentlicht: (2025)

Grokking as Structural Inference: Transformers Need Bayesian Lottery Tickets
von: Hidajat, Kai, et al.
Veröffentlicht: (2026)

Towards Scalable Lottery Ticket Networks using Genetic Algorithms
von: Schönberger, Julian, et al.
Veröffentlicht: (2025)

Toy Combinatorial Interpretability Models Reveal Lottery Tickets in Early Feature Space
von: Bebchuk, Alon, et al.
Veröffentlicht: (2026)

Bridging Lottery Ticket and Grokking: Understanding Grokking from Inner Structure of Networks
von: Minegishi, Gouki, et al.
Veröffentlicht: (2023)

Partially Frozen Random Networks Contain Compact Strong Lottery Tickets
von: Otsuka, Hikari, et al.
Veröffentlicht: (2024)

Uncovering a Winning Lottery Ticket with Continuously Relaxed Bernoulli Gates
von: Tsayag, Itamar, et al.
Veröffentlicht: (2026)

On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking
von: He, Jianliang, et al.
Veröffentlicht: (2026)

A Comprehensive Review of Knowledge Distillation in Computer Vision
von: Habib, Gousia, et al.
Veröffentlicht: (2024)

A Neural Scaling Law from Lottery Ticket Ensembling
von: Liu, Ziming, et al.
Veröffentlicht: (2023)

Sparse Weight Averaging with Multiple Particles for Iterative Magnitude Pruning
von: Choi, Moonseok, et al.
Veröffentlicht: (2023)

Sparse Training from Random Initialization: Aligning Lottery Ticket Masks using Weight Symmetry
von: Adnan, Mohammed, et al.
Veröffentlicht: (2025)

Winning Lottery Tickets in Neural Networks via a Quantum-Inspired Classical Algorithm
von: Isogai, Natsuto, et al.
Veröffentlicht: (2026)

Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets
von: da Cunha, Arthur, et al.
Veröffentlicht: (2023)

FedMap: Iterative Magnitude-Based Pruning for Communication-Efficient Federated Learning
von: Herzog, Alexander, et al.
Veröffentlicht: (2024)

Winning the Lottery by Preserving Network Training Dynamics with Concrete Ticket Search
von: Arora, Tanay, et al.
Veröffentlicht: (2025)

On How Iterative Magnitude Pruning Discovers Local Receptive Fields in Fully Connected Neural Networks
von: Redman, William T., et al.
Veröffentlicht: (2024)

Early Transformers: A study on Efficient Training of Transformer Models through Early-Bird Lottery Tickets
von: Cheekati, Shravan
Veröffentlicht: (2024)

Advancing IIoT with Over-the-Air Federated Learning: The Role of Iterative Magnitude Pruning
von: Khan, Fazal Muhammad Ali, et al.
Veröffentlicht: (2024)

The Multiple Ticket Hypothesis: Random Sparse Subnetworks Suffice for RLVR
von: Adewuyi, Israel, et al.
Veröffentlicht: (2026)

Spiking Layer-Adaptive Magnitude-based Pruning
von: Wang, Junqiao, et al.
Veröffentlicht: (2026)

Fast Track to Winning Tickets: Repowering One-Shot Pruning for Graph Neural Networks
von: Yue, Yanwei, et al.
Veröffentlicht: (2024)

The Lottery Ticket Hypothesis in Denoising: Towards Semantic-Driven Initialization
von: Mao, Jiafeng, et al.
Veröffentlicht: (2023)

The Open-World Lottery Ticket Hypothesis for OOD Intent Classification
von: Zhou, Yunhua, et al.
Veröffentlicht: (2022)

IPPRO: Importance-based Pruning with PRojective Offset for Magnitude-indifferent Structural Pruning
von: Jung, Jaeheun, et al.
Veröffentlicht: (2025)

The Neural Pruning Law Hypothesis
von: Barbulescu, Eugen, et al.
Veröffentlicht: (2025)

ASAP: Attention-Shift-Aware Pruning for Efficient LVLM Inference
von: Pathak, Surendra, et al.
Veröffentlicht: (2026)