Copertina

Efficient Sparse Training with Structured Dropout

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autore principale:	Lo, Andy
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Efficient Dynamic Structured Sparse Training with Learned Shuffles
di: Tyagi, Abhishek, et al.
Pubblicazione: (2025)

Enhancing Transformer Training Efficiency with Dynamic Dropout
di: Yan, Hanrui, et al.
Pubblicazione: (2024)

Grass: Compute Efficient Low-Memory LLM Training with Structured Sparse Gradients
di: Muhamed, Aashiq, et al.
Pubblicazione: (2024)

Dropout-Based Rashomon Set Exploration for Efficient Predictive Multiplicity Estimation
di: Hsu, Hsiang, et al.
Pubblicazione: (2024)

FairDropout: Using Example-Tied Dropout to Enhance Generalization of Minority Groups
di: Nanfack, Geraldin, et al.
Pubblicazione: (2025)

DPad: Efficient Diffusion Language Models with Suffix Dropout
di: Chen, Xinhua, et al.
Pubblicazione: (2025)

Multi-level Monte Carlo Dropout for Efficient Uncertainty Quantification
di: Pim, Aaron, et al.
Pubblicazione: (2026)

Investigating the Synergistic Effects of Dropout and Residual Connections on Language Model Training
di: Li, Qingyang, et al.
Pubblicazione: (2024)

Topology-Aware Revival for Efficient Sparse Training
di: Jin, Meiling, et al.
Pubblicazione: (2026)

Toward Efficient Influence Function: Dropout as a Compression Tool
di: Zhang, Yuchen, et al.
Pubblicazione: (2025)

BiSparse-AAS: Bilinear Sparse Attention and Adaptive Spans Framework for Scalable and Efficient Text Summarization
di: Hagos, Desta Haileselassie, et al.
Pubblicazione: (2025)

Progressive Data Dropout: An Embarrassingly Simple Approach to Faster Training
di: Sathiyanarayanan, Shriram M, et al.
Pubblicazione: (2025)

Dynamic Sparse Training with Structured Sparsity
di: Lasby, Mike, et al.
Pubblicazione: (2023)

Dropout Neural Network Training Viewed from a Percolation Perspective
di: Devlin, Finley, et al.
Pubblicazione: (2025)

FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale Neural Networks through Federated Learning
di: Chen, Yuanyuan, et al.
Pubblicazione: (2022)

Dynamic Sparse Training of Diagonally Sparse Networks
di: Tyagi, Abhishek, et al.
Pubblicazione: (2025)

Continuum Dropout for Neural Differential Equations
di: Lee, Jonghun, et al.
Pubblicazione: (2025)

Mixture-of-Channels: Exploiting Sparse FFNs for Efficient LLMs Pre-Training and Inference
di: Wu, Tong, et al.
Pubblicazione: (2025)

ZO-SAM: Zero-Order Sharpness-Aware Minimization for Efficient Sparse Training
di: Ji, Jie, et al.
Pubblicazione: (2026)

Unreliable Uncertainty Estimates with Monte Carlo Dropout
di: Djupskås, Aslak, et al.
Pubblicazione: (2025)

Dropout Drops Double Descent
di: Yang, Tian-Le, et al.
Pubblicazione: (2023)

S2Aligner: Pair-Efficient and Transferable Pre-Training for Sparse Text-Attributed Graphs
di: Wang, Yuhan, et al.
Pubblicazione: (2026)

Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout
di: Liu, Ji, et al.
Pubblicazione: (2025)

SPD-CFL: Stepwise Parameter Dropout for Efficient Continual Federated Learning
di: Yang, Yuning, et al.
Pubblicazione: (2024)

Adaptive Tabu Dropout for Regularization of Deep Neural Network
di: Hasan, Md. Tarek, et al.
Pubblicazione: (2024)

An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
di: Huang, Jundi, et al.
Pubblicazione: (2025)

Dropout Induced Noise for Co-Creative GAN Systems
di: Wieluch, Sabine, et al.
Pubblicazione: (2019)

SparseOpt: Addressing Normalization-induced Gradient Skew in Sparse Training
di: Adnan, Mohammed, et al.
Pubblicazione: (2026)

SparseTransX: Efficient Training of Translation-Based Knowledge Graph Embeddings Using Sparse Matrix Operations
di: Anik, Md Saidul Hoque, et al.
Pubblicazione: (2025)

Localising Dropout Variance in Twin Networks
di: Doyle, Cooper
Pubblicazione: (2025)

Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning
di: Meinhardt, Georg, et al.
Pubblicazione: (2024)

Low Rank and Sparse Fourier Structure in Recurrent Networks Trained on Modular Addition
di: Rangamani, Akshay
Pubblicazione: (2025)

P-DROP: Poisson-Based Dropout for Graph Neural Networks
di: Yun, Hyunsik
Pubblicazione: (2025)

Effects of Dropout on Performance in Long-range Graph Learning Tasks
di: Singh, Jasraj, et al.
Pubblicazione: (2025)

Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
di: Chen, Xuanzhou
Pubblicazione: (2026)

Generative Autoencoding of Dropout Patterns
di: Maeda, Shunta
Pubblicazione: (2023)

Sparse and Structured Hopfield Networks
di: Santos, Saul, et al.
Pubblicazione: (2024)

SparsyFed: Sparse Adaptive Federated Training
di: Guastella, Adriano, et al.
Pubblicazione: (2025)

Federated Dropout: Convergence Analysis and Resource Allocation
di: Xie, Sijing, et al.
Pubblicazione: (2024)

Sparse-to-Sparse Training of Diffusion Models
di: Oliveira, Inês Cardoso, et al.
Pubblicazione: (2025)