Buchumschlag

Cyclic Sparse Training: Is it Enough?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gadhikar, Advait, Nelaturu, Sree Harsha, Burkholz, Rebekka
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Sign-In to the Lottery: Reparameterizing Sparse Training From Scratch
von: Gadhikar, Advait, et al.
Veröffentlicht: (2025)

Masks, Signs, And Learning Rate Rewinding
von: Gadhikar, Advait, et al.
Veröffentlicht: (2024)

Pay Attention to Small Weights
von: Zhou, Chao, et al.
Veröffentlicht: (2025)

Hyperbolic Aware Minimization: Implicit Bias for Sparsity
von: Jacobs, Tom, et al.
Veröffentlicht: (2025)

Bridging Domains through Subspace-Aware Model Merging
von: Chaves, Levy, et al.
Veröffentlicht: (2026)

DiffAug: A Diffuse-and-Denoise Augmentation for Training Robust Classifiers
von: Sastry, Chandramouli, et al.
Veröffentlicht: (2023)

Sparse-to-Sparse Training of Diffusion Models
von: Oliveira, Inês Cardoso, et al.
Veröffentlicht: (2025)

CycleBNN: Cyclic Precision Training in Binary Neural Networks
von: Fontana, Federico, et al.
Veröffentlicht: (2024)

One-Step is Enough: Sparse Autoencoders for Text-to-Image Diffusion Models
von: Surkov, Viacheslav, et al.
Veröffentlicht: (2024)

Augmented Conditioning Is Enough For Effective Training Image Generation
von: Chen, Jiahui, et al.
Veröffentlicht: (2025)

Dynamic Sparse Training with Structured Sparsity
von: Lasby, Mike, et al.
Veröffentlicht: (2023)

General Cyclical Training of Neural Networks
von: Smith, Leslie N.
Veröffentlicht: (2022)

Decoding Federated Learning: The FedNAM+ Conformal Revolution
von: Balija, Sree Bhargavi, et al.
Veröffentlicht: (2025)

LVSA: Training-Free Sparse Attention for Long Video Diffusion
von: Glorian, Gael, et al.
Veröffentlicht: (2026)

TinyTrain: Resource-Aware Task-Adaptive Sparse Training of DNNs at the Data-Scarce Edge
von: Kwon, Young D., et al.
Veröffentlicht: (2023)

Sparse-IFT: Sparse Iso-FLOP Transformations for Maximizing Training Efficiency
von: Thangarasa, Vithursan, et al.
Veröffentlicht: (2023)

Attention Is All You Need For Mixture-of-Depths Routing
von: Gadhikar, Advait, et al.
Veröffentlicht: (2024)

Do Your Best and Get Enough Rest for Continual Learning
von: Kang, Hankyul, et al.
Veröffentlicht: (2025)

Entropy is not Enough for Test-Time Adaptation: From the Perspective of Disentangled Factors
von: Lee, Jonghyun, et al.
Veröffentlicht: (2024)

Embracing Unknown Step by Step: Towards Reliable Sparse Training in Real World
von: Lei, Bowen, et al.
Veröffentlicht: (2024)

Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers
von: Pavlitska, Svetlana, et al.
Veröffentlicht: (2025)

A Multi-Task Deep Learning Framework for Skin Lesion Classification, ABCDE Feature Quantification, and Evolution Simulation
von: Kotla, Harsha, et al.
Veröffentlicht: (2025)

New Foggy Object Detecting Model
von: Banavathu, Rahul, et al.
Veröffentlicht: (2024)

Tuning Just Enough: Lightweight Backdoor Attacks on Multi-Encoder Diffusion Models
von: Chen, Ziyuan, et al.
Veröffentlicht: (2026)

Towards Better Alignment: Training Diffusion Models with Reinforcement Learning Against Sparse Rewards
von: Hu, Zijing, et al.
Veröffentlicht: (2025)

When Is Rank-1 Enough? Geometry-Guided Initialization for Parameter-Efficient Fine-Tuning
von: Zhao, Haoran, et al.
Veröffentlicht: (2026)

CLIP-UP: A Simple and Efficient Mixture-of-Experts CLIP Training Recipe with Sparse Upcycling
von: Wang, Xinze, et al.
Veröffentlicht: (2025)

OptRot: Mitigating Weight Outliers via Data-Free Rotations for Post-Training Quantization
von: Gadhikar, Advait, et al.
Veröffentlicht: (2025)

Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks
von: Noel, Mathew Mithra, et al.
Veröffentlicht: (2021)

When Accuracy Is Not Enough: Uncertainty Collapse between Noisy Label Learning and Out-of-Distribution Detection
von: Peng, Ningkang, et al.
Veröffentlicht: (2026)

InstaFlow: One Step is Enough for High-Quality Diffusion-Based Text-to-Image Generation
von: Liu, Xingchao, et al.
Veröffentlicht: (2023)

Online Distillation with Continual Learning for Cyclic Domain Shifts
von: Houyon, Joachim, et al.
Veröffentlicht: (2023)

Pruning One More Token is Enough: Leveraging Latency-Workload Non-Linearities for Vision Transformers on the Edge
von: Eliopoulos, Nick John, et al.
Veröffentlicht: (2024)

CaReFlow: Cyclic Adaptive Rectified Flow for Multimodal Fusion
von: Mai, Sijie, et al.
Veröffentlicht: (2026)

Cyclical Temporal Encoding and Hybrid Deep Ensembles for Multistep Energy Forecasting
von: Khazem, Salim, et al.
Veröffentlicht: (2025)

When the Small-Loss Trick is Not Enough: Multi-Label Image Classification with Noisy Labels Applied to CCTV Sewer Inspections
von: Chelouche, Keryan, et al.
Veröffentlicht: (2024)

Sparsely Activated Networks
von: Bizopoulos, Paschalis, et al.
Veröffentlicht: (2019)

HORST: Composing Optimizer Geometries for Sparse Transformer Training
von: Jacobs, Tom, et al.
Veröffentlicht: (2026)

Pix2Fact: When Vision Is Not Enough -- Benchmarking Fine-Grained VQA with Web Verification on High-Resolution Real-World Scenes
von: Jiang, Yifan, et al.
Veröffentlicht: (2026)

Sparse Autoencoders are Topic Models
von: Girrbach, Leander, et al.
Veröffentlicht: (2025)