Buchumschlag

LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Upadhyay, Ojasw
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Finding Lottery Tickets in Vision Models via Data-driven Spectral Foresight Pruning
von: Iurada, Leonardo, et al.
Veröffentlicht: (2024)

Winning the Lottery by Preserving Network Training Dynamics with Concrete Ticket Search
von: Arora, Tanay, et al.
Veröffentlicht: (2025)

Bayesian Lottery Ticket Hypothesis
von: Kuhn, Nicholas, et al.
Veröffentlicht: (2026)

SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
von: You, Haoran, et al.
Veröffentlicht: (2022)

Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data
von: Stefanski, Grzegorz, et al.
Veröffentlicht: (2026)

PLUM: Improving Inference Efficiency By Leveraging Repetition-Sparsity Trade-Off
von: Kuhar, Sachit, et al.
Veröffentlicht: (2023)

On the Sparsity of the Strong Lottery Ticket Hypothesis
von: Natale, Emanuele, et al.
Veröffentlicht: (2024)

Uncovering Critical Features for Deepfake Detection through the Lottery Ticket Hypothesis
von: Amin, Lisan Al, et al.
Veröffentlicht: (2025)

Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers
von: Hatefi, Sayed Mohammad Vakilzadeh, et al.
Veröffentlicht: (2024)

Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
von: Suwal, Sanish, et al.
Veröffentlicht: (2025)

SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention
von: Zhang, Jintao, et al.
Veröffentlicht: (2025)

Self-supervised Benchmark Lottery on ImageNet: Do Marginal Improvements Translate to Improvements on Similar Datasets?
von: Ozbulak, Utku, et al.
Veröffentlicht: (2025)

LOTUS: A Leaderboard for Detailed Image Captioning from Quality to Societal Bias and User Preferences
von: Hirota, Yusuke, et al.
Veröffentlicht: (2025)

TAP-ViTs: Task-Adaptive Pruning for On-Device Deployment of Vision Transformers
von: Wang, Zhibo, et al.
Veröffentlicht: (2026)

Multimodal Pathway: Improve Transformers with Irrelevant Data from Other Modalities
von: Zhang, Yiyuan, et al.
Veröffentlicht: (2024)

Distill the Best, Ignore the Rest: Improving Dataset Distillation with Loss-Value-Based Pruning
von: Moser, Brian B., et al.
Veröffentlicht: (2024)

Provably Robust Conformal Prediction with Improved Efficiency
von: Yan, Ge, et al.
Veröffentlicht: (2024)

Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
von: Lee, Yousung, et al.
Veröffentlicht: (2026)

Extreme Model Compression with Structured Sparsity at Low Precision
von: Liu, Dan, et al.
Veröffentlicht: (2025)

Multi-Dimensional Pruning: Joint Channel, Layer and Block Pruning with Latency Constraint
von: Sun, Xinglong, et al.
Veröffentlicht: (2024)

ConceptPrune: Concept Editing in Diffusion Models via Skilled Neuron Pruning
von: Chavhan, Ruchika, et al.
Veröffentlicht: (2024)

DivPrune: Diversity-based Visual Token Pruning for Large Multimodal Models
von: Alvar, Saeed Ranjbar, et al.
Veröffentlicht: (2025)

PaSTe: Improving the Efficiency of Visual Anomaly Detection at the Edge
von: Barusco, Manuel, et al.
Veröffentlicht: (2024)

Improving the Effectiveness and Efficiency of Stochastic Neighbour Embedding with Isolation Kernel
von: Zhu, Ye, et al.
Veröffentlicht: (2019)

Improving Interpretation Faithfulness for Vision Transformers
von: Hu, Lijie, et al.
Veröffentlicht: (2023)

Isomorphic Pruning for Vision Models
von: Fang, Gongfan, et al.
Veröffentlicht: (2024)

Meta Pruning via Graph Metanetworks : A Universal Meta Learning Framework for Network Pruning
von: Liu, Yewei, et al.
Veröffentlicht: (2025)

AmCLR: Unified Augmented Learning for Cross-Modal Representations
von: Jagannath, Ajay, et al.
Veröffentlicht: (2024)

Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation
von: Xu, Yue, et al.
Veröffentlicht: (2023)

On-Demand Multi-Task Sparsity for Efficient Large-Model Deployment on Edge Devices
von: Huang, Lianming, et al.
Veröffentlicht: (2025)

Balancing Accuracy, Calibration, and Efficiency in Active Learning with Vision Transformers Under Label Noise
von: Mots'oehli, Moseli, et al.
Veröffentlicht: (2025)

Training-Free Restoration of Pruned Neural Networks
von: Lee, Keonho, et al.
Veröffentlicht: (2025)

SparVAR: Exploring Sparsity in Visual AutoRegressive Modeling for Training-Free Acceleration
von: Li, Zekun, et al.
Veröffentlicht: (2026)

Exploring Token Pruning in Vision State Space Models
von: Zhan, Zheng, et al.
Veröffentlicht: (2024)

MDP: Multidimensional Vision Model Pruning with Latency Constraint
von: Sun, Xinglong, et al.
Veröffentlicht: (2025)

It's Not a Lottery, It's a Race: Understanding How Gradient Descent Adapts the Network's Capacity to the Task
von: Pinson, Hannah
Veröffentlicht: (2026)

FairNVT: Improving Fairness via Noise Injection in Vision Transformers
von: Tang, Qiaoyue, et al.
Veröffentlicht: (2026)

Just Leaf It: Accelerating Diffusion Classifiers with Hierarchical Class Pruning
von: Shanbhag, Arundhati S., et al.
Veröffentlicht: (2024)

EPSD: Early Pruning with Self-Distillation for Efficient Model Compression
von: Chen, Dong, et al.
Veröffentlicht: (2024)

AdaRank: Adaptive Rank Pruning for Enhanced Model Merging
von: Lee, Chanhyuk, et al.
Veröffentlicht: (2025)