Buchumschlag

Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lee, Yousung, Har, Dongsoo
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computer Vision and Pattern Recognition Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks
von: Flovik, Vegard
Veröffentlicht: (2025)

Steering LVLMs via Sparse Autoencoder for Hallucination Mitigation
von: Hua, Zhenglin, et al.
Veröffentlicht: (2025)

Beyond Interpretability: When, Why, and How Sparse Autoencoders Enable Label-Free Visual Steering
von: Chatzoudis, Gerasimos, et al.
Veröffentlicht: (2025)

Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models
von: Pach, Mateusz, et al.
Veröffentlicht: (2025)

Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models
von: Yang, Jiaxi, et al.
Veröffentlicht: (2026)

Reducing Hallucinations in Vision-Language Models via Latent Space Steering
von: Liu, Sheng, et al.
Veröffentlicht: (2024)

Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models
von: Dafnis, Konstantinos M., et al.
Veröffentlicht: (2025)

Interpreting CLIP with Hierarchical Sparse Autoencoders
von: Zaigrajew, Vladimir, et al.
Veröffentlicht: (2025)

TAP-ViTs: Task-Adaptive Pruning for On-Device Deployment of Vision Transformers
von: Wang, Zhibo, et al.
Veröffentlicht: (2026)

Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
von: Faysal, Atik, et al.
Veröffentlicht: (2026)

MimiQ: Low-Bit Data-Free Quantization of Vision Transformers with Encouraging Inter-Head Attention Similarity
von: Choi, Kanghyun, et al.
Veröffentlicht: (2024)

Isomorphic Pruning for Vision Models
von: Fang, Gongfan, et al.
Veröffentlicht: (2024)

Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models
von: Yeung, Calvin, et al.
Veröffentlicht: (2026)

Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers
von: Hatefi, Sayed Mohammad Vakilzadeh, et al.
Veröffentlicht: (2024)

i-MAE: Are Latent Representations in Masked Autoencoders Linearly Separable?
von: Zhang, Kevin, et al.
Veröffentlicht: (2022)

SparseSwin: Swin Transformer with Sparse Transformer Block
von: Pinasthika, Krisna, et al.
Veröffentlicht: (2023)

Block-Recurrent Dynamics in Vision Transformers
von: Jacobs, Mozes, et al.
Veröffentlicht: (2025)

MeanFlow Transformers with Representation Autoencoders
von: Hu, Zheyuan, et al.
Veröffentlicht: (2025)

Sparse Model Inversion: Efficient Inversion of Vision Transformers for Data-Free Applications
von: Hu, Zixuan, et al.
Veröffentlicht: (2025)

Unsupervised Dynamic Feature Selection for Robust Latent Spaces in Vision Tasks
von: Corcuera, Bruno, et al.
Veröffentlicht: (2025)

One-Step is Enough: Sparse Autoencoders for Text-to-Image Diffusion Models
von: Surkov, Viacheslav, et al.
Veröffentlicht: (2024)

MDP: Multidimensional Vision Model Pruning with Latency Constraint
von: Sun, Xinglong, et al.
Veröffentlicht: (2025)

Exploring Token Pruning in Vision State Space Models
von: Zhan, Zheng, et al.
Veröffentlicht: (2024)

LD-Pruner: Efficient Pruning of Latent Diffusion Models using Task-Agnostic Insights
von: Castells, Thibault, et al.
Veröffentlicht: (2024)

Uncertainties of Latent Representations in Computer Vision
von: Kirchhof, Michael
Veröffentlicht: (2024)

Abstract Art Interpretation Using ControlNet
von: Srivastava, Rishabh, et al.
Veröffentlicht: (2024)

Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
von: Lee, Byung-Kwan, et al.
Veröffentlicht: (2025)

Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations
von: Saikumar, Dhananjay, et al.
Veröffentlicht: (2025)

LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
von: Upadhyay, Ojasw
Veröffentlicht: (2024)

Training-Free Restoration of Pruned Neural Networks
von: Lee, Keonho, et al.
Veröffentlicht: (2025)

AdaRank: Adaptive Rank Pruning for Enhanced Model Merging
von: Lee, Chanhyuk, et al.
Veröffentlicht: (2025)

VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
von: Yu, Xinlei, et al.
Veröffentlicht: (2025)

Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization
von: Kang, Seongjae, et al.
Veröffentlicht: (2025)

Sparse Autoencoders as Plug-and-Play Firewalls for Adversarial Attack Detection in VLMs
von: Wang, Hao, et al.
Veröffentlicht: (2026)

GeoSAE: Geometric Prior-Guided Layer-Wise Sparse Autoencoder Annotation of Brain MRI Foundation Models
von: Nerrise, Favour, et al.
Veröffentlicht: (2026)

MHA2MLA-VLM: Enabling DeepSeek's Economical Multi-Head Latent Attention across Vision-Language Models
von: Fan, Xiaoran, et al.
Veröffentlicht: (2026)

Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers
von: Chen, Pengtao, et al.
Veröffentlicht: (2025)

Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
von: Suwal, Sanish, et al.
Veröffentlicht: (2025)

Accurate and Efficient World Modeling with Masked Latent Transformers
von: Burchi, Maxime, et al.
Veröffentlicht: (2025)

The Hidden Life of Tokens: Reducing Hallucination of Large Vision-Language Models via Visual Information Steering
von: Li, Zhuowei, et al.
Veröffentlicht: (2025)