Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Lee, Yousung, Har, Dongsoo |
|---|---|
| Format: | Preprint |
| Publié: |
2026
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks
par: Flovik, Vegard
Publié: (2025)
par: Flovik, Vegard
Publié: (2025)
Steering LVLMs via Sparse Autoencoder for Hallucination Mitigation
par: Hua, Zhenglin, et autres
Publié: (2025)
par: Hua, Zhenglin, et autres
Publié: (2025)
Beyond Interpretability: When, Why, and How Sparse Autoencoders Enable Label-Free Visual Steering
par: Chatzoudis, Gerasimos, et autres
Publié: (2025)
par: Chatzoudis, Gerasimos, et autres
Publié: (2025)
Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models
par: Pach, Mateusz, et autres
Publié: (2025)
par: Pach, Mateusz, et autres
Publié: (2025)
Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models
par: Yang, Jiaxi, et autres
Publié: (2026)
par: Yang, Jiaxi, et autres
Publié: (2026)
Reducing Hallucinations in Vision-Language Models via Latent Space Steering
par: Liu, Sheng, et autres
Publié: (2024)
par: Liu, Sheng, et autres
Publié: (2024)
Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models
par: Dafnis, Konstantinos M., et autres
Publié: (2025)
par: Dafnis, Konstantinos M., et autres
Publié: (2025)
Interpreting CLIP with Hierarchical Sparse Autoencoders
par: Zaigrajew, Vladimir, et autres
Publié: (2025)
par: Zaigrajew, Vladimir, et autres
Publié: (2025)
TAP-ViTs: Task-Adaptive Pruning for On-Device Deployment of Vision Transformers
par: Wang, Zhibo, et autres
Publié: (2026)
par: Wang, Zhibo, et autres
Publié: (2026)
Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
par: Faysal, Atik, et autres
Publié: (2026)
par: Faysal, Atik, et autres
Publié: (2026)
MimiQ: Low-Bit Data-Free Quantization of Vision Transformers with Encouraging Inter-Head Attention Similarity
par: Choi, Kanghyun, et autres
Publié: (2024)
par: Choi, Kanghyun, et autres
Publié: (2024)
Isomorphic Pruning for Vision Models
par: Fang, Gongfan, et autres
Publié: (2024)
par: Fang, Gongfan, et autres
Publié: (2024)
Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models
par: Yeung, Calvin, et autres
Publié: (2026)
par: Yeung, Calvin, et autres
Publié: (2026)
Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers
par: Hatefi, Sayed Mohammad Vakilzadeh, et autres
Publié: (2024)
par: Hatefi, Sayed Mohammad Vakilzadeh, et autres
Publié: (2024)
i-MAE: Are Latent Representations in Masked Autoencoders Linearly Separable?
par: Zhang, Kevin, et autres
Publié: (2022)
par: Zhang, Kevin, et autres
Publié: (2022)
SparseSwin: Swin Transformer with Sparse Transformer Block
par: Pinasthika, Krisna, et autres
Publié: (2023)
par: Pinasthika, Krisna, et autres
Publié: (2023)
Block-Recurrent Dynamics in Vision Transformers
par: Jacobs, Mozes, et autres
Publié: (2025)
par: Jacobs, Mozes, et autres
Publié: (2025)
MeanFlow Transformers with Representation Autoencoders
par: Hu, Zheyuan, et autres
Publié: (2025)
par: Hu, Zheyuan, et autres
Publié: (2025)
Sparse Model Inversion: Efficient Inversion of Vision Transformers for Data-Free Applications
par: Hu, Zixuan, et autres
Publié: (2025)
par: Hu, Zixuan, et autres
Publié: (2025)
Unsupervised Dynamic Feature Selection for Robust Latent Spaces in Vision Tasks
par: Corcuera, Bruno, et autres
Publié: (2025)
par: Corcuera, Bruno, et autres
Publié: (2025)
One-Step is Enough: Sparse Autoencoders for Text-to-Image Diffusion Models
par: Surkov, Viacheslav, et autres
Publié: (2024)
par: Surkov, Viacheslav, et autres
Publié: (2024)
MDP: Multidimensional Vision Model Pruning with Latency Constraint
par: Sun, Xinglong, et autres
Publié: (2025)
par: Sun, Xinglong, et autres
Publié: (2025)
Exploring Token Pruning in Vision State Space Models
par: Zhan, Zheng, et autres
Publié: (2024)
par: Zhan, Zheng, et autres
Publié: (2024)
LD-Pruner: Efficient Pruning of Latent Diffusion Models using Task-Agnostic Insights
par: Castells, Thibault, et autres
Publié: (2024)
par: Castells, Thibault, et autres
Publié: (2024)
Uncertainties of Latent Representations in Computer Vision
par: Kirchhof, Michael
Publié: (2024)
par: Kirchhof, Michael
Publié: (2024)
Abstract Art Interpretation Using ControlNet
par: Srivastava, Rishabh, et autres
Publié: (2024)
par: Srivastava, Rishabh, et autres
Publié: (2024)
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
par: Lee, Byung-Kwan, et autres
Publié: (2025)
par: Lee, Byung-Kwan, et autres
Publié: (2025)
Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations
par: Saikumar, Dhananjay, et autres
Publié: (2025)
par: Saikumar, Dhananjay, et autres
Publié: (2025)
LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
par: Upadhyay, Ojasw
Publié: (2024)
par: Upadhyay, Ojasw
Publié: (2024)
Training-Free Restoration of Pruned Neural Networks
par: Lee, Keonho, et autres
Publié: (2025)
par: Lee, Keonho, et autres
Publié: (2025)
AdaRank: Adaptive Rank Pruning for Enhanced Model Merging
par: Lee, Chanhyuk, et autres
Publié: (2025)
par: Lee, Chanhyuk, et autres
Publié: (2025)
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
par: Yu, Xinlei, et autres
Publié: (2025)
par: Yu, Xinlei, et autres
Publié: (2025)
Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization
par: Kang, Seongjae, et autres
Publié: (2025)
par: Kang, Seongjae, et autres
Publié: (2025)
Sparse Autoencoders as Plug-and-Play Firewalls for Adversarial Attack Detection in VLMs
par: Wang, Hao, et autres
Publié: (2026)
par: Wang, Hao, et autres
Publié: (2026)
GeoSAE: Geometric Prior-Guided Layer-Wise Sparse Autoencoder Annotation of Brain MRI Foundation Models
par: Nerrise, Favour, et autres
Publié: (2026)
par: Nerrise, Favour, et autres
Publié: (2026)
MHA2MLA-VLM: Enabling DeepSeek's Economical Multi-Head Latent Attention across Vision-Language Models
par: Fan, Xiaoran, et autres
Publié: (2026)
par: Fan, Xiaoran, et autres
Publié: (2026)
Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers
par: Chen, Pengtao, et autres
Publié: (2025)
par: Chen, Pengtao, et autres
Publié: (2025)
Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
par: Suwal, Sanish, et autres
Publié: (2025)
par: Suwal, Sanish, et autres
Publié: (2025)
Accurate and Efficient World Modeling with Masked Latent Transformers
par: Burchi, Maxime, et autres
Publié: (2025)
par: Burchi, Maxime, et autres
Publié: (2025)
The Hidden Life of Tokens: Reducing Hallucination of Large Vision-Language Models via Visual Information Steering
par: Li, Zhuowei, et autres
Publié: (2025)
par: Li, Zhuowei, et autres
Publié: (2025)
Documents similaires
-
SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks
par: Flovik, Vegard
Publié: (2025) -
Steering LVLMs via Sparse Autoencoder for Hallucination Mitigation
par: Hua, Zhenglin, et autres
Publié: (2025) -
Beyond Interpretability: When, Why, and How Sparse Autoencoders Enable Label-Free Visual Steering
par: Chatzoudis, Gerasimos, et autres
Publié: (2025) -
Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models
par: Pach, Mateusz, et autres
Publié: (2025) -
Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models
par: Yang, Jiaxi, et autres
Publié: (2026)