Decoding Vision Transformers: the Diffusion Steering Lens
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Takatsuki, Ryota, Joseph, Sonia, Fujisawa, Ippei, Kanai, Ryota |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Remembering Transformer for Continual Learning
par: Sun, Yuwei, et autres
Publié: (2024)
par: Sun, Yuwei, et autres
Publié: (2024)
MCM: Multi-layer Concept Map for Efficient Concept Learning from Masked Images
par: Sun, Yuwei, et autres
Publié: (2025)
par: Sun, Yuwei, et autres
Publié: (2025)
Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding
par: Kawasaki, Haruka, et autres
Publié: (2026)
par: Kawasaki, Haruka, et autres
Publié: (2026)
EDIT: Enhancing Vision Transformers by Mitigating Attention Sink through an Encoder-Decoder Architecture
par: Feng, Wenfeng, et autres
Publié: (2025)
par: Feng, Wenfeng, et autres
Publié: (2025)
ClaudesLens: Uncertainty Quantification in Computer Vision Models
par: Shaar, Mohamad Al, et autres
Publié: (2024)
par: Shaar, Mohamad Al, et autres
Publié: (2024)
Causally Steered Diffusion for Automated Video Counterfactual Generation
par: Spyrou, Nikos, et autres
Publié: (2025)
par: Spyrou, Nikos, et autres
Publié: (2025)
Seeing It or Not? Interpretable Vision-aware Latent Steering to Mitigate Object Hallucinations
par: Chen, Boxu, et autres
Publié: (2025)
par: Chen, Boxu, et autres
Publié: (2025)
Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction
par: Zhang, Yuanhong, et autres
Publié: (2026)
par: Zhang, Yuanhong, et autres
Publié: (2026)
Diffusion Models Through a Global Lens: Are They Culturally Inclusive?
par: Bayramli, Zahra, et autres
Publié: (2025)
par: Bayramli, Zahra, et autres
Publié: (2025)
VISOR++: Universal Visual Inputs based Steering for Large Vision Language Models
par: Balakrishnan, Ravikumar, et autres
Publié: (2025)
par: Balakrishnan, Ravikumar, et autres
Publié: (2025)
VISOR: Visual Input-based Steering for Output Redirection in Vision-Language Models
par: Phute, Mansi, et autres
Publié: (2025)
par: Phute, Mansi, et autres
Publié: (2025)
Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models
par: Yin, Jianghao, et autres
Publié: (2026)
par: Yin, Jianghao, et autres
Publié: (2026)
PrimeComposer: Faster Progressively Combined Diffusion for Image Composition with Attention Steering
par: Wang, Yibin, et autres
Publié: (2024)
par: Wang, Yibin, et autres
Publié: (2024)
SteerDiff: Steering towards Safe Text-to-Image Diffusion Models
par: Zhang, Hongxiang, et autres
Publié: (2024)
par: Zhang, Hongxiang, et autres
Publié: (2024)
Activation Steering Meets Preference Optimization: Defense Against Jailbreaks in Vision Language Models
par: Wu, Sihao, et autres
Publié: (2025)
par: Wu, Sihao, et autres
Publié: (2025)
Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
par: Lee, Yousung, et autres
Publié: (2026)
par: Lee, Yousung, et autres
Publié: (2026)
Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models
par: Yang, Jiaxi, et autres
Publié: (2026)
par: Yang, Jiaxi, et autres
Publié: (2026)
RAZOR: Ratio-Aware Layer Editing for Targeted Unlearning in Vision Transformers and Diffusion Models
par: Ranjan, Ravi, et autres
Publié: (2026)
par: Ranjan, Ravi, et autres
Publié: (2026)
Steering CLIP's vision transformer with sparse autoencoders
par: Joseph, Sonia, et autres
Publié: (2025)
par: Joseph, Sonia, et autres
Publié: (2025)
Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models
par: Zou, Zhengtao, et autres
Publié: (2025)
par: Zou, Zhengtao, et autres
Publié: (2025)
Vision-Language Introspection: Mitigating Overconfident Hallucinations in MLLMs via Interpretable Bi-Causal Steering
par: Liu, Shuliang, et autres
Publié: (2026)
par: Liu, Shuliang, et autres
Publié: (2026)
Mitigating Hallucination in Vision-Language Models through Barrier-Regulated Adaptive Closed-form Steering
par: Jana, Soumyadeep, et autres
Publié: (2026)
par: Jana, Soumyadeep, et autres
Publié: (2026)
Steering Away from Harm: An Adaptive Approach to Defending Vision Language Model Against Jailbreaks
par: Wang, Han, et autres
Publié: (2024)
par: Wang, Han, et autres
Publié: (2024)
SpecVLM: Fast Speculative Decoding in Vision-Language Models
par: Huang, Haiduo, et autres
Publié: (2025)
par: Huang, Haiduo, et autres
Publié: (2025)
Associative Transformer
par: Sun, Yuwei, et autres
Publié: (2023)
par: Sun, Yuwei, et autres
Publié: (2023)
DiffiT: Diffusion Vision Transformers for Image Generation
par: Hatamizadeh, Ali, et autres
Publié: (2023)
par: Hatamizadeh, Ali, et autres
Publié: (2023)
FiVL: A Framework for Improved Vision-Language Alignment through the Lens of Training, Evaluation and Explainability
par: Aflalo, Estelle, et autres
Publié: (2024)
par: Aflalo, Estelle, et autres
Publié: (2024)
MedSteer: Counterfactual Endoscopic Synthesis via Training-Free Activation Steering
par: Pham, Trong-Thang, et autres
Publié: (2026)
par: Pham, Trong-Thang, et autres
Publié: (2026)
Self-Introspective Decoding: Alleviating Hallucinations for Large Vision-Language Models
par: Huo, Fushuo, et autres
Publié: (2024)
par: Huo, Fushuo, et autres
Publié: (2024)
Vision Bridge Transformer at Scale
par: Tan, Zhenxiong, et autres
Publié: (2025)
par: Tan, Zhenxiong, et autres
Publié: (2025)
Benchmarking Unlearning for Vision Transformers
par: Zhao, Kairan, et autres
Publié: (2026)
par: Zhao, Kairan, et autres
Publié: (2026)
Improving Video Diffusion Transformer Training by Multi-Feature Fusion and Alignment from Self-Supervised Vision Encoders
par: Lee, Dohun, et autres
Publié: (2025)
par: Lee, Dohun, et autres
Publié: (2025)
Post-pre-training for Modality Alignment in Vision-Language Foundation Models
par: Yamaguchi, Shin'ya, et autres
Publié: (2025)
par: Yamaguchi, Shin'ya, et autres
Publié: (2025)
Mixed Signals: Decoding VLMs' Reasoning and Underlying Bias in Vision-Language Conflict
par: Pezeshkpour, Pouya, et autres
Publié: (2025)
par: Pezeshkpour, Pouya, et autres
Publié: (2025)
Self-Aug: Query and Entropy Adaptive Decoding for Large Vision-Language Models
par: Im, Eun Woo, et autres
Publié: (2025)
par: Im, Eun Woo, et autres
Publié: (2025)
Referring Expressions as a Lens into Spatial Language Grounding in Vision-Language Models
par: Tumu, Akshar, et autres
Publié: (2025)
par: Tumu, Akshar, et autres
Publié: (2025)
DDT: Decoupled Diffusion Transformer
par: Wang, Shuai, et autres
Publié: (2025)
par: Wang, Shuai, et autres
Publié: (2025)
The Linear Attention Resurrection in Vision Transformer
par: Zheng, Chuanyang
Publié: (2025)
par: Zheng, Chuanyang
Publié: (2025)
Spiking Vision Transformer with Saccadic Attention
par: Wang, Shuai, et autres
Publié: (2025)
par: Wang, Shuai, et autres
Publié: (2025)
Weierstrass Positional Encoding for Vision Transformers
par: Xin, Zhihang, et autres
Publié: (2026)
par: Xin, Zhihang, et autres
Publié: (2026)
Documents similaires
-
Remembering Transformer for Continual Learning
par: Sun, Yuwei, et autres
Publié: (2024) -
MCM: Multi-layer Concept Map for Efficient Concept Learning from Masked Images
par: Sun, Yuwei, et autres
Publié: (2025) -
Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding
par: Kawasaki, Haruka, et autres
Publié: (2026) -
EDIT: Enhancing Vision Transformers by Mitigating Attention Sink through an Encoder-Decoder Architecture
par: Feng, Wenfeng, et autres
Publié: (2025) -
ClaudesLens: Uncertainty Quantification in Computer Vision Models
par: Shaar, Mohamad Al, et autres
Publié: (2024)