Buchumschlag

Attention Transfer Is Not Universally Effective for Vision Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Qin, Huaiyuan, Yang, Muli, Goenawan, Gabriel James, Hu, Peng, Gong, Chen, Peng, Xi, Zhu, Hongyuan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computer Vision and Pattern Recognition Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Beyond Loss Values: Robust Dynamic Pruning via Loss Trajectory Alignment
von: Qin, Huaiyuan, et al.
Veröffentlicht: (2026)

Beyond Instance Consistency: Investigating View Diversity in Self-supervised Learning
von: Qin, Huaiyuan, et al.
Veröffentlicht: (2025)

Your AI-Generated Image Detector Can Secretly Achieve SOTA Accuracy, If Calibrated
von: Yang, Muli, et al.
Veröffentlicht: (2026)

SDGBiasBench: Benchmarking and Mitigating Vision--Language Models' Biases in Sustainable Development Goals
von: Lin, Zihang, et al.
Veröffentlicht: (2026)

On the Surprising Effectiveness of Attention Transfer for Vision Transformers
von: Li, Alexander C., et al.
Veröffentlicht: (2024)

AnchorFormer: Differentiable Anchor Attention for Efficient Vision Transformer
von: Shan, Jiquan, et al.
Veröffentlicht: (2025)

Inside-Out: Measuring Generalization in Vision Transformers Through Inner Workings
von: Peng, Yunxiang, et al.
Veröffentlicht: (2026)

ASTM :Autonomous Smart Traffic Management System Using Artificial Intelligence CNN and LSTM
von: Goenawan, Christofel Rio
Veröffentlicht: (2024)

Boosting Adversarial Transferability via Ensemble Non-Attention
von: Zou, Yipeng, et al.
Veröffentlicht: (2025)

Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies
von: Zhu, Yuehua, et al.
Veröffentlicht: (2020)

Cross-modal Active Complementary Learning with Self-refining Correspondence
von: Qin, Yang, et al.
Veröffentlicht: (2023)

DUDE: Diffusion-Based Unsupervised Cross-Domain Image Retrieval
von: Yang, Ruohong, et al.
Veröffentlicht: (2025)

Elastic Attention Cores for Scalable Vision Transformers
von: Song, Alan Z., et al.
Veröffentlicht: (2026)

Slicing Vision Transformer for Flexible Inference
von: Zhang, Yitian, et al.
Veröffentlicht: (2024)

DiFiC: Your Diffusion Model Holds the Secret to Fine-Grained Clustering
von: Yang, Ruohong, et al.
Veröffentlicht: (2024)

Oscillation-Reduced MXFP4 Training for Vision Transformers
von: Chen, Yuxiang, et al.
Veröffentlicht: (2025)

Discrete Cosine Transform Based Decorrelated Attention for Vision Transformers
von: Pan, Hongyi, et al.
Veröffentlicht: (2024)

MABViT -- Modified Attention Block Enhances Vision Transformers
von: Ramesh, Mahesh, et al.
Veröffentlicht: (2023)

LetheViT: Selective Machine Unlearning for Vision Transformers via Attention-Guided Contrastive Learning
von: Tong, Yujia, et al.
Veröffentlicht: (2025)

Efficient Adaptation of Large Vision Transformer via Adapter Re-Composing
von: Dong, Wei, et al.
Veröffentlicht: (2023)

Enhancing Semi-Supervised Multi-View Graph Convolutional Networks via Supervised Contrastive Learning and Self-Training
von: Xiao, Huaiyuan, et al.
Veröffentlicht: (2025)

Fairness-aware Vision Transformer via Debiased Self-Attention
von: Qiang, Yao, et al.
Veröffentlicht: (2023)

SeafloorAI: A Large-scale Vision-Language Dataset for Seafloor Geological Survey
von: Nguyen, Kien X., et al.
Veröffentlicht: (2024)

GRPO-TTA: Test-Time Visual Tuning for Vision-Language Models via GRPO-Driven Reinforcement Learning
von: Li, Yujun, et al.
Veröffentlicht: (2026)

SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning
von: Zhang, Jintao, et al.
Veröffentlicht: (2026)

Focus Your Attention: Towards Data-Intuitive Lightweight Vision Transformers
von: Gaurav, Suyash, et al.
Veröffentlicht: (2025)

SOLO: A Single Transformer for Scalable Vision-Language Modeling
von: Chen, Yangyi, et al.
Veröffentlicht: (2024)

View Invariant Learning for Vision-Language Navigation in Continuous Environments
von: Sun, Josh Qixuan, et al.
Veröffentlicht: (2025)

Stable Vision Concept Transformers for Medical Diagnosis
von: Hu, Lijie, et al.
Veröffentlicht: (2025)

ELSA: Exact Linear-Scan Attention for Fast and Memory-Light Vision Transformers
von: Hsu, Chih-Chung, et al.
Veröffentlicht: (2026)

Synthesizer Based Efficient Self-Attention for Vision Tasks
von: Zhu, Guangyang, et al.
Veröffentlicht: (2022)

PointCloud-Text Matching: Benchmark Datasets and a Baseline
von: Feng, Yanglin, et al.
Veröffentlicht: (2024)

Improving Adversarial Transferability in MLLMs via Dynamic Vision-Language Alignment Attack
von: Gu, Chenhe, et al.
Veröffentlicht: (2025)

SRMambaV2: Biomimetic Attention for Sparse Point Cloud Upsampling in Autonomous Driving
von: Chen, Chuang, et al.
Veröffentlicht: (2025)

MoH: Multi-Head Attention as Mixture-of-Head Attention
von: Jin, Peng, et al.
Veröffentlicht: (2024)

SPoT: Subpixel Placement of Tokens in Vision Transformers
von: Hjelkrem-Tan, Martine, et al.
Veröffentlicht: (2025)

Seeing Far and Clearly: Mitigating Hallucinations in MLLMs with Attention Causal Decoding
von: Tang, Feilong, et al.
Veröffentlicht: (2025)

Matryoshka Query Transformer for Large Vision-Language Models
von: Hu, Wenbo, et al.
Veröffentlicht: (2024)

Transferable Adversarial Attacks on Black-Box Vision-Language Models
von: Hu, Kai, et al.
Veröffentlicht: (2025)

RollingQ: Reviving the Cooperation Dynamics in Multimodal Transformer
von: Ni, Haotian, et al.
Veröffentlicht: (2025)