Buchumschlag

The Linear Attention Resurrection in Vision Transformer

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Zheng, Chuanyang
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computer Vision and Pattern Recognition Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

iFormer: Integrating ConvNet and Transformer for Mobile Application
von: Zheng, Chuanyang
Veröffentlicht: (2025)

PolaFormer: Polarity-aware Linear Attention for Vision Transformers
von: Meng, Weikang, et al.
Veröffentlicht: (2025)

Spiking Vision Transformer with Saccadic Attention
von: Wang, Shuai, et al.
Veröffentlicht: (2025)

Attention Retention for Continual Learning with Vision Transformers
von: Lu, Yue, et al.
Veröffentlicht: (2026)

Attention Guided CAM: Visual Explanations of Vision Transformer Guided by Self-Attention
von: Leem, Saebom, et al.
Veröffentlicht: (2024)

SPARO: Selective Attention for Robust and Compositional Transformer Encodings for Vision
von: Vani, Ankit, et al.
Veröffentlicht: (2024)

Resurrecting Old Classes with New Data for Exemplar-Free Continual Learning
von: Goswami, Dipam, et al.
Veröffentlicht: (2024)

Dynamic Accumulated Attention Map for Interpreting Evolution of Decision-Making in Vision Transformer
von: Liao, Yi, et al.
Veröffentlicht: (2025)

ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages
von: Qian, Zhoujie
Veröffentlicht: (2025)

Symbolic Rule Extraction from Attention-Guided Sparse Representations in Vision Transformers
von: Padalkar, Parth, et al.
Veröffentlicht: (2025)

MSVIT: Improving Spiking Vision Transformer Using Multi-scale Attention Fusion
von: Hua, Wei, et al.
Veröffentlicht: (2025)

Cognitive Alignment At No Cost: Inducing Human Attention Biases For Interpretable Vision Transformers
von: Knights, Ethan
Veröffentlicht: (2026)

Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials
von: Pu, Yifan, et al.
Veröffentlicht: (2025)

Aria-NeRF: Multimodal Egocentric View Synthesis
von: Sun, Jiankai, et al.
Veröffentlicht: (2023)

EDIT: Enhancing Vision Transformers by Mitigating Attention Sink through an Encoder-Decoder Architecture
von: Feng, Wenfeng, et al.
Veröffentlicht: (2025)

CascadedViT: Cascaded Chunk-FeedForward and Cascaded Group Attention Vision Transformer
von: Sivakumar, Srivathsan, et al.
Veröffentlicht: (2025)

JetViT: Efficient High-Resolution Vision Transformer with Post-Training Attention Search
von: Zou, Dongyun, et al.
Veröffentlicht: (2026)

InfiniteVL: Synergizing Linear and Sparse Attention for Highly-Efficient, Unlimited-Input Vision-Language Models
von: Tao, Hongyuan, et al.
Veröffentlicht: (2025)

Linear Attention with Global Context: A Multipole Attention Mechanism for Vision and Physics
von: Colagrande, Alex, et al.
Veröffentlicht: (2025)

Class-Discriminative Attention Maps for Vision Transformers
von: Brocki, Lennart, et al.
Veröffentlicht: (2023)

FasterViT: Fast Vision Transformers with Hierarchical Attention
von: Hatamizadeh, Ali, et al.
Veröffentlicht: (2023)

ViG: Linear-complexity Visual Sequence Learning with Gated Linear Attention
von: Liao, Bencheng, et al.
Veröffentlicht: (2024)

SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention
von: Zhang, Jintao, et al.
Veröffentlicht: (2025)

Improved Belief-Attention in Vision Task
von: Zhang, Guoqiang
Veröffentlicht: (2026)

LiteAttention: A Temporal Sparse Attention for Diffusion Transformers
von: Shmilovich, Dor, et al.
Veröffentlicht: (2025)

ViT-Linearizer: Distilling Quadratic Knowledge into Linear-Time Vision Models
von: Wei, Guoyizhe, et al.
Veröffentlicht: (2025)

TinyViT-Batten: Few-Shot Vision Transformer with Explainable Attention for Early Batten-Disease Detection on Pediatric MRI
von: Uppalapati, Khartik, et al.
Veröffentlicht: (2025)

LaplacianFormer:Rethinking Linear Attention with Laplacian Kernel
von: Feng, Zhe, et al.
Veröffentlicht: (2026)

Fairness-aware Vision Transformer via Debiased Self-Attention
von: Qiang, Yao, et al.
Veröffentlicht: (2023)

CASA: Cross-Attention over Self-Attention for Efficient Vision-Language Fusion
von: Böhle, Moritz, et al.
Veröffentlicht: (2025)

Batch Transformer: Look for Attention in Batch
von: Her, Myung Beom, et al.
Veröffentlicht: (2024)

Revisiting the Integration of Convolution and Attention for Vision Backbone
von: Zhu, Lei, et al.
Veröffentlicht: (2024)

Attention-Guided Patch-Wise Sparse Adversarial Attacks on Vision-Language-Action Models
von: Zhang, Naifu, et al.
Veröffentlicht: (2025)

Vision Bridge Transformer at Scale
von: Tan, Zhenxiong, et al.
Veröffentlicht: (2025)

Benchmarking Unlearning for Vision Transformers
von: Zhao, Kairan, et al.
Veröffentlicht: (2026)

GTP-ViT: Efficient Vision Transformers via Graph-based Token Propagation
von: Xu, Xuwei, et al.
Veröffentlicht: (2023)

Lagrange Duality and Compound Multi-Attention Transformer for Semi-Supervised Medical Image Segmentation
von: Zheng, Fuchen, et al.
Veröffentlicht: (2024)

Exploiting Information Redundancy in Attention Maps for Extreme Quantization of Vision Transformers
von: Maisonnave, Lucas, et al.
Veröffentlicht: (2025)

Rethinking Causal Mask Attention for Vision-Language Inference
von: Pei, Xiaohuan, et al.
Veröffentlicht: (2025)

Don't Miss the Forest for the Trees: Attentional Vision Calibration for Large Vision Language Models
von: Woo, Sangmin, et al.
Veröffentlicht: (2024)