Buchumschlag

Structured Initialization for Attention in Vision Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zheng, Jianqiao, Li, Xueqian, Lucey, Simon
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Structured Initialization for Vision Transformers
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2025)

Convolutional Initialization for Data-Efficient Vision Transformers
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2024)

Trading Positional Complexity vs. Deepness in Coordinate Networks
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2022)

Fast Kernel Scene Flow
von: Li, Xueqian, et al.
Veröffentlicht: (2024)

Rethinking Attention: Polynomial Alternatives to Softmax in Transformers
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2024)

Multi-Body Neural Scene Flow
von: Vidanapathirana, Kavisha, et al.
Veröffentlicht: (2023)

Enhancing Transformers Through Conditioned Embedded Tokens
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2025)

From Tables to Signals: Revealing Spectral Adaptivity in TabPFN
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2025)

From Activation to Initialization: Scaling Insights for Optimizing Neural Fields
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2024)

SineProject: Machine Unlearning for Stable Vision Language Alignment
von: Garg, Arpit, et al.
Veröffentlicht: (2025)

Gradient Descent as a Shrinkage Operator for Spectral Bias
von: Lucey, Simon
Veröffentlicht: (2025)

Always Skip Attention
von: Ji, Yiping, et al.
Veröffentlicht: (2025)

Leaner Transformers: More Heads, Less Depth
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2025)

Representative Attention For Vision Transformers
von: Li, Yuntong, et al.
Veröffentlicht: (2026)

The Linear Attention Resurrection in Vision Transformer
von: Zheng, Chuanyang
Veröffentlicht: (2025)

Artifacts and Attention Sinks: Structured Approximations for Efficient Vision Transformers
von: Lu, Andrew, et al.
Veröffentlicht: (2025)

AttentionGS: Towards Initialization-Free 3D Gaussian Splatting via Structural Attention
von: Liu, Ziao, et al.
Veröffentlicht: (2025)

Vision Transformers are Circulant Attention Learners
von: Han, Dongchen, et al.
Veröffentlicht: (2025)

Vision Transformers with Hierarchical Attention
von: Liu, Yun, et al.
Veröffentlicht: (2021)

Weight Conditioning for Smooth Optimization of Neural Networks
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2024)

Convolutional Networks as Extremely Small Foundation Models: Visual Prompting and Theoretical Perspective
von: Wangni, Jianqiao
Veröffentlicht: (2024)

Multi-manifold Attention for Vision Transformers
von: Konstantinidis, Dimitrios, et al.
Veröffentlicht: (2022)

HAViT: Historical Attention Vision Transformer
von: Banik, Swarnendu, et al.
Veröffentlicht: (2026)

SMORE: Simultaneous Map and Object REconstruction
von: Chodosh, Nathaniel, et al.
Veröffentlicht: (2024)

3D Gaussian Point Encoders
von: James, Jim, et al.
Veröffentlicht: (2025)

PolaFormer: Polarity-aware Linear Attention for Vision Transformers
von: Meng, Weikang, et al.
Veröffentlicht: (2025)

Polyline Path Masked Attention for Vision Transformer
von: Zhao, Zhongchen, et al.
Veröffentlicht: (2025)

BinaryAttention: One-Bit QK-Attention for Vision and Diffusion Transformers
von: Xiao, Chaodong, et al.
Veröffentlicht: (2026)

S2AFormer: Strip Self-Attention for Efficient Vision Transformer
von: Xu, Guoan, et al.
Veröffentlicht: (2025)

ViT-AdaLA: Adapting Vision Transformers with Linear Attention
von: Li, Yifan, et al.
Veröffentlicht: (2026)

Rethinking the Role of Spatial Mixing
von: Cazenavette, George, et al.
Veröffentlicht: (2025)

Invertible Neural Warp for NeRF
von: Chng, Shin-Fang, et al.
Veröffentlicht: (2024)

Learning Visual Prompts for Guiding the Attention of Vision Transformers
von: Rezaei, Razieh, et al.
Veröffentlicht: (2024)

Decision-Aware Attention Propagation for Vision Transformer Explainability
von: Jo, Sehyeong, et al.
Veröffentlicht: (2026)

Mask the Target: A Plug-and-Play Regularizer Against LoRA Forgetting
von: Xu, Runze, et al.
Veröffentlicht: (2026)

Dense Cross-Connected Ensemble Convolutional Neural Networks for Enhanced Model Robustness
von: Wang, Longwei, et al.
Veröffentlicht: (2024)

ToSA: Token Selective Attention for Efficient Vision Transformers
von: Singh, Manish Kumar, et al.
Veröffentlicht: (2024)

LookHere: Vision Transformers with Directed Attention Generalize and Extrapolate
von: Fuller, Anthony, et al.
Veröffentlicht: (2024)

There is More to Attention: Statistical Filtering Enhances Explanations in Vision Transformers
von: Ayyar, Meghna P, et al.
Veröffentlicht: (2025)

SimA: Simple Softmax-free Attention for Vision Transformers
von: Koohpayegani, Soroush Abbasi, et al.
Veröffentlicht: (2022)