Buchumschlag

Decorrelation Speeds Up Vision Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Carrigg, Kieran, van Gastel, Rob, Yeghaian, Melda, Dalm, Sander, Boughorbel, Faysal, van Gerven, Marcel
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computer Vision and Pattern Recognition Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Evolving Layer-Specific Scalar Functions for Hardware-Aware Transformer Adaptation
von: Carrigg, Kieran, et al.
Veröffentlicht: (2026)

Decorrelated Soft Actor-Critic for Efficient Deep Reinforcement Learning
von: Küçükoğlu, Burcu, et al.
Veröffentlicht: (2025)

Efficient Deep Learning with Decorrelated Backpropagation
von: Dalm, Sander, et al.
Veröffentlicht: (2024)

Discrete Cosine Transform Based Decorrelated Attention for Vision Transformers
von: Pan, Hongyi, et al.
Veröffentlicht: (2024)

Subspace Node Pruning
von: Offergeld, Joshua, et al.
Veröffentlicht: (2024)

Node Perturbation Can Effectively Train Multi-Layer Neural Networks
von: Dalm, Sander, et al.
Veröffentlicht: (2023)

SkipViT: Speeding Up Vision Transformers with a Token-Level Skip Connection
von: Ataiefard, Foozhan, et al.
Veröffentlicht: (2024)

AOI-SSL: Self-Supervised Framework for Efficient Segmentation of Wire-bonded Semiconductors In Optical Inspection
von: Figueira, Joaquín, et al.
Veröffentlicht: (2026)

Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
von: Faysal, Atik, et al.
Veröffentlicht: (2026)

Structure-preserving contrastive learning for spatial time series
von: Jiao, Yiru, et al.
Veröffentlicht: (2025)

Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning
von: Shi, Yujun, et al.
Veröffentlicht: (2021)

LL-ViT: Edge Deployable Vision Transformers with Look Up Table Neurons
von: Nag, Shashank, et al.
Veröffentlicht: (2025)

Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization
von: Deng, Jiaxin, et al.
Veröffentlicht: (2024)

Robust Mitigation of Age-Dependent Confounding Effects via Sample-Difficulty Decorrelation
von: Kurian, Nikhil Cherian, et al.
Veröffentlicht: (2026)

SpeedUpNet: A Plug-and-Play Adapter Network for Accelerating Text-to-Image Diffusion Models
von: Chai, Weilong, et al.
Veröffentlicht: (2023)

TransDiffuser: Diverse Trajectory Generation with Decorrelated Multi-modal Representation for End-to-end Autonomous Driving
von: Jiang, Xuefeng, et al.
Veröffentlicht: (2025)

Scaling Up Quantization-Aware Neural Architecture Search for Efficient Deep Learning on the Edge
von: Lu, Yao, et al.
Veröffentlicht: (2024)

VideoSAM: A Large Vision Foundation Model for High-Speed Video Segmentation
von: Maduabuchi, Chika, et al.
Veröffentlicht: (2024)

Native Segmentation Vision Transformers
von: Brasó, Guillem, et al.
Veröffentlicht: (2025)

Shaking Up VLMs: Comparing Transformers and Structured State Space Models for Vision & Language Modeling
von: Pantazopoulos, Georgios, et al.
Veröffentlicht: (2024)

Vchitect-2.0: Parallel Transformer for Scaling Up Video Diffusion Models
von: Fan, Weichen, et al.
Veröffentlicht: (2025)

Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows
von: Huo, Simin, et al.
Veröffentlicht: (2025)

Slicing Vision Transformer for Flexible Inference
von: Zhang, Yitian, et al.
Veröffentlicht: (2024)

RAViT: Resolution-Adaptive Vision Transformer
von: Guidez, Martial, et al.
Veröffentlicht: (2026)

Rotary Position Embedding for Vision Transformer
von: Heo, Byeongho, et al.
Veröffentlicht: (2024)

SPoT: Subpixel Placement of Tokens in Vision Transformers
von: Hjelkrem-Tan, Martine, et al.
Veröffentlicht: (2025)

Compact Vision Transformer by Reduction of Kernel Complexity
von: Wang, Yancheng, et al.
Veröffentlicht: (2025)

Split Adaptation for Pre-trained Vision Transformers
von: Wang, Lixu, et al.
Veröffentlicht: (2025)

DASViT: Differentiable Architecture Search for Vision Transformer
von: Wu, Pengjin, et al.
Veröffentlicht: (2025)

Stable Vision Concept Transformers for Medical Diagnosis
von: Hu, Lijie, et al.
Veröffentlicht: (2025)

Leveraging Registers in Vision Transformers for Robust Adaptation
von: Yellapragada, Srikar, et al.
Veröffentlicht: (2025)

Instance-Aware Group Quantization for Vision Transformers
von: Moon, Jaehyeon, et al.
Veröffentlicht: (2024)

Vision Transformer-based Adversarial Domain Adaptation
von: Li, Yahan, et al.
Veröffentlicht: (2024)

Elastic Attention Cores for Scalable Vision Transformers
von: Song, Alan Z., et al.
Veröffentlicht: (2026)

Attention Transfer Is Not Universally Effective for Vision Transformers
von: Qin, Huaiyuan, et al.
Veröffentlicht: (2026)

Self-Supervised Vision Transformers for Writer Retrieval
von: Raven, Tim, et al.
Veröffentlicht: (2024)

HEAL-SWIN: A Vision Transformer On The Sphere
von: Carlsson, Oscar, et al.
Veröffentlicht: (2023)

A Manifold Representation of the Key in Vision Transformers
von: Meng, Li, et al.
Veröffentlicht: (2024)

Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders
von: Kuo, Shang-Jui Ray, et al.
Veröffentlicht: (2026)

WriteViT: Handwritten Text Generation with Vision Transformer
von: Nam, Dang Hoai, et al.
Veröffentlicht: (2025)