Copertina

Decorrelation Speeds Up Vision Transformers

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Carrigg, Kieran, van Gastel, Rob, Yeghaian, Melda, Dalm, Sander, Boughorbel, Faysal, van Gerven, Marcel
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computer Vision and Pattern Recognition Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Evolving Layer-Specific Scalar Functions for Hardware-Aware Transformer Adaptation
di: Carrigg, Kieran, et al.
Pubblicazione: (2026)

Decorrelated Soft Actor-Critic for Efficient Deep Reinforcement Learning
di: Küçükoğlu, Burcu, et al.
Pubblicazione: (2025)

Efficient Deep Learning with Decorrelated Backpropagation
di: Dalm, Sander, et al.
Pubblicazione: (2024)

Discrete Cosine Transform Based Decorrelated Attention for Vision Transformers
di: Pan, Hongyi, et al.
Pubblicazione: (2024)

Subspace Node Pruning
di: Offergeld, Joshua, et al.
Pubblicazione: (2024)

Node Perturbation Can Effectively Train Multi-Layer Neural Networks
di: Dalm, Sander, et al.
Pubblicazione: (2023)

SkipViT: Speeding Up Vision Transformers with a Token-Level Skip Connection
di: Ataiefard, Foozhan, et al.
Pubblicazione: (2024)

AOI-SSL: Self-Supervised Framework for Efficient Segmentation of Wire-bonded Semiconductors In Optical Inspection
di: Figueira, Joaquín, et al.
Pubblicazione: (2026)

Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
di: Faysal, Atik, et al.
Pubblicazione: (2026)

Structure-preserving contrastive learning for spatial time series
di: Jiao, Yiru, et al.
Pubblicazione: (2025)

Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning
di: Shi, Yujun, et al.
Pubblicazione: (2021)

LL-ViT: Edge Deployable Vision Transformers with Look Up Table Neurons
di: Nag, Shashank, et al.
Pubblicazione: (2025)

Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization
di: Deng, Jiaxin, et al.
Pubblicazione: (2024)

Robust Mitigation of Age-Dependent Confounding Effects via Sample-Difficulty Decorrelation
di: Kurian, Nikhil Cherian, et al.
Pubblicazione: (2026)

SpeedUpNet: A Plug-and-Play Adapter Network for Accelerating Text-to-Image Diffusion Models
di: Chai, Weilong, et al.
Pubblicazione: (2023)

TransDiffuser: Diverse Trajectory Generation with Decorrelated Multi-modal Representation for End-to-end Autonomous Driving
di: Jiang, Xuefeng, et al.
Pubblicazione: (2025)

Scaling Up Quantization-Aware Neural Architecture Search for Efficient Deep Learning on the Edge
di: Lu, Yao, et al.
Pubblicazione: (2024)

VideoSAM: A Large Vision Foundation Model for High-Speed Video Segmentation
di: Maduabuchi, Chika, et al.
Pubblicazione: (2024)

Native Segmentation Vision Transformers
di: Brasó, Guillem, et al.
Pubblicazione: (2025)

Shaking Up VLMs: Comparing Transformers and Structured State Space Models for Vision & Language Modeling
di: Pantazopoulos, Georgios, et al.
Pubblicazione: (2024)

Vchitect-2.0: Parallel Transformer for Scaling Up Video Diffusion Models
di: Fan, Weichen, et al.
Pubblicazione: (2025)

Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows
di: Huo, Simin, et al.
Pubblicazione: (2025)

Slicing Vision Transformer for Flexible Inference
di: Zhang, Yitian, et al.
Pubblicazione: (2024)

RAViT: Resolution-Adaptive Vision Transformer
di: Guidez, Martial, et al.
Pubblicazione: (2026)

Rotary Position Embedding for Vision Transformer
di: Heo, Byeongho, et al.
Pubblicazione: (2024)

SPoT: Subpixel Placement of Tokens in Vision Transformers
di: Hjelkrem-Tan, Martine, et al.
Pubblicazione: (2025)

Compact Vision Transformer by Reduction of Kernel Complexity
di: Wang, Yancheng, et al.
Pubblicazione: (2025)

Split Adaptation for Pre-trained Vision Transformers
di: Wang, Lixu, et al.
Pubblicazione: (2025)

DASViT: Differentiable Architecture Search for Vision Transformer
di: Wu, Pengjin, et al.
Pubblicazione: (2025)

Stable Vision Concept Transformers for Medical Diagnosis
di: Hu, Lijie, et al.
Pubblicazione: (2025)

Leveraging Registers in Vision Transformers for Robust Adaptation
di: Yellapragada, Srikar, et al.
Pubblicazione: (2025)

Instance-Aware Group Quantization for Vision Transformers
di: Moon, Jaehyeon, et al.
Pubblicazione: (2024)

Vision Transformer-based Adversarial Domain Adaptation
di: Li, Yahan, et al.
Pubblicazione: (2024)

Elastic Attention Cores for Scalable Vision Transformers
di: Song, Alan Z., et al.
Pubblicazione: (2026)

Attention Transfer Is Not Universally Effective for Vision Transformers
di: Qin, Huaiyuan, et al.
Pubblicazione: (2026)

Self-Supervised Vision Transformers for Writer Retrieval
di: Raven, Tim, et al.
Pubblicazione: (2024)

HEAL-SWIN: A Vision Transformer On The Sphere
di: Carlsson, Oscar, et al.
Pubblicazione: (2023)

A Manifold Representation of the Key in Vision Transformers
di: Meng, Li, et al.
Pubblicazione: (2024)

Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders
di: Kuo, Shang-Jui Ray, et al.
Pubblicazione: (2026)

WriteViT: Handwritten Text Generation with Vision Transformer
di: Nam, Dang Hoai, et al.
Pubblicazione: (2025)