Decorrelation Speeds Up Vision Transformers
Fuente:
arXiv
Gespeichert in:
| Hauptverfasser: | Carrigg, Kieran, van Gastel, Rob, Yeghaian, Melda, Dalm, Sander, Boughorbel, Faysal, van Gerven, Marcel |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2025
|
| Schlagworte: | |
| Online-Zugang: | |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
Evolving Layer-Specific Scalar Functions for Hardware-Aware Transformer Adaptation
von: Carrigg, Kieran, et al.
Veröffentlicht: (2026)
von: Carrigg, Kieran, et al.
Veröffentlicht: (2026)
Decorrelated Soft Actor-Critic for Efficient Deep Reinforcement Learning
von: Küçükoğlu, Burcu, et al.
Veröffentlicht: (2025)
von: Küçükoğlu, Burcu, et al.
Veröffentlicht: (2025)
Efficient Deep Learning with Decorrelated Backpropagation
von: Dalm, Sander, et al.
Veröffentlicht: (2024)
von: Dalm, Sander, et al.
Veröffentlicht: (2024)
Discrete Cosine Transform Based Decorrelated Attention for Vision Transformers
von: Pan, Hongyi, et al.
Veröffentlicht: (2024)
von: Pan, Hongyi, et al.
Veröffentlicht: (2024)
Subspace Node Pruning
von: Offergeld, Joshua, et al.
Veröffentlicht: (2024)
von: Offergeld, Joshua, et al.
Veröffentlicht: (2024)
Node Perturbation Can Effectively Train Multi-Layer Neural Networks
von: Dalm, Sander, et al.
Veröffentlicht: (2023)
von: Dalm, Sander, et al.
Veröffentlicht: (2023)
SkipViT: Speeding Up Vision Transformers with a Token-Level Skip Connection
von: Ataiefard, Foozhan, et al.
Veröffentlicht: (2024)
von: Ataiefard, Foozhan, et al.
Veröffentlicht: (2024)
AOI-SSL: Self-Supervised Framework for Efficient Segmentation of Wire-bonded Semiconductors In Optical Inspection
von: Figueira, Joaquín, et al.
Veröffentlicht: (2026)
von: Figueira, Joaquín, et al.
Veröffentlicht: (2026)
Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
von: Faysal, Atik, et al.
Veröffentlicht: (2026)
von: Faysal, Atik, et al.
Veröffentlicht: (2026)
Structure-preserving contrastive learning for spatial time series
von: Jiao, Yiru, et al.
Veröffentlicht: (2025)
von: Jiao, Yiru, et al.
Veröffentlicht: (2025)
Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning
von: Shi, Yujun, et al.
Veröffentlicht: (2021)
von: Shi, Yujun, et al.
Veröffentlicht: (2021)
LL-ViT: Edge Deployable Vision Transformers with Look Up Table Neurons
von: Nag, Shashank, et al.
Veröffentlicht: (2025)
von: Nag, Shashank, et al.
Veröffentlicht: (2025)
Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization
von: Deng, Jiaxin, et al.
Veröffentlicht: (2024)
von: Deng, Jiaxin, et al.
Veröffentlicht: (2024)
Robust Mitigation of Age-Dependent Confounding Effects via Sample-Difficulty Decorrelation
von: Kurian, Nikhil Cherian, et al.
Veröffentlicht: (2026)
von: Kurian, Nikhil Cherian, et al.
Veröffentlicht: (2026)
SpeedUpNet: A Plug-and-Play Adapter Network for Accelerating Text-to-Image Diffusion Models
von: Chai, Weilong, et al.
Veröffentlicht: (2023)
von: Chai, Weilong, et al.
Veröffentlicht: (2023)
TransDiffuser: Diverse Trajectory Generation with Decorrelated Multi-modal Representation for End-to-end Autonomous Driving
von: Jiang, Xuefeng, et al.
Veröffentlicht: (2025)
von: Jiang, Xuefeng, et al.
Veröffentlicht: (2025)
Scaling Up Quantization-Aware Neural Architecture Search for Efficient Deep Learning on the Edge
von: Lu, Yao, et al.
Veröffentlicht: (2024)
von: Lu, Yao, et al.
Veröffentlicht: (2024)
VideoSAM: A Large Vision Foundation Model for High-Speed Video Segmentation
von: Maduabuchi, Chika, et al.
Veröffentlicht: (2024)
von: Maduabuchi, Chika, et al.
Veröffentlicht: (2024)
Native Segmentation Vision Transformers
von: Brasó, Guillem, et al.
Veröffentlicht: (2025)
von: Brasó, Guillem, et al.
Veröffentlicht: (2025)
Shaking Up VLMs: Comparing Transformers and Structured State Space Models for Vision & Language Modeling
von: Pantazopoulos, Georgios, et al.
Veröffentlicht: (2024)
von: Pantazopoulos, Georgios, et al.
Veröffentlicht: (2024)
Vchitect-2.0: Parallel Transformer for Scaling Up Video Diffusion Models
von: Fan, Weichen, et al.
Veröffentlicht: (2025)
von: Fan, Weichen, et al.
Veröffentlicht: (2025)
Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows
von: Huo, Simin, et al.
Veröffentlicht: (2025)
von: Huo, Simin, et al.
Veröffentlicht: (2025)
Slicing Vision Transformer for Flexible Inference
von: Zhang, Yitian, et al.
Veröffentlicht: (2024)
von: Zhang, Yitian, et al.
Veröffentlicht: (2024)
RAViT: Resolution-Adaptive Vision Transformer
von: Guidez, Martial, et al.
Veröffentlicht: (2026)
von: Guidez, Martial, et al.
Veröffentlicht: (2026)
Rotary Position Embedding for Vision Transformer
von: Heo, Byeongho, et al.
Veröffentlicht: (2024)
von: Heo, Byeongho, et al.
Veröffentlicht: (2024)
SPoT: Subpixel Placement of Tokens in Vision Transformers
von: Hjelkrem-Tan, Martine, et al.
Veröffentlicht: (2025)
von: Hjelkrem-Tan, Martine, et al.
Veröffentlicht: (2025)
Compact Vision Transformer by Reduction of Kernel Complexity
von: Wang, Yancheng, et al.
Veröffentlicht: (2025)
von: Wang, Yancheng, et al.
Veröffentlicht: (2025)
Split Adaptation for Pre-trained Vision Transformers
von: Wang, Lixu, et al.
Veröffentlicht: (2025)
von: Wang, Lixu, et al.
Veröffentlicht: (2025)
DASViT: Differentiable Architecture Search for Vision Transformer
von: Wu, Pengjin, et al.
Veröffentlicht: (2025)
von: Wu, Pengjin, et al.
Veröffentlicht: (2025)
Stable Vision Concept Transformers for Medical Diagnosis
von: Hu, Lijie, et al.
Veröffentlicht: (2025)
von: Hu, Lijie, et al.
Veröffentlicht: (2025)
Leveraging Registers in Vision Transformers for Robust Adaptation
von: Yellapragada, Srikar, et al.
Veröffentlicht: (2025)
von: Yellapragada, Srikar, et al.
Veröffentlicht: (2025)
Instance-Aware Group Quantization for Vision Transformers
von: Moon, Jaehyeon, et al.
Veröffentlicht: (2024)
von: Moon, Jaehyeon, et al.
Veröffentlicht: (2024)
Vision Transformer-based Adversarial Domain Adaptation
von: Li, Yahan, et al.
Veröffentlicht: (2024)
von: Li, Yahan, et al.
Veröffentlicht: (2024)
Elastic Attention Cores for Scalable Vision Transformers
von: Song, Alan Z., et al.
Veröffentlicht: (2026)
von: Song, Alan Z., et al.
Veröffentlicht: (2026)
Attention Transfer Is Not Universally Effective for Vision Transformers
von: Qin, Huaiyuan, et al.
Veröffentlicht: (2026)
von: Qin, Huaiyuan, et al.
Veröffentlicht: (2026)
Self-Supervised Vision Transformers for Writer Retrieval
von: Raven, Tim, et al.
Veröffentlicht: (2024)
von: Raven, Tim, et al.
Veröffentlicht: (2024)
HEAL-SWIN: A Vision Transformer On The Sphere
von: Carlsson, Oscar, et al.
Veröffentlicht: (2023)
von: Carlsson, Oscar, et al.
Veröffentlicht: (2023)
A Manifold Representation of the Key in Vision Transformers
von: Meng, Li, et al.
Veröffentlicht: (2024)
von: Meng, Li, et al.
Veröffentlicht: (2024)
Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders
von: Kuo, Shang-Jui Ray, et al.
Veröffentlicht: (2026)
von: Kuo, Shang-Jui Ray, et al.
Veröffentlicht: (2026)
WriteViT: Handwritten Text Generation with Vision Transformer
von: Nam, Dang Hoai, et al.
Veröffentlicht: (2025)
von: Nam, Dang Hoai, et al.
Veröffentlicht: (2025)
Ähnliche Einträge
-
Evolving Layer-Specific Scalar Functions for Hardware-Aware Transformer Adaptation
von: Carrigg, Kieran, et al.
Veröffentlicht: (2026) -
Decorrelated Soft Actor-Critic for Efficient Deep Reinforcement Learning
von: Küçükoğlu, Burcu, et al.
Veröffentlicht: (2025) -
Efficient Deep Learning with Decorrelated Backpropagation
von: Dalm, Sander, et al.
Veröffentlicht: (2024) -
Discrete Cosine Transform Based Decorrelated Attention for Vision Transformers
von: Pan, Hongyi, et al.
Veröffentlicht: (2024) -
Subspace Node Pruning
von: Offergeld, Joshua, et al.
Veröffentlicht: (2024)