Buchumschlag

Structured Initialization for Vision Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zheng, Jianqiao, Li, Xueqian, Saratchandran, Hemanth, Lucey, Simon
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Structured Initialization for Attention in Vision Transformers
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2024)

Convolutional Initialization for Data-Efficient Vision Transformers
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2024)

Enhancing Transformers Through Conditioned Embedded Tokens
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2025)

Rethinking Attention: Polynomial Alternatives to Softmax in Transformers
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2024)

From Activation to Initialization: Scaling Insights for Optimizing Neural Fields
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2024)

SineProject: Machine Unlearning for Stable Vision Language Alignment
von: Garg, Arpit, et al.
Veröffentlicht: (2025)

Leaner Transformers: More Heads, Less Depth
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2025)

From Tables to Signals: Revealing Spectral Adaptivity in TabPFN
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2025)

Weight Conditioning for Smooth Optimization of Neural Networks
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2024)

Trading Positional Complexity vs. Deepness in Coordinate Networks
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2022)

Preconditioners for the Stochastic Training of Neural Fields
von: Chng, Shin-Fang, et al.
Veröffentlicht: (2024)

Mask the Target: A Plug-and-Play Regularizer Against LoRA Forgetting
von: Xu, Runze, et al.
Veröffentlicht: (2026)

Invertible Neural Warp for NeRF
von: Chng, Shin-Fang, et al.
Veröffentlicht: (2024)

Always Skip Attention
von: Ji, Yiping, et al.
Veröffentlicht: (2025)

Fast Kernel Scene Flow
von: Li, Xueqian, et al.
Veröffentlicht: (2024)

D'OH: Decoder-Only Random Hypernetworks for Implicit Neural Representations
von: Gordon, Cameron, et al.
Veröffentlicht: (2024)

Efficient Learning With Sine-Activated Low-rank Matrices
von: Ji, Yiping, et al.
Veröffentlicht: (2024)

Can You Learn to See Without Images? Procedural Warm-Up for Vision Transformers
von: Shinnick, Zachary, et al.
Veröffentlicht: (2025)

Multi-Body Neural Scene Flow
von: Vidanapathirana, Kavisha, et al.
Veröffentlicht: (2023)

The Inlet Rank Collapse in Implicit Neural Representations: Diagnosis and Unified Remedy
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2026)

Gradient Descent as a Shrinkage Operator for Spectral Bias
von: Lucey, Simon
Veröffentlicht: (2025)

Spectral Conditioning of Attention Improves Transformer Performance
von: Saratchandran, Hemanth, et al.
Veröffentlicht: (2026)

Towards Higher Effective Rank in Parameter-efficient Fine-tuning using Khatri--Rao Product
von: Albert, Paul, et al.
Veröffentlicht: (2025)

Convolutional Networks as Extremely Small Foundation Models: Visual Prompting and Theoretical Perspective
von: Wangni, Jianqiao
Veröffentlicht: (2024)

3D Gaussian Point Encoders
von: James, Jim, et al.
Veröffentlicht: (2025)

SMORE: Simultaneous Map and Object REconstruction
von: Chodosh, Nathaniel, et al.
Veröffentlicht: (2024)

Rethinking the Role of Spatial Mixing
von: Cazenavette, George, et al.
Veröffentlicht: (2025)

RandLoRA: Full-rank parameter-efficient fine-tuning of large models
von: Albert, Paul, et al.
Veröffentlicht: (2025)

Dense Cross-Connected Ensemble Convolutional Neural Networks for Enhanced Model Robustness
von: Wang, Longwei, et al.
Veröffentlicht: (2024)

Learning Correlation Structures for Vision Transformers
von: Kim, Manjin, et al.
Veröffentlicht: (2024)

On Quantizing Implicit Neural Representations
von: Gordon, Cameron, et al.
Veröffentlicht: (2022)

Label Smoothing++: Enhanced Label Regularization for Training Neural Networks
von: Chhabra, Sachin, et al.
Veröffentlicht: (2025)

Domain Adaptation Using Pseudo Labels
von: Chhabra, Sachin, et al.
Veröffentlicht: (2024)

Robust Physical Adversarial Patches Using Dynamically Optimized Clusters
von: Bagley, Harrison, et al.
Veröffentlicht: (2025)

SeMoLi: What Moves Together Belongs Together
von: Seidenschwarz, Jenny, et al.
Veröffentlicht: (2024)

MPM: Mutual Pair Merging for Efficient Vision Transformers
von: Ravé, Simon, et al.
Veröffentlicht: (2026)

Rethinking Vision Transformer Depth via Structural Reparameterization
von: Zhou, Chengwei, et al.
Veröffentlicht: (2025)

Dataset Augmentation by Mixing Visual Concepts
von: Rahat, Abdullah Al, et al.
Veröffentlicht: (2024)

Multiple-Exit Tuning: Towards Inference-Efficient Adaptation for Vision Transformer
von: Liu, Zheng, et al.
Veröffentlicht: (2024)

FTerViT: Fully Ternary Vision Transformer
von: Ruciński, Szymon, et al.
Veröffentlicht: (2026)