Buchumschlag

Depth-Wise Convolutions in Vision Transformers for Efficient Training on Small Datasets

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Tianxiao, Xu, Wenju, Luo, Bo, Wang, Guanghui
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Improving Vision Transformers by Overlapping Heads in Multi-Head Self-Attention
von: Zhang, Tianxiao, et al.
Veröffentlicht: (2024)

Depth-Wise Representation Development Under Blockwise Self-Supervised Learning for Video Vision Transformers
von: Römer, Jonas, et al.
Veröffentlicht: (2026)

PF3Det: A Prompted Foundation Feature Assisted Visual LiDAR 3D Detector
von: Li, Kaidong, et al.
Veröffentlicht: (2025)

Convolutional Initialization for Data-Efficient Vision Transformers
von: Zheng, Jianqiao, et al.
Veröffentlicht: (2024)

Multi-Tailed Vision Transformer for Efficient Inference
von: Wang, Yunke, et al.
Veröffentlicht: (2022)

Stochastic Layer-Wise Shuffle for Improving Vision Mamba Training
von: Huang, Zizheng, et al.
Veröffentlicht: (2024)

BD-Net: Has Depth-Wise Convolution Ever Been Applied in Binary Neural Networks?
von: Kim, DoYoung, et al.
Veröffentlicht: (2025)

TiC: Exploring Vision Transformer in Convolution
von: Zhang, Song, et al.
Veröffentlicht: (2023)

Depth-wise Decomposition for Accelerating Separable Convolutions in Efficient Convolutional Neural Networks
von: He, Yihui, et al.
Veröffentlicht: (2019)

Enhancing Adversarial Transferability via Component-Wise Transformation
von: Liu, Hangyu, et al.
Veröffentlicht: (2025)

AViT: Adapting Vision Transformers for Small Skin Lesion Segmentation Datasets
von: Du, Siyi, et al.
Veröffentlicht: (2023)

Robust 3D Point Clouds Classification based on Declarative Defenders
von: Li, Kaidong, et al.
Veröffentlicht: (2024)

CAS-ViT: Convolutional Additive Self-attention Vision Transformers for Efficient Mobile Applications
von: Zhang, Tianfang, et al.
Veröffentlicht: (2024)

On Convolutional Vision Transformers for Yield Prediction
von: Inderka, Alvin, et al.
Veröffentlicht: (2024)

MDViT: Multi-domain Vision Transformer for Small Medical Image Segmentation Datasets
von: Du, Siyi, et al.
Veröffentlicht: (2023)

Pretrained Diffusion Models Are Inherently Skipped-Step Samplers
von: Xu, Wenju
Veröffentlicht: (2025)

A Review of Vision-Based Assistive Systems for Visually Impaired People: Technologies, Applications, and Future Directions
von: Yao, Fulong, et al.
Veröffentlicht: (2025)

Recursive Vision Transformer with Dynamic Depth and Width Adjustment for Resource-Efficient Image Semantic Communication
von: Zhang, Zhilong, et al.
Veröffentlicht: (2026)

LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens for Remote Sensing Image Interpretation
von: Jiang, Wentao, et al.
Veröffentlicht: (2024)

ACC-ViT : Atrous Convolution's Comeback in Vision Transformers
von: Ibtehaz, Nabil, et al.
Veröffentlicht: (2024)

CoSwin: Convolution Enhanced Hierarchical Shifted Window Attention For Small-Scale Vision
von: Khadka, Puskal, et al.
Veröffentlicht: (2025)

Collaborating Vision, Depth, and Thermal Signals for Multi-Modal Tracking: Dataset and Algorithm
von: Zhu, Xue-Feng, et al.
Veröffentlicht: (2025)

EfficientVLA: Training-Free Acceleration and Compression for Vision-Language-Action Models
von: Yang, Yantai, et al.
Veröffentlicht: (2025)

Training A Small Emotional Vision Language Model for Visual Art Comprehension
von: Zhang, Jing, et al.
Veröffentlicht: (2024)

Dynamic Mode Decomposition along Depth in Vision Transformers
von: Aswani, Nishant Suresh, et al.
Veröffentlicht: (2026)

Rethinking Vision Transformer Depth via Structural Reparameterization
von: Zhou, Chengwei, et al.
Veröffentlicht: (2025)

GSB: Group Superposition Binarization for Vision Transformer with Limited Training Samples
von: Gao, Tian, et al.
Veröffentlicht: (2023)

GvT: A Graph-based Vision Transformer with Talking-Heads Utilizing Sparsity, Trained from Scratch on Small Datasets
von: Shan, Dongjing, et al.
Veröffentlicht: (2024)

Efficient Higher-order Convolution for Small Kernels in Deep Learning
von: Wen, Zuocheng, et al.
Veröffentlicht: (2024)

Unsupervised Monocular Depth Estimation Based on Hierarchical Feature-Guided Diffusion
von: Liu, Runze, et al.
Veröffentlicht: (2024)

Vision Transformers with Self-Distilled Registers
von: Chen, Yinjie, et al.
Veröffentlicht: (2025)

Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers
von: Xu, Shaodong, et al.
Veröffentlicht: (2026)

AIQViT: Architecture-Informed Post-Training Quantization for Vision Transformers
von: Jiang, Runqing, et al.
Veröffentlicht: (2025)

Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning
von: Zhong, Hanwen, et al.
Veröffentlicht: (2025)

L-SWAG: Layer-Sample Wise Activation with Gradients information for Zero-Shot NAS on Vision Transformers
von: Casarin, Sofia, et al.
Veröffentlicht: (2025)

CorGi: Contribution-Guided Block-Wise Interval Caching for Training-Free Acceleration of Diffusion Transformers
von: Son, Yonglak, et al.
Veröffentlicht: (2025)

ViTCN: Vision Transformer Contrastive Network For Reasoning
von: Song, Bo, et al.
Veröffentlicht: (2024)

Rethinking Noise-Robust Training for Frozen Vision Foundation Models: A Cross-Dataset Benchmark with a Case Study of Small-Loss Failure
von: Li, Zitong, et al.
Veröffentlicht: (2026)

Interpretable Vision Transformers in Monocular Depth Estimation via SVDA
von: Arampatzakis, Vasileios, et al.
Veröffentlicht: (2026)

ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages
von: Qian, Zhoujie
Veröffentlicht: (2025)