Buchumschlag

Pre-training of Lightweight Vision Transformers on Small Datasets with Minimally Scaled Images

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Tan, Jen Hong
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Split Adaptation for Pre-trained Vision Transformers
von: Wang, Lixu, et al.
Veröffentlicht: (2025)

How Lightweight Can A Vision Transformer Be
von: Tan, Jen Hong
Veröffentlicht: (2024)

OCT Data is All You Need: How Vision Transformers with and without Pre-training Benefit Imaging
von: Han, Zihao, et al.
Veröffentlicht: (2025)

Beyond ImageNet: Understanding Cross-Dataset Robustness of Lightweight Vision Models
von: Zhang, Weidong, et al.
Veröffentlicht: (2025)

Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers
von: Wang, Lirui, et al.
Veröffentlicht: (2024)

Pre-training Vision Transformers with Formula-driven Supervised Learning
von: Kataoka, Hirokatsu, et al.
Veröffentlicht: (2022)

Self-Supervised Learning for Pre-training Capsule Networks: Overcoming Medical Imaging Dataset Challenges
von: El-Shimy, Heba, et al.
Veröffentlicht: (2025)

Multimodal Autoregressive Pre-training of Large Vision Encoders
von: Fini, Enrico, et al.
Veröffentlicht: (2024)

Utilizing Synthetic Data for Medical Vision-Language Pre-training: Bypassing the Need for Real Images
von: Liu, Che, et al.
Veröffentlicht: (2023)

Multi-modal Vision Pre-training for Medical Image Analysis
von: Rui, Shaohao, et al.
Veröffentlicht: (2024)

Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models
von: Peng, Bincheng, et al.
Veröffentlicht: (2026)

Sequence Length Scaling in Vision Transformers for Scientific Images on Frontier
von: Tsaris, Aristeidis, et al.
Veröffentlicht: (2024)

TiMix: Text-aware Image Mixing for Effective Vision-Language Pre-training
von: Jiang, Chaoya, et al.
Veröffentlicht: (2023)

Revisit Large-Scale Image-Caption Data in Pre-training Multimodal Foundation Models
von: Lai, Zhengfeng, et al.
Veröffentlicht: (2024)

Efficient and Long-Tailed Generalization for Pre-trained Vision-Language Model
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2024)

Learning to Rank Pre-trained Vision-Language Models for Downstream Tasks
von: Ding, Yuhe, et al.
Veröffentlicht: (2024)

IMITATE: Clinical Prior Guided Hierarchical Vision-Language Pre-training
von: Liu, Che, et al.
Veröffentlicht: (2023)

Self-Supervised Learning Featuring Small-Scale Image Dataset for Treatable Retinal Diseases Classification
von: Huang, Luffina C., et al.
Veröffentlicht: (2024)

Focus Your Attention: Towards Data-Intuitive Lightweight Vision Transformers
von: Gaurav, Suyash, et al.
Veröffentlicht: (2025)

VisionTS++: Cross-Modal Time Series Foundation Model with Continual Pre-trained Vision Backbones
von: Shen, Lefei, et al.
Veröffentlicht: (2025)

VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous Driving
von: Zhang, Haiming, et al.
Veröffentlicht: (2024)

Powerful Design of Small Vision Transformer on CIFAR10
von: Wu, Gent
Veröffentlicht: (2025)

Pre-trained Vision-Language Models Learn Discoverable Visual Concepts
von: Zang, Yuan, et al.
Veröffentlicht: (2024)

A Lightweight Large Vision-language Model for Multimodal Medical Images
von: Alsinglawi, Belal, et al.
Veröffentlicht: (2025)

Not All Prompts Are Secure: A Switchable Backdoor Attack Against Pre-trained Vision Transformers
von: Yang, Sheng, et al.
Veröffentlicht: (2024)

Dataset Ownership Verification in Contrastive Pre-trained Models
von: Xie, Yuechen, et al.
Veröffentlicht: (2025)

Efficient Test-Time Scaling for Small Vision-Language Models
von: Kaya, Mehmet Onurcan, et al.
Veröffentlicht: (2025)

Multi-View and Multi-Scale Alignment for Contrastive Language-Image Pre-training in Mammography
von: Du, Yuexi, et al.
Veröffentlicht: (2024)

DINO Pre-training for Vision-based End-to-end Autonomous Driving
von: Juneja, Shubham, et al.
Veröffentlicht: (2024)

Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models
von: Peng, Bo, et al.
Veröffentlicht: (2026)

Masked Self-Supervised Pre-Training for Text Recognition Transformers on Large-Scale Datasets
von: Kišš, Martin, et al.
Veröffentlicht: (2025)

Practical Continual Forgetting for Pre-trained Vision Models
von: Zhao, Hongbo, et al.
Veröffentlicht: (2025)

SKINOPATHY AI: Smartphone-Based Ophthalmic Screening and Longitudinal Tracking Using Lightweight Computer Vision
von: Kalaycioglu, S., et al.
Veröffentlicht: (2026)

Application of Quantum Pre-Processing Filter for Binary Image Classification with Small Samples
von: Riaz, Farina, et al.
Veröffentlicht: (2023)

Frozen Vision Transformers for Dense Prediction on Small Datasets: A Case Study in Arrow Localization
von: Shepherd, Maxwell
Veröffentlicht: (2026)

ImageNet-Think-250K: A Large-Scale Synthetic Dataset for Multimodal Reasoning for Vision Language Models
von: Chitty-Venkata, Krishna Teja, et al.
Veröffentlicht: (2025)

Light-weight Fine-tuning Method for Defending Adversarial Noise in Pre-trained Medical Vision-Language Models
von: Han, Xu, et al.
Veröffentlicht: (2024)

G2D: From Global to Dense Radiography Representation Learning via Vision-Language Pre-training
von: Liu, Che, et al.
Veröffentlicht: (2023)

Unlocking Pre-trained Image Backbones for Semantic Image Synthesis
von: Berrada, Tariq, et al.
Veröffentlicht: (2023)

Artificial intelligence application in lymphoma diagnosis with Vision Transformer using weakly supervised training
von: Nghia, et al.
Veröffentlicht: (2026)