Buchumschlag

The Role of Masking for Efficient Supervised Knowledge Distillation of Vision Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Son, Seungwoo, Ryu, Jegwang, Lee, Namhoon, Lee, Jaeho
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

ZIP: An Efficient Zeroth-order Prompt Tuning for Black-box Vision-Language Models
von: Park, Seonghwan, et al.
Veröffentlicht: (2025)

Diffusion-based Data Augmentation and Knowledge Distillation with Generated Soft Labels Solving Data Scarcity Problems of SAR Oil Spill Segmentation
von: Moon, Jaeho, et al.
Veröffentlicht: (2024)

In Search of a Data Transformation That Accelerates Neural Field Training
von: Seo, Junwon, et al.
Veröffentlicht: (2023)

SupMAE: Supervised Masked Autoencoders Are Efficient Vision Learners
von: Liang, Feng, et al.
Veröffentlicht: (2022)

HyperKD: Distilling Cross-Spectral Knowledge in Masked Autoencoders via Inverse Domain Shift with Spatial-Aware Masking and Specialized Loss
von: Matin, Abdul, et al.
Veröffentlicht: (2025)

Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
von: Lee, Byung-Kwan, et al.
Veröffentlicht: (2025)

The Role of Teacher Calibration in Knowledge Distillation
von: Kim, Suyoung, et al.
Veröffentlicht: (2025)

Topology-Guided Knowledge Distillation for Efficient Point Cloud Processing
von: Hai, Luu Tung, et al.
Veröffentlicht: (2025)

TempCore: Are Video QA Benchmarks Temporally Grounded? A Frame Selection Sensitivity Analysis and Benchmark
von: Ok, Hyunjong, et al.
Veröffentlicht: (2025)

LTD: Low Temperature Distillation for Gradient Masking-free Adversarial Training
von: Chen, Erh-Chung, et al.
Veröffentlicht: (2021)

Activation Quantization of Vision Encoders Needs Prefixing Registers
von: Kim, Seunghyeon, et al.
Veröffentlicht: (2025)

Enhancing Parameter-Efficient Fine-Tuning of Vision Transformers through Frequency-Based Adaptation
von: Ly, Son Thai, et al.
Veröffentlicht: (2024)

LIB-KD: Teaching Inductive Bias for Efficient Vision Transformer Distillation and Compression
von: Habib, Gousia, et al.
Veröffentlicht: (2023)

Adaptive Teaching with Shared Classifier for Knowledge Distillation
von: Jang, Jaeyeon, et al.
Veröffentlicht: (2024)

Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
von: Faysal, Atik, et al.
Veröffentlicht: (2026)

Understanding the Effects of Distractors on Reasoning Vision-Language Models
von: Bae, Jiyun, et al.
Veröffentlicht: (2025)

Conditional Pseudo-Supervised Contrast for Data-Free Knowledge Distillation
von: Shao, Renrong, et al.
Veröffentlicht: (2025)

Knowledge Distillation Based on Transformed Teacher Matching
von: Zheng, Kaixiang, et al.
Veröffentlicht: (2024)

Self-Distilled Masked Auto-Encoders are Efficient Video Anomaly Detectors
von: Ristea, Nicolae-Catalin, et al.
Veröffentlicht: (2023)

ReMem: Mutual Information-Aware Fine-tuning of Pretrained Vision Transformers for Effective Knowledge Distillation
von: Dong, Chengyu, et al.
Veröffentlicht: (2025)

Self-Supervised Vision Transformers for Writer Retrieval
von: Raven, Tim, et al.
Veröffentlicht: (2024)

Discovering and Mitigating Visual Biases through Keyword Explanation
von: Kim, Younghyun, et al.
Veröffentlicht: (2023)

EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens
von: Hwang, Sunil, et al.
Veröffentlicht: (2022)

Adaptive Knowledge Distillation for Classification of Hand Images using Explainable Vision Transformers
von: Nguyen, Thanh Thi, et al.
Veröffentlicht: (2024)

Neural Image Compression with Text-guided Encoding for both Pixel-level and Perceptual Fidelity
von: Lee, Hagyeong, et al.
Veröffentlicht: (2024)

Self-Supervised Quantization-Aware Knowledge Distillation
von: Zhao, Kaiqi, et al.
Veröffentlicht: (2024)

Maximizing the Position Embedding for Vision Transformers with Global Average Pooling
von: Lee, Wonjun, et al.
Veröffentlicht: (2025)

Advanced Knowledge Transfer: Refined Feature Distillation for Zero-Shot Quantization in Edge Computing
von: Hong, Inpyo, et al.
Veröffentlicht: (2024)

Supervised Contrastive Vision Transformer for Breast Histopathological Image Classification
von: Shiri, Mohammad, et al.
Veröffentlicht: (2024)

Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels
von: He, Yinsheng, et al.
Veröffentlicht: (2024)

Soft Equivariance Regularization for Invariant Self-Supervised Learning
von: Lee, Joohyung, et al.
Veröffentlicht: (2026)

Structure is Supervision: Multiview Masked Autoencoders for Radiology
von: Laguna, Sonia, et al.
Veröffentlicht: (2025)

Visualizing the loss landscape of Self-supervised Vision Transformer
von: Lee, Youngwan, et al.
Veröffentlicht: (2024)

m2mKD: Module-to-Module Knowledge Distillation for Modular Transformers
von: Lo, Ka Man, et al.
Veröffentlicht: (2024)

Uncertainty-Aware Dual-Student Knowledge Distillation for Efficient Image Classification
von: Gore, Aakash, et al.
Veröffentlicht: (2025)

ViT-2SPN: Vision Transformer-based Dual-Stream Self-Supervised Pretraining Networks for Retinal OCT Classification
von: Saraei, Mohammadreza, et al.
Veröffentlicht: (2025)

Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization
von: Kang, Seongjae, et al.
Veröffentlicht: (2025)

EUDA: An Efficient Unsupervised Domain Adaptation via Self-Supervised Vision Transformer
von: Abedi, Ali, et al.
Veröffentlicht: (2024)

Dataset Distillation for Pre-Trained Self-Supervised Vision Models
von: Cazenavette, George, et al.
Veröffentlicht: (2025)

Masking meets Supervision: A Strong Learning Alliance
von: Heo, Byeongho, et al.
Veröffentlicht: (2023)