Buchumschlag

Student Capacity Moderates Knowledge Distillation Effectiveness: A Systematic Study Across ResNet Teacher-Student Pairs on CIFAR-10

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Yasar, Umut Onur
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Interpreting the Residual Stream of ResNet18
von: Longon, André
Veröffentlicht: (2024)

Poly-MgNet: Polynomial Building Blocks in Multigrid-Inspired ResNets
von: van Betteray, Antonia, et al.
Veröffentlicht: (2025)

Naturally Computed Scale Invariance in the Residual Stream of ResNet18
von: Longon, André
Veröffentlicht: (2025)

DenseNets Reloaded: Paradigm Shift Beyond ResNets and ViTs
von: Kim, Donghyun, et al.
Veröffentlicht: (2024)

Powerful Design of Small Vision Transformer on CIFAR10
von: Wu, Gent
Veröffentlicht: (2025)

ResNet-50 with Class Reweighting and Anatomy-Guided Temporal Decoding for Gastrointestinal Video Analysis
von: Imtiaz, Romil, et al.
Veröffentlicht: (2026)

Integrating Deep Feature Extraction and Hybrid ResNet-DenseNet Model for Multi-Class Abnormality Detection in Endoscopic Images
von: Sagar, Aman, et al.
Veröffentlicht: (2024)

SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks
von: Shi, Xinyu, et al.
Veröffentlicht: (2024)

94% on CIFAR-10 in 3.29 Seconds on a Single GPU
von: Jordan, Keller
Veröffentlicht: (2024)

Image anomaly detection and prediction scheme based on SSA optimized ResNet50-BiGRU model
von: Wan, Qianhui, et al.
Veröffentlicht: (2024)

A Comparative Study of CNN, ResNet, and Vision Transformers for Multi-Classification of Chest Diseases
von: Jain, Ananya, et al.
Veröffentlicht: (2024)

A Deep Features-Based Approach Using Modified ResNet50 and Gradient Boosting for Visual Sentiments Classification
von: Arslan, Muhammad, et al.
Veröffentlicht: (2024)

Medical Image Classification on Imbalanced Data Using ProGAN and SMA-Optimized ResNet: Application to COVID-19
von: Jahromi, Sina, et al.
Veröffentlicht: (2025)

BrainRotViT: Transformer-ResNet Hybrid for Explainable Modeling of Brain Aging from 3D sMRI
von: Jalal, Wasif, et al.
Veröffentlicht: (2025)

Acute Lymphoblastic Leukemia Diagnosis Employing YOLOv11, YOLOv8, ResNet50, and Inception-ResNet-v2 Deep Learning Models
von: Awad, Alaa, et al.
Veröffentlicht: (2025)

SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection
von: Shan, Yimeng, et al.
Veröffentlicht: (2023)

Uncertainty-Aware Dual-Student Knowledge Distillation for Efficient Image Classification
von: Gore, Aakash, et al.
Veröffentlicht: (2025)

Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
von: Lee, Byung-Kwan, et al.
Veröffentlicht: (2025)

Knowledge Distillation Based on Transformed Teacher Matching
von: Zheng, Kaixiang, et al.
Veröffentlicht: (2024)

Leveraging SeNet and ResNet Synergy within an Encoder-Decoder Architecture for Glioma Detection
von: V, Pandiyaraju, et al.
Veröffentlicht: (2024)

A Neural Architecture Search Method using Auxiliary Evaluation Metric based on ResNet Architecture
von: Wang, Shang, et al.
Veröffentlicht: (2025)

PlantDiseaseNet-RT50: A Fine-tuned ResNet50 Architecture for High-Accuracy Plant Disease Detection Beyond Standard CNNs
von: Sagnika, Santwana, et al.
Veröffentlicht: (2025)

MFI-ResNet: Efficient ResNet Architecture Optimization via MeanFlow Compression and Selective Incubation
von: Sun, Nuolin, et al.
Veröffentlicht: (2025)

Do Students Debias Like Teachers? On the Distillability of Bias Mitigation Methods
von: Cheng, Jiali, et al.
Veröffentlicht: (2025)

MST-Distill: Mixture of Specialized Teachers for Cross-Modal Knowledge Distillation
von: Li, Hui, et al.
Veröffentlicht: (2025)

Student-Oriented Teacher Knowledge Refinement for Knowledge Distillation
von: Shen, Chaomin, et al.
Veröffentlicht: (2024)

Using ResNet to Utilize 4-class T2-FLAIR Slice Classification Based on the Cholinergic Pathways Hyperintensities Scale for Pathological Aging
von: Tsai, Wei-Chun Kevin, et al.
Veröffentlicht: (2023)

The Role of Teacher Calibration in Knowledge Distillation
von: Kim, Suyoung, et al.
Veröffentlicht: (2025)

Layer-Wise Relevance Propagation with Conservation Property for ResNet
von: Otsuki, Seitaro, et al.
Veröffentlicht: (2024)

PushPull-Net: Inhibition-driven ResNet robust to image corruptions
von: Bennabhaktula, Guru Swaroop, et al.
Veröffentlicht: (2024)

Crossmodal Knowledge Distillation with WordNet-Relaxed Text Embeddings for Robust Image Classification
von: Guo, Chenqi, et al.
Veröffentlicht: (2025)

EDocNet: Efficient Datasheet Layout Analysis Based on Focus and Global Knowledge Distillation
von: Chen, Hong Cai, et al.
Veröffentlicht: (2025)

CFTS-GAN: Continual Few-Shot Teacher Student for Generative Adversarial Networks
von: Ali, Munsif, et al.
Veröffentlicht: (2024)

Can Students Beyond The Teacher? Distilling Knowledge from Teacher's Bias
von: Zhang, Jianhua, et al.
Veröffentlicht: (2024)

Good Teachers Explain: Explanation-Enhanced Knowledge Distillation
von: Parchami-Araghi, Amin, et al.
Veröffentlicht: (2024)

Teacher as a Lenient Expert: Teacher-Agnostic Data-Free Knowledge Distillation
von: Shin, Hyunjune, et al.
Veröffentlicht: (2024)

Fourier-Based GAN Fingerprint Detection using ResNet50
von: Erukude, Sai Teja, et al.
Veröffentlicht: (2025)

Lung Cancer Classification from CT Images Using ResNet
von: Adekunle, Olajumoke O., et al.
Veröffentlicht: (2025)

Continual Distillation of Teachers from Different Domains
von: Michel, Nicolas, et al.
Veröffentlicht: (2026)

ReMem: Mutual Information-Aware Fine-tuning of Pretrained Vision Transformers for Effective Knowledge Distillation
von: Dong, Chengyu, et al.
Veröffentlicht: (2025)