Buchumschlag

A Unified Revisit of Temperature in Classification-Based Knowledge Distillation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Frank, Logan, Davis, Jim
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

What Makes a Good Dataset for Knowledge Distillation?
von: Frank, Logan, et al.
Veröffentlicht: (2024)

Adaptive Temperature Based on Logits Correlation in Knowledge Distillation
von: Matsuyama, Kazuhiro, et al.
Veröffentlicht: (2025)

Dynamic Temperature Knowledge Distillation
von: Wei, Yukang, et al.
Veröffentlicht: (2024)

Uncertainty-Aware Dual-Student Knowledge Distillation for Efficient Image Classification
von: Gore, Aakash, et al.
Veröffentlicht: (2025)

Knowledge Distillation Based on Transformed Teacher Matching
von: Zheng, Kaixiang, et al.
Veröffentlicht: (2024)

HSI Image Enhancement Classification Based on Knowledge Distillation: A Study on Forgetting
von: Zhu, Songfeng
Veröffentlicht: (2026)

Explainability-Driven Leaf Disease Classification Using Adversarial Training and Knowledge Distillation
von: Echim, Sebastian-Vasile, et al.
Veröffentlicht: (2023)

Crossmodal Knowledge Distillation with WordNet-Relaxed Text Embeddings for Robust Image Classification
von: Guo, Chenqi, et al.
Veröffentlicht: (2025)

Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition
von: Mishra, Durgesh, et al.
Veröffentlicht: (2025)

Distilling the Knowledge in Data Pruning
von: Ben-Baruch, Emanuel, et al.
Veröffentlicht: (2024)

Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition
von: Guo, Guangyu, et al.
Veröffentlicht: (2021)

Continual Distillation Learning: Knowledge Distillation in Prompt-based Continual Learning
von: Zhang, Qifan, et al.
Veröffentlicht: (2024)

DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models
von: Li, Quanhao, et al.
Veröffentlicht: (2026)

EDocNet: Efficient Datasheet Layout Analysis Based on Focus and Global Knowledge Distillation
von: Chen, Hong Cai, et al.
Veröffentlicht: (2025)

AuG-KD: Anchor-Based Mixup Generation for Out-of-Domain Knowledge Distillation
von: Tang, Zihao, et al.
Veröffentlicht: (2024)

Semantic Knowledge Distillation for Onboard Satellite Earth Observation Image Classification
von: Le, Thanh-Dung, et al.
Veröffentlicht: (2024)

Improving Neural ODEs via Knowledge Distillation
von: Chu, Haoyu, et al.
Veröffentlicht: (2022)

Densely Distilling Cumulative Knowledge for Continual Learning
von: Shi, Zenglin, et al.
Veröffentlicht: (2024)

Forward-Backward Knowledge Distillation for Continual Clustering
von: Sadeghi, Mohammadreza, et al.
Veröffentlicht: (2024)

Adaptive Teaching with Shared Classifier for Knowledge Distillation
von: Jang, Jaeyeon, et al.
Veröffentlicht: (2024)

Data-Augmented Quantization-Aware Knowledge Distillation
von: Kur, Justin, et al.
Veröffentlicht: (2025)

Schrodinger AI: A Unified Spectral-Dynamical Framework for Classification, Reasoning, and Operator-Based Generalization
von: Nguyen, Truong Son
Veröffentlicht: (2025)

Rethinking Decoupled Knowledge Distillation: A Predictive Distribution Perspective
von: Zheng, Bowen, et al.
Veröffentlicht: (2025)

Deep Learning Improvements for Sparse Spatial Field Reconstruction
von: Sunderhaft, Robert, et al.
Veröffentlicht: (2024)

Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels
von: He, Yinsheng, et al.
Veröffentlicht: (2024)

Revisiting Semi-supervised Adversarial Robustness via Noise-aware Online Robust Distillation
von: Wu, Tsung-Han, et al.
Veröffentlicht: (2024)

Dual-Model Weight Selection and Self-Knowledge Distillation for Medical Image Classification
von: Tsutsumi, Ayaka, et al.
Veröffentlicht: (2025)

Adaptive Knowledge Distillation for Classification of Hand Images using Explainable Vision Transformers
von: Nguyen, Thanh Thi, et al.
Veröffentlicht: (2024)

KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification
von: Nourbakhsh, Erfan, et al.
Veröffentlicht: (2025)

Enriching Knowledge Distillation with Intra-Class Contrastive Learning
von: Yuan, Hua, et al.
Veröffentlicht: (2025)

Distilling Knowledge from Heterogeneous Architectures for Semantic Segmentation
von: Huang, Yanglin, et al.
Veröffentlicht: (2025)

Preview-based Category Contrastive Learning for Knowledge Distillation
von: Ding, Muhe, et al.
Veröffentlicht: (2024)

Towards A Generalizable Pathology Foundation Model via Unified Knowledge Distillation
von: Ma, Jiabo, et al.
Veröffentlicht: (2024)

Revisiting the Evaluation of Deep Neural Networks for Pedestrian Detection
von: Feifel, Patrick, et al.
Veröffentlicht: (2025)

Unified Classification and Rejection: A One-versus-All Framework
von: Cheng, Zhen, et al.
Veröffentlicht: (2023)

Optimizing Parking Space Classification: Distilling Ensembles into Lightweight Classifiers
von: Alves, Paulo Luza, et al.
Veröffentlicht: (2024)

LTD: Low Temperature Distillation for Gradient Masking-free Adversarial Training
von: Chen, Erh-Chung, et al.
Veröffentlicht: (2021)

Improving Diversity in Black-box Few-shot Knowledge Distillation
von: Vo, Tri-Nhan, et al.
Veröffentlicht: (2026)

Topology-Guided Knowledge Distillation for Efficient Point Cloud Processing
von: Hai, Luu Tung, et al.
Veröffentlicht: (2025)

The Role of Masking for Efficient Supervised Knowledge Distillation of Vision Transformers
von: Son, Seungwoo, et al.
Veröffentlicht: (2023)