Buchumschlag

ReffAKD: Resource-efficient Autoencoder-based Knowledge Distillation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Doshi, Divyang, Kim, Jung-Eun
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Continual Distillation Learning: Knowledge Distillation in Prompt-based Continual Learning
von: Zhang, Qifan, et al.
Veröffentlicht: (2024)

Adaptive Teaching with Shared Classifier for Knowledge Distillation
von: Jang, Jaeyeon, et al.
Veröffentlicht: (2024)

AI-KD: Adversarial learning and Implicit regularization for self-Knowledge Distillation
von: Kim, Hyungmin, et al.
Veröffentlicht: (2022)

Preview-based Category Contrastive Learning for Knowledge Distillation
von: Ding, Muhe, et al.
Veröffentlicht: (2024)

HyperKD: Distilling Cross-Spectral Knowledge in Masked Autoencoders via Inverse Domain Shift with Spatial-Aware Masking and Specialized Loss
von: Matin, Abdul, et al.
Veröffentlicht: (2025)

Diffusion-based Data Augmentation and Knowledge Distillation with Generated Soft Labels Solving Data Scarcity Problems of SAR Oil Spill Segmentation
von: Moon, Jaeho, et al.
Veröffentlicht: (2024)

Distilling the Knowledge in Data Pruning
von: Ben-Baruch, Emanuel, et al.
Veröffentlicht: (2024)

RESQUE: Quantifying Estimator to Task and Distribution Shift for Sustainable Model Reusability
von: Sangarya, Vishwesh, et al.
Veröffentlicht: (2024)

Improving Diagnostic Accuracy for Oral Cancer with inpainting Synthesis Lesions Generated Using Diffusion Models
von: Lee, Yong Oh, et al.
Veröffentlicht: (2025)

The Role of Teacher Calibration in Knowledge Distillation
von: Kim, Suyoung, et al.
Veröffentlicht: (2025)

Densely Distilling Cumulative Knowledge for Continual Learning
von: Shi, Zenglin, et al.
Veröffentlicht: (2024)

Forward-Backward Knowledge Distillation for Continual Clustering
von: Sadeghi, Mohammadreza, et al.
Veröffentlicht: (2024)

Knowledge Distillation Based on Transformed Teacher Matching
von: Zheng, Kaixiang, et al.
Veröffentlicht: (2024)

Improving Neural ODEs via Knowledge Distillation
von: Chu, Haoyu, et al.
Veröffentlicht: (2022)

Data-Augmented Quantization-Aware Knowledge Distillation
von: Kur, Justin, et al.
Veröffentlicht: (2025)

Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition
von: Guo, Guangyu, et al.
Veröffentlicht: (2021)

Impact of Layer Norm on Memorization and Generalization in Transformers
von: Singhal, Rishi, et al.
Veröffentlicht: (2025)

ContrastCAD: Contrastive Learning-based Representation Learning for Computer-Aided Design Models
von: Jung, Minseop, et al.
Veröffentlicht: (2024)

Enriching Knowledge Distillation with Intra-Class Contrastive Learning
von: Yuan, Hua, et al.
Veröffentlicht: (2025)

Distilling Knowledge from Heterogeneous Architectures for Semantic Segmentation
von: Huang, Yanglin, et al.
Veröffentlicht: (2025)

Adaptive Temperature Based on Logits Correlation in Knowledge Distillation
von: Matsuyama, Kazuhiro, et al.
Veröffentlicht: (2025)

Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning
von: Li, Linjie, et al.
Veröffentlicht: (2026)

Robust Continual Unlearning against Knowledge Erosion and Forgetting Reversal
von: Park, Eun-Ju, et al.
Veröffentlicht: (2026)

ViTCAE: ViT-based Class-conditioned Autoencoder
von: Jebraeeli, Vahid, et al.
Veröffentlicht: (2025)

On Distilling the Displacement Knowledge for Few-Shot Class-Incremental Learning
von: Fang, Pengfei, et al.
Veröffentlicht: (2024)

Rethinking Decoupled Knowledge Distillation: A Predictive Distribution Perspective
von: Zheng, Bowen, et al.
Veröffentlicht: (2025)

Topology-Guided Knowledge Distillation for Efficient Point Cloud Processing
von: Hai, Luu Tung, et al.
Veröffentlicht: (2025)

The Role of Masking for Efficient Supervised Knowledge Distillation of Vision Transformers
von: Son, Seungwoo, et al.
Veröffentlicht: (2023)

Conditional Pseudo-Supervised Contrast for Data-Free Knowledge Distillation
von: Shao, Renrong, et al.
Veröffentlicht: (2025)

A Unified Revisit of Temperature in Classification-Based Knowledge Distillation
von: Frank, Logan, et al.
Veröffentlicht: (2026)

Highlight Every Step: Knowledge Distillation via Collaborative Teaching
von: Zhao, Haoran, et al.
Veröffentlicht: (2019)

Improving Diversity in Black-box Few-shot Knowledge Distillation
von: Vo, Tri-Nhan, et al.
Veröffentlicht: (2026)

Domain Generalization for Crop Segmentation with Standardized Ensemble Knowledge Distillation
von: Angarano, Simone, et al.
Veröffentlicht: (2023)

MST-Distill: Mixture of Specialized Teachers for Cross-Modal Knowledge Distillation
von: Li, Hui, et al.
Veröffentlicht: (2025)

Advancing Compressed Video Action Recognition through Progressive Knowledge Distillation
von: Soufleri, Efstathia, et al.
Veröffentlicht: (2024)

Improving Knowledge Distillation in Transfer Learning with Layer-wise Learning Rates
von: Kokane, Shirley, et al.
Veröffentlicht: (2024)

Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head
von: Yang, Penghui, et al.
Veröffentlicht: (2024)

Optimizing YOLOv5s Object Detection through Knowledge Distillation algorithm
von: Huang, Guanming, et al.
Veröffentlicht: (2024)

Uncertainty-Aware Multi-Expert Knowledge Distillation for Imbalanced Disease Grading
von: Tong, Shuo, et al.
Veröffentlicht: (2025)

Diverse Image Priors for Black-box Data-free Knowledge Distillation
von: Vo, Tri-Nhan, et al.
Veröffentlicht: (2026)