Buchumschlag

Teacher-Guided Student Self-Knowledge Distillation Using Diffusion Model

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Yu, Yang, Chuanguang, An, Zhulin, Feng, Weilun, Zhao, Jiarui, Yu, Chengqing, Huang, Libo, Diao, Boyu, Xu, Yongjun
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Relational Diffusion Distillation for Efficient Image Generation
von: Feng, Weilun, et al.
Veröffentlicht: (2024)

Multi-Teacher Knowledge Distillation with Reinforcement Learning for Visual Recognition
von: Yang, Chuanguang, et al.
Veröffentlicht: (2025)

Q-VDiT: Towards Accurate Quantization and Distillation of Video-Generation Diffusion Transformers
von: Feng, Weilun, et al.
Veröffentlicht: (2025)

CLIP-KD: An Empirical Study of CLIP Model Distillation
von: Yang, Chuanguang, et al.
Veröffentlicht: (2023)

MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models
von: Feng, Weilun, et al.
Veröffentlicht: (2024)

Efficient Continual Learning through Frequency Decomposition and Integration
von: Liu, Ruiqi, et al.
Veröffentlicht: (2025)

Multi-party Collaborative Attention Control for Image Customization
von: Yang, Han, et al.
Veröffentlicht: (2025)

MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation
von: Feng, Weilun, et al.
Veröffentlicht: (2025)

S$^2$Q-VDiT: Accurate Quantized Video Diffusion Transformer with Salient Data and Sparse Token Distillation
von: Feng, Weilun, et al.
Veröffentlicht: (2025)

Parameterized Prompt for Incremental Object Detection
von: An, Zijia, et al.
Veröffentlicht: (2025)

Exemplar-Free Class Incremental Learning via Incremental Representation
von: Huang, Libo, et al.
Veröffentlicht: (2024)

PrePrompt: Predictive prompting for class incremental learning
von: Huang, Libo, et al.
Veröffentlicht: (2025)

Online Policy Distillation with Decision-Attention
von: Yu, Xinqiang, et al.
Veröffentlicht: (2024)

Continual Learning in the Frequency Domain
von: Liu, Ruiqi, et al.
Veröffentlicht: (2024)

IOR: Inversed Objects Replay for Incremental Object Detection
von: An, Zijia, et al.
Veröffentlicht: (2024)

SRKD: Towards Efficient 3D Point Cloud Segmentation via Structure- and Relation-aware Knowledge Distillation
von: Li, Yuqi, et al.
Veröffentlicht: (2025)

QuantSparse: Comprehensively Compressing Video Diffusion Transformer with Model Quantization and Attention Sparsification
von: Feng, Weilun, et al.
Veröffentlicht: (2025)

MultiAnimate: Pose-Guided Image Animation Made Extensible
von: Hu, Yingcheng, et al.
Veröffentlicht: (2026)

Echo-Forcing: A Scene Memory Framework for Interactive Long Video Generation
von: Wu, Mingqiang, et al.
Veröffentlicht: (2026)

Quantized Visual Geometry Grounded Transformer
von: Feng, Weilun, et al.
Veröffentlicht: (2025)

Frequency-Aligned Knowledge Distillation for Lightweight Spatiotemporal Forecasting
von: Li, Yuqi, et al.
Veröffentlicht: (2025)

Semantic-Guided Dynamic Sparsification for Pre-Trained Model-based Class-Incremental Learning
von: Liu, Ruiqi, et al.
Veröffentlicht: (2026)

Dynamical Adapter Fusion: Constructing A Global Adapter for Pre-Trained Model-based Class-Incremental Learning
von: Liu, Ruiqi, et al.
Veröffentlicht: (2026)

WorldCache: Accelerating World Models for Free via Heterogeneous Token Caching
von: Feng, Weilun, et al.
Veröffentlicht: (2026)

From Isolation to Integration: Building an Adaptive Expert Forest for Pre-Trained Model-based Class-Incremental Learning
von: Liu, Ruiqi, et al.
Veröffentlicht: (2026)

Student-Oriented Teacher Knowledge Refinement for Knowledge Distillation
von: Shen, Chaomin, et al.
Veröffentlicht: (2024)

Low-redundancy Distillation for Continual Learning
von: Liu, RuiQi, et al.
Veröffentlicht: (2023)

AMMKD: Adaptive Multimodal Multi-teacher Distillation for Lightweight Vision-Language Models
von: Li, Yuqi, et al.
Veröffentlicht: (2025)

Can Students Beyond The Teacher? Distilling Knowledge from Teacher's Bias
von: Zhang, Jianhua, et al.
Veröffentlicht: (2024)

CBPNet: A Continual Backpropagation Prompt Network for Alleviating Plasticity Loss on Edge Devices
von: Shao, Runjie, et al.
Veröffentlicht: (2025)

MMT-ARD: Multimodal Multi-Teacher Adversarial Distillation for Robust Vision-Language Models
von: Li, Yuqi, et al.
Veröffentlicht: (2025)

Asymmetric Cross-Modal Knowledge Distillation: Bridging Modalities with Weak Semantic Consistency
von: Wei, Riling, et al.
Veröffentlicht: (2025)

Flow-Guided Diffusion for Video Inpainting
von: Gu, Bohai, et al.
Veröffentlicht: (2023)

GrOCE:Graph-Guided Online Concept Erasure for Text-to-Image Diffusion Models
von: Han, Ning, et al.
Veröffentlicht: (2025)

Select and Distill: Selective Dual-Teacher Knowledge Transfer for Continual Learning on Vision-Language Models
von: Yu, Yu-Chu, et al.
Veröffentlicht: (2024)

Powerful Teachers Matter: Text-Guided Multi-view Knowledge Distillation with Visual Prior Enhancement
von: Zhang, Xin, et al.
Veröffentlicht: (2026)

On the Integration of Spatial-Temporal Knowledge: A Lightweight Approach to Atmospheric Time Series Forecasting
von: Fu, Yisong, et al.
Veröffentlicht: (2024)

TSCM: A Teacher-Student Model for Vision Place Recognition Using Cross-Metric Knowledge Distillation
von: Shen, Yehui, et al.
Veröffentlicht: (2024)

Lightweight Model Pre-training via Language Guided Knowledge Distillation
von: Li, Mingsheng, et al.
Veröffentlicht: (2024)

Prototype-Driven Multi-Feature Generation for Visible-Infrared Person Re-identification
von: Li, Jiarui, et al.
Veröffentlicht: (2024)