Buchumschlag

Decoupling Dark Knowledge via Block-wise Logit Distillation for Feature-level Alignment

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yu, Chengting, Zhang, Fengzhao, Chen, Ruizhe, Wang, Aili, Liu, Zuozhu, Tan, Shurun, Li, Er-Ping
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Go beyond End-to-End Training: Boosting Greedy Local Learning with Context Supply
von: Yu, Chengting, et al.
Veröffentlicht: (2023)

SDiT: Spiking Diffusion Model with Transformer
von: Yang, Shu, et al.
Veröffentlicht: (2024)

Enhanced Self-Distillation Framework for Efficient Spiking Neural Network Training
von: Zhao, Xiaochen, et al.
Veröffentlicht: (2025)

Knowledge Distillation with Refined Logits
von: Sun, Wujie, et al.
Veröffentlicht: (2024)

Logit Standardization in Knowledge Distillation
von: Sun, Shangquan, et al.
Veröffentlicht: (2024)

Improving Quantization-aware Training of Low-Precision Network via Block Replacement on Full-Precision Counterpart
von: Yu, Chengting, et al.
Veröffentlicht: (2024)

Temporal Separation with Entropy Regularization for Knowledge Distillation in Spiking Neural Networks
von: Yu, Kairong, et al.
Veröffentlicht: (2025)

Local Dense Logit Relations for Enhanced Knowledge Distillation
von: Xu, Liuchi, et al.
Veröffentlicht: (2025)

LumiNet: Perception-Driven Knowledge Distillation via Statistical Logit Calibration
von: Hossain, Md. Ismail, et al.
Veröffentlicht: (2023)

DFMSD: Dual Feature Masking Stage-wise Knowledge Distillation for Object Detection
von: Zhang, Zhourui, et al.
Veröffentlicht: (2024)

Logit-Based Losses Limit the Effectiveness of Feature Knowledge Distillation
von: Cooper, Nicholas, et al.
Veröffentlicht: (2025)

Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head
von: Yang, Penghui, et al.
Veröffentlicht: (2024)

Adaptive Temperature Based on Logits Correlation in Knowledge Distillation
von: Matsuyama, Kazuhiro, et al.
Veröffentlicht: (2025)

CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective
von: Zhu, Wencheng, et al.
Veröffentlicht: (2024)

Sample-level Adaptive Knowledge Distillation for Action Recognition
von: Li, Ping, et al.
Veröffentlicht: (2025)

Modality-Fair Preference Optimization for Trustworthy MLLM Alignment
von: Jiang, Songtao, et al.
Veröffentlicht: (2024)

FAIntbench: A Holistic and Precise Benchmark for Bias Evaluation in Text-to-Image Models
von: Luo, Hanjun, et al.
Veröffentlicht: (2024)

Multi-perspective Contrastive Logit Distillation
von: Wang, Qi, et al.
Veröffentlicht: (2024)

Remote Sensing Image Classification with Decoupled Knowledge Distillation
von: He, Yaping, et al.
Veröffentlicht: (2025)

Contrastive Representation Distillation via Multi-Scale Feature Decoupling
von: Wang, Cuipeng, et al.
Veröffentlicht: (2025)

Long-Tail Temporal Action Segmentation with Group-wise Temporal Logit Adjustment
von: Pang, Zhanzhong, et al.
Veröffentlicht: (2024)

Towards Adversarial Robustness via Debiased High-Confidence Logit Alignment
von: Zhang, Kejia, et al.
Veröffentlicht: (2024)

AgentPose: Progressive Distribution Alignment via Feature Agent for Human Pose Distillation
von: Zhang, Feng, et al.
Veröffentlicht: (2025)

Aligning Logits Generatively for Principled Black-Box Knowledge Distillation
von: Ma, Jing, et al.
Veröffentlicht: (2022)

VersusDebias: Universal Zero-Shot Debiasing for Text-to-Image Models via SLM-Based Prompt Engineering and Generative Adversary
von: Luo, Hanjun, et al.
Veröffentlicht: (2024)

Federated Distillation for Whole Slide Image via Gaussian-Mixture Feature Alignment and Curriculum Integration
von: Jing, Luru, et al.
Veröffentlicht: (2026)

Rethinking Centered Kernel Alignment in Knowledge Distillation
von: Zhou, Zikai, et al.
Veröffentlicht: (2024)

Correlation-Decoupled Knowledge Distillation for Multimodal Sentiment Analysis with Incomplete Modalities
von: Li, Mingcheng, et al.
Veröffentlicht: (2024)

DL-KDD: Dual-Light Knowledge Distillation for Action Recognition in the Dark
von: Chang, Chi-Jui, et al.
Veröffentlicht: (2024)

Scale-wise Distillation of Diffusion Models
von: Starodubcev, Nikita, et al.
Veröffentlicht: (2025)

Centerness-based Instance-aware Knowledge Distillation with Task-wise Mutual Lifting for Object Detection on Drone Imagery
von: Du, Bowei, et al.
Veröffentlicht: (2024)

Knowledge Distillation for Feature Extraction in Underwater VSLAM
von: Yang, Jinghe, et al.
Veröffentlicht: (2023)

Improving Knowledge Distillation in Transfer Learning with Layer-wise Learning Rates
von: Kokane, Shirley, et al.
Veröffentlicht: (2024)

Enhancing Logits Distillation with Plug\&Play Kendall's $τ$ Ranking Loss
von: Guan, Yuchen, et al.
Veröffentlicht: (2024)

Distilling Cross-Modal Knowledge via Feature Disentanglement
von: Liu, Junhong, et al.
Veröffentlicht: (2025)

A Progressive Framework of Vision-language Knowledge Distillation and Alignment for Multilingual Scene
von: Zhang, Wenbo, et al.
Veröffentlicht: (2024)

Knowledge Distillation for Underwater Feature Extraction and Matching via GAN-synthesized Images
von: Yang, Jinghe, et al.
Veröffentlicht: (2025)

Towards Class-wise Fair Adversarial Training via Anti-Bias Soft Label Distillation
von: Zhao, Shiji, et al.
Veröffentlicht: (2025)

M-VAR: Decoupled Scale-wise Autoregressive Modeling for High-Quality Image Generation
von: Ren, Sucheng, et al.
Veröffentlicht: (2024)

Rethinking Decoupled Knowledge Distillation: A Predictive Distribution Perspective
von: Zheng, Bowen, et al.
Veröffentlicht: (2025)