Buchumschlag

Logit Standardization in Knowledge Distillation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, Shangquan, Ren, Wenqi, Li, Jingzhi, Wang, Rui, Cao, Xiaochun
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Restoring Images in Adverse Weather Conditions via Histogram Transformer
von: Sun, Shangquan, et al.
Veröffentlicht: (2024)

A Hybrid Transformer-Mamba Network for Single Image Deraining
von: Sun, Shangquan, et al.
Veröffentlicht: (2024)

EnsIR: An Ensemble Algorithm for Image Restoration via Gaussian Mixture Models
von: Sun, Shangquan, et al.
Veröffentlicht: (2024)

Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining
von: Sun, Shangquan, et al.
Veröffentlicht: (2025)

DI-Retinex: Digital-Imaging Retinex Theory for Low-Light Image Enhancement
von: Sun, Shangquan, et al.
Veröffentlicht: (2024)

Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation
von: Liang, Jiawei, et al.
Veröffentlicht: (2022)

Knowledge Distillation with Refined Logits
von: Sun, Wujie, et al.
Veröffentlicht: (2024)

FaceInsight: A Multimodal Large Language Model for Face Perception
von: Li, Jingzhi, et al.
Veröffentlicht: (2025)

Local Dense Logit Relations for Enhanced Knowledge Distillation
von: Xu, Liuchi, et al.
Veröffentlicht: (2025)

UMDATrack: Unified Multi-Domain Adaptive Tracking Under Adverse Weather Conditions
von: Yao, Siyuan, et al.
Veröffentlicht: (2025)

Multi-perspective Contrastive Logit Distillation
von: Wang, Qi, et al.
Veröffentlicht: (2024)

Towards Explainable Industrial Anomaly Detection via Knowledge-Guided Latent Reasoning
von: Chen, Peng, et al.
Veröffentlicht: (2026)

CAMotion: A High-Quality Benchmark for Camouflaged Moving Object Detection in the Wild
von: Yao, Siyuan, et al.
Veröffentlicht: (2026)

Adaptive Temperature Based on Logits Correlation in Knowledge Distillation
von: Matsuyama, Kazuhiro, et al.
Veröffentlicht: (2025)

Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors
von: Zhang, Aiping, et al.
Veröffentlicht: (2024)

UncTrack: Reliable Visual Object Tracking with Uncertainty-Aware Prototype Memory Network
von: Yao, Siyuan, et al.
Veröffentlicht: (2025)

LumiNet: Perception-Driven Knowledge Distillation via Statistical Logit Calibration
von: Hossain, Md. Ismail, et al.
Veröffentlicht: (2023)

UAGLNet: Uncertainty-Aggregated Global-Local Fusion Network with Cooperative CNN-Transformer for Building Extraction
von: Yao, Siyuan, et al.
Veröffentlicht: (2025)

Generalized Semantic Contrastive Learning via Embedding Side Information for Few-Shot Object Detection
von: Chen, Ruoyu, et al.
Veröffentlicht: (2025)

Aligning Logits Generatively for Principled Black-Box Knowledge Distillation
von: Ma, Jing, et al.
Veröffentlicht: (2022)

Less is More: Fewer Interpretable Region via Submodular Subset Selection
von: Chen, Ruoyu, et al.
Veröffentlicht: (2024)

Decoupling Dark Knowledge via Block-wise Logit Distillation for Feature-level Alignment
von: Yu, Chengting, et al.
Veröffentlicht: (2024)

Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head
von: Yang, Penghui, et al.
Veröffentlicht: (2024)

SphereVAD: Training-Free Video Anomaly Detection via Geodesic Inference on the Unit Hypersphere
von: Huang, Chao, et al.
Veröffentlicht: (2026)

Advancing Adaptive Multi-Stage Video Anomaly Reasoning: A Benchmark Dataset and Method
von: Huang, Chao, et al.
Veröffentlicht: (2026)

How Powerful Potential of Attention on Image Restoration?
von: Wang, Cong, et al.
Veröffentlicht: (2024)

Interpreting Object-level Foundation Models via Visual Precision Search
von: Chen, Ruoyu, et al.
Veröffentlicht: (2024)

Enhancing Logits Distillation with Plug\&Play Kendall's $τ$ Ranking Loss
von: Guan, Yuchen, et al.
Veröffentlicht: (2024)

Where Not to Learn: Prior-Aligned Training with Subset-based Attribution Constraints for Reliable Decision-Making
von: Chen, Ruoyu, et al.
Veröffentlicht: (2026)

Less is More: Efficient Black-box Attribution via Minimal Interpretable Subset Selection
von: Chen, Ruoyu, et al.
Veröffentlicht: (2025)

Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier
von: Zhang, Fan, et al.
Veröffentlicht: (2024)

FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation
von: Ma, Yuting, et al.
Veröffentlicht: (2024)

Distilling Temporal Knowledge with Masked Feature Reconstruction for 3D Object Detection
von: Zheng, Haowen, et al.
Veröffentlicht: (2024)

SKDF: A Simple Knowledge Distillation Framework for Distilling Open-Vocabulary Knowledge to Open-world Object Detector
von: Ma, Shuailei, et al.
Veröffentlicht: (2023)

Logit-Based Losses Limit the Effectiveness of Feature Knowledge Distillation
von: Cooper, Nicholas, et al.
Veröffentlicht: (2025)

Domain Generalization for Crop Segmentation with Standardized Ensemble Knowledge Distillation
von: Angarano, Simone, et al.
Veröffentlicht: (2023)

Self-Cooperation Knowledge Distillation for Novel Class Discovery
von: Wang, Yuzheng, et al.
Veröffentlicht: (2024)

LogitDynamics: Reliable ViT Error Detection from Layerwise Logit Trajectories
von: Beigelman, Ido, et al.
Veröffentlicht: (2026)

PAD: Patch-Agnostic Defense against Adversarial Patch Attacks
von: Jing, Lihua, et al.
Veröffentlicht: (2024)

Logits DeConfusion with CLIP for Few-Shot Learning
von: Li, Shuo, et al.
Veröffentlicht: (2025)