Buchumschlag

Knowledge Distillation via the Target-aware Transformer

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lin, Sihao, Xie, Hongwei, Wang, Bing, Yu, Kaicheng, Chang, Xiaojun, Liang, Xiaodan, Wang, Gang
Format:	Preprint
Veröffentlicht:	2022
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MLP Can Be A Good Transformer Learner
von: Lin, Sihao, et al.
Veröffentlicht: (2024)

Learning A Zero-shot Occupancy Network from Vision Foundation Models via Self-supervised Adaptation
von: Lin, Sihao, et al.
Veröffentlicht: (2025)

Efficient Training of Large Vision Models via Advanced Automated Progressive Learning
von: Li, Changlin, et al.
Veröffentlicht: (2024)

KD-DETR: Knowledge Distillation for Detection Transformer with Consistent Distillation Points Sampling
von: Wang, Yu, et al.
Veröffentlicht: (2022)

MiLA: Multi-view Intensive-fidelity Long-term Video Generation World Model for Autonomous Driving
von: Wang, Haiguang, et al.
Veröffentlicht: (2025)

Optimizing Knowledge Distillation in Transformers: Enabling Multi-Head Attention without Alignment Barriers
von: Bing, Zhaodong, et al.
Veröffentlicht: (2025)

Predicting Genetic Mutation from Whole Slide Images via Biomedical-Linguistic Knowledge Enhanced Multi-label Classification
von: Huang, Gexin, et al.
Veröffentlicht: (2024)

Self-Supervised Multi-Frame Neural Scene Flow
von: Liu, Dongrui, et al.
Veröffentlicht: (2024)

AlignMiF: Geometry-Aligned Multimodal Implicit Field for LiDAR-Camera Joint Synthesis
von: Tang, Tao, et al.
Veröffentlicht: (2024)

Knowledge Distillation via Query Selection for Detection Transformer
von: Liu, Yi, et al.
Veröffentlicht: (2024)

Lightweight Model Pre-training via Language Guided Knowledge Distillation
von: Li, Mingsheng, et al.
Veröffentlicht: (2024)

Teaching with Uncertainty: Unleashing the Potential of Knowledge Distillation in Object Detection
von: Yi, Junfei, et al.
Veröffentlicht: (2024)

Ground-R1: Incentivizing Grounded Visual Reasoning via Reinforcement Learning
von: Cao, Meng, et al.
Veröffentlicht: (2025)

DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions
von: Wang, Guangrun, et al.
Veröffentlicht: (2024)

Making Large Language Models Better Planners with Reasoning-Decision Alignment
von: Huang, Zhijian, et al.
Veröffentlicht: (2024)

Target-aware Bidirectional Fusion Transformer for Aerial Object Tracking
von: Sun, Xinglong, et al.
Veröffentlicht: (2025)

Temporal Separation with Entropy Regularization for Knowledge Distillation in Spiking Neural Networks
von: Yu, Kairong, et al.
Veröffentlicht: (2025)

Contrastive Learning with Counterfactual Explanations for Radiology Report Generation
von: Li, Mingjie, et al.
Veröffentlicht: (2024)

TransMamba: Fast Universal Architecture Adaption from Transformers to Mamba
von: Chen, Xiuwei, et al.
Veröffentlicht: (2025)

3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands
von: Huang, Xuan, et al.
Veröffentlicht: (2024)

Target-aware Image Editing via Cycle-consistent Constraints
von: Wang, Yanghao, et al.
Veröffentlicht: (2025)

Infrared UAV Target Tracking with Dynamic Feature Refinement and Global Contextual Attention Knowledge Distillation
von: Fang, Houzhang, et al.
Veröffentlicht: (2025)

Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering
von: Li, Ao, et al.
Veröffentlicht: (2026)

Robust MLLM Unlearning via Visual Knowledge Distillation
von: Wang, Yuhang, et al.
Veröffentlicht: (2025)

Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes
von: Chen, Jianqi, et al.
Veröffentlicht: (2024)

Learning with Semantic Priors: Stabilizing Point-Supervised Infrared Small Target Detection via Hierarchical Knowledge Distillation
von: Yao, Yuanhang, et al.
Veröffentlicht: (2026)

VRM: Knowledge Distillation via Virtual Relation Matching
von: Zhang, Weijia, et al.
Veröffentlicht: (2025)

BEVLM: Distilling Semantic Knowledge from LLMs into Bird's-Eye View Representations
von: Monninger, Thomas, et al.
Veröffentlicht: (2026)

Rethinking Knowledge in Distillation: An In-context Sample Retrieval Perspective
von: Zhu, Jinjing, et al.
Veröffentlicht: (2025)

SAMKD: Spatial-aware Adaptive Masking Knowledge Distillation for Object Detection
von: Zhang, Zhourui, et al.
Veröffentlicht: (2025)

CLoCKDistill: Consistent Location-and-Context-aware Knowledge Distillation for DETRs
von: Lan, Qizhen, et al.
Veröffentlicht: (2025)

360$^\circ$ High-Resolution Depth Estimation via Uncertainty-aware Structural Knowledge Transfer
von: Cao, Zidong, et al.
Veröffentlicht: (2023)

Structure-Centric Robust Monocular Depth Estimation via Knowledge Distillation
von: Chen, Runze, et al.
Veröffentlicht: (2024)

Target-Driven Distillation: Consistency Distillation with Target Timestep Selection and Decoupled Guidance
von: Wang, Cunzheng, et al.
Veröffentlicht: (2024)

CLIP-CID: Efficient CLIP Distillation via Cluster-Instance Discrimination
von: Yang, Kaicheng, et al.
Veröffentlicht: (2024)

VideoDistill: Language-aware Vision Distillation for Video Question Answering
von: Zou, Bo, et al.
Veröffentlicht: (2024)

Enhancing Adaptive Deep Networks for Image Classification via Uncertainty-aware Decision Fusion
von: Zhang, Xu, et al.
Veröffentlicht: (2024)

SRKD: Towards Efficient 3D Point Cloud Segmentation via Structure- and Relation-aware Knowledge Distillation
von: Li, Yuqi, et al.
Veröffentlicht: (2025)

Improving Facial Landmark Detection Accuracy and Efficiency with Knowledge Distillation
von: Hong, Zong-Wei, et al.
Veröffentlicht: (2024)

A Transformer-in-Transformer Network Utilizing Knowledge Distillation for Image Recognition
von: Rahman, Dewan Tauhid, et al.
Veröffentlicht: (2025)