Buchumschlag

Distillation Dynamics: Towards Understanding Feature-Based Distillation in Vision Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tian, Huiyuan, Xu, Bonan, Li, Shijian
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

From Per-Image Low-Rank to Encoding Mismatch: Rethinking Feature Distillation in Vision Transformers
von: Tian, Huiyuan, et al.
Veröffentlicht: (2025)

SpectralKD: A Unified Framework for Interpreting and Distilling Vision Transformers via Spectral Analysis
von: Tian, Huiyuan, et al.
Veröffentlicht: (2024)

Vision Transformers with Self-Distilled Registers
von: Chen, Yinjie, et al.
Veröffentlicht: (2025)

CLIPSelf: Vision Transformer Distills Itself for Open-Vocabulary Dense Prediction
von: Wu, Size, et al.
Veröffentlicht: (2023)

Mutual Distillation Learning For Person Re-Identification
von: Fu, Huiyuan, et al.
Veröffentlicht: (2024)

Distilling Vision Transformers for Distortion-Robust Representation Learning
von: Alexis, Konstantinos, et al.
Veröffentlicht: (2026)

Knowledge Distillation in Vision Transformers: A Critical Review
von: Habib, Gousia, et al.
Veröffentlicht: (2023)

Structurally Disentangled Feature Fields Distillation for 3D Understanding and Editing
von: Levy, Yoel, et al.
Veröffentlicht: (2025)

Q-VDiT: Towards Accurate Quantization and Distillation of Video-Generation Diffusion Transformers
von: Feng, Weilun, et al.
Veröffentlicht: (2025)

Dataset Distillation with Probabilistic Latent Features
von: Li, Zhe, et al.
Veröffentlicht: (2025)

Towards Optimal Trade-offs in Knowledge Distillation for CNNs and Vision Transformers at the Edge
von: Violos, John, et al.
Veröffentlicht: (2024)

Distill-SODA: Distilling Self-Supervised Vision Transformer for Source-Free Open-Set Domain Adaptation in Computational Pathology
von: Vray, Guillaume, et al.
Veröffentlicht: (2023)

Towards Online Multi-Modal Social Interaction Understanding
von: Li, Xinpeng, et al.
Veröffentlicht: (2025)

KD-DETR: Knowledge Distillation for Detection Transformer with Consistent Distillation Points Sampling
von: Wang, Yu, et al.
Veröffentlicht: (2022)

VideoDistill: Language-aware Vision Distillation for Video Question Answering
von: Zou, Bo, et al.
Veröffentlicht: (2024)

AMMKD: Adaptive Multimodal Multi-teacher Distillation for Lightweight Vision-Language Models
von: Li, Yuqi, et al.
Veröffentlicht: (2025)

Vision-Language Dataset Distillation
von: Wu, Xindi, et al.
Veröffentlicht: (2023)

X-Distill: Cross-Architecture Vision Distillation for Visuomotor Learning
von: Shao, Maanping, et al.
Veröffentlicht: (2026)

Distill, Diffuse, and Semanticize (DDS): Annotation-Free 3D Scene Understanding Based on Multi-Granularity Distillation and Graph-Diffusion-Based Segmentation
von: Wang, Yijing, et al.
Veröffentlicht: (2026)

3D Feature Distillation with Object-Centric Priors
von: Tziafas, Georgios, et al.
Veröffentlicht: (2024)

X2I: Seamless Integration of Multimodal Understanding into Diffusion Transformer via Attention Distillation
von: Ma, Jian, et al.
Veröffentlicht: (2025)

Comb, Prune, Distill: Towards Unified Pruning for Vision Model Compression
von: Schmitt, Jonas, et al.
Veröffentlicht: (2024)

RMMSS: Towards Advanced Robust Multi-Modal Semantic Segmentation with Hybrid Prototype Distillation and Feature Selection
von: Tan, Jiaqi, et al.
Veröffentlicht: (2025)

Autoregressive Distillation of Diffusion Transformers
von: Kim, Yeongmin, et al.
Veröffentlicht: (2025)

Distillation of Diffusion Features for Semantic Correspondence
von: Fundel, Frank, et al.
Veröffentlicht: (2024)

Preserving Angles Improves Feature Distillation
von: Mannix, Evelyn J., et al.
Veröffentlicht: (2024)

SDRT: Enhance Vision-Language Models by Self-Distillation with Diverse Reasoning Traces
von: Wu, Guande, et al.
Veröffentlicht: (2025)

Non-target Divergence Hypothesis: Toward Understanding Domain Gaps in Cross-Modal Knowledge Distillation
von: Chen, Yilong, et al.
Veröffentlicht: (2024)

Visual-Advantage On-Policy Distillation for Vision-Language Models
von: Liu, Ruiqi, et al.
Veröffentlicht: (2026)

PartDistill: 3D Shape Part Segmentation by Vision-Language Model Distillation
von: Umam, Ardian, et al.
Veröffentlicht: (2023)

Towards Trustworthy Dataset Distillation
von: Ma, Shijie, et al.
Veröffentlicht: (2023)

DFMSD: Dual Feature Masking Stage-wise Knowledge Distillation for Object Detection
von: Zhang, Zhourui, et al.
Veröffentlicht: (2024)

MagicDistillation: Weak-to-Strong Video Distillation for Large-Scale Few-Step Synthesis
von: Shao, Shitong, et al.
Veröffentlicht: (2025)

Multi-Depth Branch Network for Efficient Image Super-Resolution
von: Tian, Huiyuan, et al.
Veröffentlicht: (2023)

Knowledge Distillation for Feature Extraction in Underwater VSLAM
von: Yang, Jinghe, et al.
Veröffentlicht: (2023)

Attention-guided Feature Distillation for Semantic Segmentation
von: Mansourian, Amir M., et al.
Veröffentlicht: (2024)

Progressive Class-level Distillation
von: Li, Jiayan, et al.
Veröffentlicht: (2025)

Dataset Distillation via Vision-Language Category Prototype
von: Zou, Yawen, et al.
Veröffentlicht: (2025)

DSConv: Dynamic Splitting Convolution for Pansharpening
von: Liu, Xuanyu, et al.
Veröffentlicht: (2025)

The Role of Masking for Efficient Supervised Knowledge Distillation of Vision Transformers
von: Son, Seungwoo, et al.
Veröffentlicht: (2023)