Buchumschlag

SpectralKD: A Unified Framework for Interpreting and Distilling Vision Transformers via Spectral Analysis

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tian, Huiyuan, Xu, Bonan, Li, Shijian, Pan, Gang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Distillation Dynamics: Towards Understanding Feature-Based Distillation in Vision Transformers
von: Tian, Huiyuan, et al.
Veröffentlicht: (2025)

From Per-Image Low-Rank to Encoding Mismatch: Rethinking Feature Distillation in Vision Transformers
von: Tian, Huiyuan, et al.
Veröffentlicht: (2025)

LIB-KD: Teaching Inductive Bias for Efficient Vision Transformer Distillation and Compression
von: Habib, Gousia, et al.
Veröffentlicht: (2023)

HyperKD: Distilling Cross-Spectral Knowledge in Masked Autoencoders via Inverse Domain Shift with Spatial-Aware Masking and Specialized Loss
von: Matin, Abdul, et al.
Veröffentlicht: (2025)

Understanding Dataset Distillation via Spectral Filtering
von: Bo, Deyu, et al.
Veröffentlicht: (2025)

m2mKD: Module-to-Module Knowledge Distillation for Modular Transformers
von: Lo, Ka Man, et al.
Veröffentlicht: (2024)

ScaleKD: Strong Vision Transformers Could Be Excellent Teachers
von: Fan, Jiawei, et al.
Veröffentlicht: (2024)

SAFE-KD: Risk-Controlled Early-Exit Distillation for Vision Backbones
von: Khazem, Salim
Veröffentlicht: (2026)

Spectral Gradient Surgery for Domain-Generalizable Dataset Distillation
von: Oh, Minyoung, et al.
Veröffentlicht: (2026)

Deep Spectral Clustering via Joint Spectral Embedding and Kmeans
von: Guo, Wengang, et al.
Veröffentlicht: (2024)

Schrodinger AI: A Unified Spectral-Dynamical Framework for Classification, Reasoning, and Operator-Based Generalization
von: Nguyen, Truong Son
Veröffentlicht: (2025)

AI-KD: Adversarial learning and Implicit regularization for self-Knowledge Distillation
von: Kim, Hyungmin, et al.
Veröffentlicht: (2022)

Weight Averaging for Out-of-Distribution Generalization and Few-Shot Domain Adaptation
von: Xu, Shijian
Veröffentlicht: (2025)

SPA++: Generalized Graph Spectral Alignment for Versatile Domain Adaptation
von: Xiao, Zhiqing, et al.
Veröffentlicht: (2025)

ResiDual Transformer Alignment with Spectral Decomposition
von: Basile, Lorenzo, et al.
Veröffentlicht: (2024)

AuG-KD: Anchor-Based Mixup Generation for Out-of-Domain Knowledge Distillation
von: Tang, Zihao, et al.
Veröffentlicht: (2024)

GraphKD: Exploring Knowledge Distillation Towards Document Object Detection with Structured Graph Creation
von: Banerjee, Ayan, et al.
Veröffentlicht: (2024)

Protego: Detecting Adversarial Examples for Vision Transformers via Intrinsic Capabilities
von: Wu, Jialin, et al.
Veröffentlicht: (2025)

Hyperspectral Image Spectral-Spatial Feature Extraction via Tensor Principal Component Analysis
von: Ren, Yuemei, et al.
Veröffentlicht: (2024)

Spectral-Spatial Contrastive Learning Framework for Regression on Hyperspectral Data
von: Dhaini, Mohamad, et al.
Veröffentlicht: (2026)

The Role of Masking for Efficient Supervised Knowledge Distillation of Vision Transformers
von: Son, Seungwoo, et al.
Veröffentlicht: (2023)

Domain-Enhanced Dual-Branch Model for Efficient and Interpretable Accident Anticipation
von: Guan, Yanchen, et al.
Veröffentlicht: (2025)

Spectral Image Tokenizer
von: Esteves, Carlos, et al.
Veröffentlicht: (2024)

Latent Danger Zone: Distilling Unified Attention for Cross-Architecture Black-box Attacks
von: Li, Yang, et al.
Veröffentlicht: (2025)

DeepKD: A Deeply Decoupled and Denoised Knowledge Distillation Trainer
von: Huang, Haiduo, et al.
Veröffentlicht: (2025)

DisCoM-KD: Cross-Modal Knowledge Distillation via Disentanglement Representation and Adversarial Learning
von: Ienco, Dino, et al.
Veröffentlicht: (2024)

KD-DETR: Knowledge Distillation for Detection Transformer with Consistent Distillation Points Sampling
von: Wang, Yu, et al.
Veröffentlicht: (2022)

Clustering-Guided Spatial-Spectral Mamba for Hyperspectral Image Classification
von: Dewis, Zack, et al.
Veröffentlicht: (2026)

VL-SAE: Interpreting and Enhancing Vision-Language Alignment with a Unified Concept Set
von: Shen, Shufan, et al.
Veröffentlicht: (2025)

KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification
von: Nourbakhsh, Erfan, et al.
Veröffentlicht: (2025)

Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling
von: Mekonnen, Kidist Amde, et al.
Veröffentlicht: (2024)

Multi-Depth Branch Network for Efficient Image Super-Resolution
von: Tian, Huiyuan, et al.
Veröffentlicht: (2023)

Towards Improved Cervical Cancer Screening: Vision Transformer-Based Classification and Interpretability
von: Nguyen, Khoa Tuan, et al.
Veröffentlicht: (2025)

Spectrally-Guided Diffusion Noise Schedules
von: Esteves, Carlos, et al.
Veröffentlicht: (2026)

Improving Interpretation Faithfulness for Vision Transformers
von: Hu, Lijie, et al.
Veröffentlicht: (2023)

Adaptive Spectral Feature Forecasting for Diffusion Sampling Acceleration
von: Han, Jiaqi, et al.
Veröffentlicht: (2026)

Transformation of Biological Networks into Images via Semantic Cartography for Visual Interpretation and Scalable Deep Analysis
von: Mostafa, Sakib, et al.
Veröffentlicht: (2025)

SpectralAR: Spectral Autoregressive Visual Generation
von: Huang, Yuanhui, et al.
Veröffentlicht: (2025)

Multi-level Collaborative Distillation Meets Global Workspace Model: A Unified Framework for OCIL
von: Su, Shibin, et al.
Veröffentlicht: (2025)

LetheViT: Selective Machine Unlearning for Vision Transformers via Attention-Guided Contrastive Learning
von: Tong, Yujia, et al.
Veröffentlicht: (2025)