Buchumschlag

$V_kD:$ Improving Knowledge Distillation using Orthogonal Projections

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Miles, Roy, Elezi, Ismail, Deng, Jiankang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

VeLoRA: Memory Efficient Training using Rank-1 Sub-Token Projections
von: Miles, Roy, et al.
Veröffentlicht: (2024)

Deep Active Learning: A Reality Check
von: Gashi, Edrina, et al.
Veröffentlicht: (2024)

Learning to Project for Cross-Task Knowledge Distillation
von: Auty, Dylan, et al.
Veröffentlicht: (2024)

Understanding the Role of the Projector in Knowledge Distillation
von: Miles, Roy, et al.
Veröffentlicht: (2023)

G3DR: Generative 3D Reconstruction in ImageNet
von: Reddy, Pradyumna, et al.
Veröffentlicht: (2024)

SATGround: A Spatially-Aware Approach for Visual Grounding in Remote Sensing
von: Toker, Aysim, et al.
Veröffentlicht: (2025)

DreamCAD: Scaling Multi-modal CAD Generation using Differentiable Parametric Surfaces
von: Khan, Mohammad Sadil, et al.
Veröffentlicht: (2026)

RetouchLLM: Training-free Code-based Image Retouching with Vision Language Models
von: Ye-Bin, Moon, et al.
Veröffentlicht: (2025)

Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering
von: Choi, Yura, et al.
Veröffentlicht: (2026)

ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling
von: Babiloni, Francesca, et al.
Veröffentlicht: (2024)

ViCToR: Improving Visual Comprehension via Token Reconstruction for Pretraining LMMs
von: Xie, Yin, et al.
Veröffentlicht: (2024)

Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning
von: Ma, Chengcheng, et al.
Veröffentlicht: (2023)

"Principal Components" Enable A New Language of Images
von: Wen, Xin, et al.
Veröffentlicht: (2025)

Fractal Calibration for long-tailed object detection
von: Alexandridis, Konstantinos Panagiotis, et al.
Veröffentlicht: (2024)

Distilling Future Temporal Knowledge with Masked Feature Reconstruction for 3D Object Detection
von: Zheng, Haowen, et al.
Veröffentlicht: (2025)

Multi-View 3D Reconstruction using Knowledge Distillation
von: Dutt, Aditya, et al.
Veröffentlicht: (2024)

xModel-KD: Cross-modal Knowledge Distillation for 3D Scene Perception using LiDAR
von: Pathmanathan, Thenukan, et al.
Veröffentlicht: (2026)

Adaptive Explicit Knowledge Transfer for Knowledge Distillation
von: Park, Hyungkeun, et al.
Veröffentlicht: (2024)

Region-based Cluster Discrimination for Visual Representation Learning
von: Xie, Yin, et al.
Veröffentlicht: (2025)

UniME-V2: MLLM-as-a-Judge for Universal Multimodal Embedding Learning
von: Gu, Tiancheng, et al.
Veröffentlicht: (2025)

Cross-Branch Orthogonality for Improved Generalization in Face Deepfake Detection
von: Fernando, Tharindu, et al.
Veröffentlicht: (2025)

TransFace++: Rethinking the Face Recognition Paradigm with a Focus on Accuracy, Efficiency, and Security
von: Dan, Jun, et al.
Veröffentlicht: (2023)

Improving the Transferability of Adversarial Examples by Inverse Knowledge Distillation
von: Wu, Wenyuan, et al.
Veröffentlicht: (2025)

OrthoEraser: Coupled-Neuron Orthogonal Projection for Concept Erasure
von: Shi, Chuancheng, et al.
Veröffentlicht: (2026)

Simple Unsupervised Knowledge Distillation With Space Similarity
von: Singh, Aditya, et al.
Veröffentlicht: (2024)

Gradient-Weighted Feature Back-Projection: A Fast Alternative to Feature Distillation in 3D Gaussian Splatting
von: Joseph, Joji, et al.
Veröffentlicht: (2024)

Sparsity Outperforms Low-Rank Projections in Few-Shot Adaptation
von: Mrabah, Nairouz, et al.
Veröffentlicht: (2025)

Text-to-3D Generation using Jensen-Shannon Score Distillation
von: Do, Khoi, et al.
Veröffentlicht: (2025)

Accelerating Diffusion Models with One-to-Many Knowledge Distillation
von: Zhang, Linfeng, et al.
Veröffentlicht: (2024)

Fuse Before Transfer: Knowledge Fusion for Heterogeneous Distillation
von: Li, Guopeng, et al.
Veröffentlicht: (2024)

Heterogeneous Generative Knowledge Distillation with Masked Image Modeling
von: Wang, Ziming, et al.
Veröffentlicht: (2023)

Robust MLLM Unlearning via Visual Knowledge Distillation
von: Wang, Yuhang, et al.
Veröffentlicht: (2025)

Distilling Cross-Modal Knowledge via Feature Disentanglement
von: Liu, Junhong, et al.
Veröffentlicht: (2025)

Data Upcycling Knowledge Distillation for Image Super-Resolution
von: Zhang, Yun, et al.
Veröffentlicht: (2023)

The Surprising Effectiveness of Canonical Knowledge Distillation for Semantic Segmentation
von: Ali, Muhammad, et al.
Veröffentlicht: (2026)

Pre-training with Random Orthogonal Projection Image Modeling
von: Haghighat, Maryam, et al.
Veröffentlicht: (2023)

Improving Apple Object Detection with Occlusion-Enhanced Distillation
von: Geng, Liang
Veröffentlicht: (2024)

Improving Noise Efficiency in Privacy-preserving Dataset Distillation
von: Zheng, Runkai, et al.
Veröffentlicht: (2025)

Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching
von: Miles, Roy, et al.
Veröffentlicht: (2026)

Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly Detection
von: Yao, Liyi, et al.
Veröffentlicht: (2024)