Buchumschlag

Improving Knowledge Distillation in Transfer Learning with Layer-wise Learning Rates

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kokane, Shirley, Uddin, Mostofa Rafid, Xu, Min
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DualContrast: Unsupervised Disentangling of Content and Transformations with Implicit Parameterization
von: Uddin, Mostofa Rafid, et al.
Veröffentlicht: (2024)

Unsupervised SE(3) Disentanglement for in situ Macromolecular Morphology Identification from Cryo-Electron Tomography
von: Uddin, Mostofa Rafid, et al.
Veröffentlicht: (2026)

Improving the Transferability of Adversarial Examples by Inverse Knowledge Distillation
von: Wu, Wenyuan, et al.
Veröffentlicht: (2025)

DiLO: Disentangled Latent Optimization for Learning Shape and Deformation in Grouped Deforming 3D Objects
von: Uddin, Mostofa Rafid, et al.
Veröffentlicht: (2025)

Continual Distillation Learning: Knowledge Distillation in Prompt-based Continual Learning
von: Zhang, Qifan, et al.
Veröffentlicht: (2024)

Enriching Knowledge Distillation with Intra-Class Contrastive Learning
von: Yuan, Hua, et al.
Veröffentlicht: (2025)

Decoupling Dark Knowledge via Block-wise Logit Distillation for Feature-level Alignment
von: Yu, Chengting, et al.
Veröffentlicht: (2024)

Densely Distilling Cumulative Knowledge for Continual Learning
von: Shi, Zenglin, et al.
Veröffentlicht: (2024)

Improving Neural ODEs via Knowledge Distillation
von: Chu, Haoyu, et al.
Veröffentlicht: (2022)

Self-Distillation of Hidden Layers for Self-Supervised Representation Learning
von: Lowe, Scott C., et al.
Veröffentlicht: (2026)

Preview-based Category Contrastive Learning for Knowledge Distillation
von: Ding, Muhe, et al.
Veröffentlicht: (2024)

Neighbour-level Message Interaction Encoding for Improved Representation Learning on Graphs
von: Zhang, Haimin, et al.
Veröffentlicht: (2024)

On Distilling the Displacement Knowledge for Few-Shot Class-Incremental Learning
von: Fang, Pengfei, et al.
Veröffentlicht: (2024)

Improving Zero-shot Generalization of Learned Prompts via Unsupervised Knowledge Distillation
von: Mistretta, Marco, et al.
Veröffentlicht: (2024)

Improving Diversity in Black-box Few-shot Knowledge Distillation
von: Vo, Tri-Nhan, et al.
Veröffentlicht: (2026)

RNAS-CL: Robust Neural Architecture Search by Cross-Layer Knowledge Distillation
von: Nath, Utkarsh, et al.
Veröffentlicht: (2023)

Learning to Transform for Generalizable Instance-wise Invariance
von: Singhal, Utkarsh, et al.
Veröffentlicht: (2023)

Reset It and Forget It: Relearning Last-Layer Weights Improves Continual and Transfer Learning
von: Frati, Lapo, et al.
Veröffentlicht: (2023)

Continual Learning of Achieving Forgetting-free and Positive Knowledge Transfer
von: Wang, Zhi, et al.
Veröffentlicht: (2026)

Learnable Cross-modal Knowledge Distillation for Multi-modal Learning with Missing Modality
von: Wang, Hu, et al.
Veröffentlicht: (2023)

Instance-wise Supervision-level Optimization in Active Learning
von: Matsuo, Shinnosuke, et al.
Veröffentlicht: (2025)

On Explaining Knowledge Distillation: Measuring and Visualising the Knowledge Transfer Process
von: Adhane, Gereziher, et al.
Veröffentlicht: (2024)

Advanced Knowledge Transfer: Refined Feature Distillation for Zero-Shot Quantization in Edge Computing
von: Hong, Inpyo, et al.
Veröffentlicht: (2024)

VONet: Unsupervised Video Object Learning With Parallel U-Net Attention and Object-wise Sequential VAE
von: Yu, Haonan, et al.
Veröffentlicht: (2024)

Maximizing Information in Domain-Invariant Representation Improves Transfer Learning
von: Li, Adrian Shuai, et al.
Veröffentlicht: (2023)

Disentangled World Models: Learning to Transfer Semantic Knowledge from Distracting Videos for Reinforcement Learning
von: Wang, Qi, et al.
Veröffentlicht: (2025)

From Time-series Generation, Model Selection to Transfer Learning: A Comparative Review of Pixel-wise Approaches for Large-scale Crop Mapping
von: Long, Judy, et al.
Veröffentlicht: (2025)

ELSA: Exploiting Layer-wise N:M Sparsity for Vision Transformer Acceleration
von: Huang, Ning-Chi, et al.
Veröffentlicht: (2024)

Improving Learning of New Diseases through Knowledge-Enhanced Initialization for Federated Adapter Tuning
von: Peng, Danni, et al.
Veröffentlicht: (2025)

Class-wise Balancing Data Replay for Federated Class-Incremental Learning
von: Qi, Zhuang, et al.
Veröffentlicht: (2025)

Enhancing Multi-view Open-set Learning via Ambiguity Uncertainty Calibration and View-wise Debiasing
von: Fang, Zihan, et al.
Veröffentlicht: (2025)

Distilling the Knowledge in Data Pruning
von: Ben-Baruch, Emanuel, et al.
Veröffentlicht: (2024)

Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning
von: Li, Linjie, et al.
Veröffentlicht: (2026)

Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning
von: Kim, Taeheon, et al.
Veröffentlicht: (2025)

Pixel-wise RL on Diffusion Models: Reinforcement Learning from Rich Feedback
von: Kordzanganeh, Mo, et al.
Veröffentlicht: (2024)

A Generalization Theory of Cross-Modality Distillation with Contrastive Learning
von: Lin, Hangyu, et al.
Veröffentlicht: (2024)

Componential Prompt-Knowledge Alignment for Domain Incremental Learning
von: Xu, Kunlun, et al.
Veröffentlicht: (2025)

One-shot Federated Learning via Synthetic Distiller-Distillate Communication
von: Zhang, Junyuan, et al.
Veröffentlicht: (2024)

Uncertainty-Aware Multi-Expert Knowledge Distillation for Imbalanced Disease Grading
von: Tong, Shuo, et al.
Veröffentlicht: (2025)

Learning to Discover Knowledge: A Weakly-Supervised Partial Domain Adaptation Approach
von: Lan, Mengcheng, et al.
Veröffentlicht: (2024)