Buchumschlag

Rethinking Momentum Knowledge Distillation in Online Continual Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Michel, Nicolas, Wang, Maorong, Xiao, Ling, Yamasaki, Toshihiko
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

From Offline to Online Memory-Free and Task-Free Continual Learning via Fine-Grained Hypergradients
von: Michel, Nicolas, et al.
Veröffentlicht: (2025)

Improving Plasticity in Online Continual Learning via Collaborative Learning
von: Wang, Maorong, et al.
Veröffentlicht: (2023)

Dealing with Synthetic Data Contamination in Online Continual Learning
von: Wang, Maorong, et al.
Veröffentlicht: (2024)

Continual Distillation of Teachers from Different Domains
von: Michel, Nicolas, et al.
Veröffentlicht: (2026)

Attribute-Guided Multi-Level Attention Network for Fine-Grained Fashion Retrieval
von: Xiao, Ling, et al.
Veröffentlicht: (2022)

A Multihead Continual Learning Framework for Fine-Grained Fashion Image Retrieval with Contrastive Learning and Exponential Moving Average Distillation
von: Xiao, Ling, et al.
Veröffentlicht: (2026)

Reward Incremental Learning in Text-to-Image Generation
von: Wang, Maorong, et al.
Veröffentlicht: (2024)

Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation
von: Wu, Lirong, et al.
Veröffentlicht: (2024)

Online Adversarial Knowledge Distillation for Graph Neural Networks
von: Wang, Can, et al.
Veröffentlicht: (2021)

LLM-Advisor: An LLM Benchmark for Cost-efficient Path Planning across Multiple Terrains
von: Xiao, Ling, et al.
Veröffentlicht: (2025)

Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning
von: Gao, Haozhi, et al.
Veröffentlicht: (2024)

Rethinking the Foundations for Continual Reinforcement Learning
von: Elelimy, Esraa, et al.
Veröffentlicht: (2025)

Low-redundancy Distillation for Continual Learning
von: Liu, RuiQi, et al.
Veröffentlicht: (2023)

OPD+: Rethinking the Advantage Design for On-Policy Distillation
von: Zhao, Hanyang, et al.
Veröffentlicht: (2026)

Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation
von: Wang, Zhengbo, et al.
Veröffentlicht: (2026)

DistilCLIP-EEG: Enhancing Epileptic Seizure Detection Through Multi-modal Learning and Knowledge Distillation
von: Wang, Zexin, et al.
Veröffentlicht: (2025)

Balancing Knowledge Distillation for Imbalance Learning with Bilevel Optimization
von: Nguyen, Anh B. H., et al.
Veröffentlicht: (2026)

Rethinking the Role of Temperature in Large Language Model Distillation
von: Luong, Hoang-Chau, et al.
Veröffentlicht: (2026)

Knowledge Distillation Must Account for What It Loses
von: Wang, Wenshuo
Veröffentlicht: (2026)

Learning to Reason: Temporal Saliency Distillation for Interpretable Knowledge Transfer
von: Dehigahawattage, Nilushika Udayangani Hewa, et al.
Veröffentlicht: (2026)

Online Policy Distillation with Decision-Attention
von: Yu, Xinqiang, et al.
Veröffentlicht: (2024)

Paper Reconstruction Evaluation: Evaluating Presentation and Hallucination in AI-written Papers
von: Miyai, Atsuyuki, et al.
Veröffentlicht: (2026)

Coupled Distributional Random Expert Distillation for World Model Online Imitation Learning
von: Li, Shangzhe, et al.
Veröffentlicht: (2025)

Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning
von: Kim, Taeheon, et al.
Veröffentlicht: (2025)

Distribution-aware Online Continual Learning for Urban Spatio-Temporal Forecasting
von: Wang, Chengxin, et al.
Veröffentlicht: (2024)

Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems
von: Khani, Nikhil, et al.
Veröffentlicht: (2024)

PolyGen: Fully Synthetic Vision-Language Training via Multi-Generator Ensembles
von: Brusini, Leonardo, et al.
Veröffentlicht: (2026)

Hierarchically Gated Experts for Efficient Online Continual Learning
von: Luong, Kevin, et al.
Veröffentlicht: (2024)

Continual Reinforcement Learning by Planning with Online World Models
von: Liu, Zichen, et al.
Veröffentlicht: (2025)

Federated Continual Learning via Knowledge Fusion: A Survey
von: Yang, Xin, et al.
Veröffentlicht: (2023)

Robust Knowledge Distillation Based on Feature Variance Against Backdoored Teacher Model
von: Chen, Jinyin, et al.
Veröffentlicht: (2024)

Right Time to Learn:Promoting Generalization via Bio-inspired Spacing Effect in Knowledge Distillation
von: Sun, Guanglong, et al.
Veröffentlicht: (2025)

Graph Knowledge Distillation to Mixture of Experts
von: Rumiantsev, Pavel, et al.
Veröffentlicht: (2024)

Dynamic Temperature Scheduler for Knowledge Distillation
von: Islam, Sibgat Ul, et al.
Veröffentlicht: (2025)

Membership and Memorization in LLM Knowledge Distillation
von: Zhang, Ziqi, et al.
Veröffentlicht: (2025)

Leveraging Knowledge Distillation for Efficient Deep Reinforcement Learning in Resource-Constrained Environments
von: Meng, Guanlin
Veröffentlicht: (2023)

Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias
von: Li, Chao, et al.
Veröffentlicht: (2025)

S^2-KD: Semantic-Spectral Knowledge Distillation Spatiotemporal Forecasting
von: Wang, Wenshuo, et al.
Veröffentlicht: (2025)

Reset & Distill: A Recipe for Overcoming Negative Transfer in Continual Reinforcement Learning
von: Ahn, Hongjoon, et al.
Veröffentlicht: (2024)

Orchestrate Latent Expertise: Advancing Online Continual Learning with Multi-Level Supervision and Reverse Self-Distillation
von: Yan, HongWei, et al.
Veröffentlicht: (2024)