Copertina

Distillation-Guided Structural Transfer for Continual Learning Beyond Sparse Distributed Memory

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Xue, Huiyan, Ran, Xuming, Li, Yaxin, Xu, Qi, Li, Enhui, Xu, Yi, Zhang, Qiang
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Representation Finetuning for Continual Learning
di: Luo, Haihua, et al.
Pubblicazione: (2026)

Beyond Distribution Estimation: Simplex Anchored Structural Inference Towards Universal Semi-Supervised Learning
di: Hou, Yaxin, et al.
Pubblicazione: (2026)

SAE-FD: Sparse Autoencoder Feature Distillation for Continual Learning of Large Language Models
di: Zhang, Mingxu, et al.
Pubblicazione: (2026)

Latent Context Compilation: Distilling Long Context into Compact Portable Memory
di: Li, Zeju, et al.
Pubblicazione: (2026)

Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training
di: Xu, Yuanda, et al.
Pubblicazione: (2026)

Efficient ANN-SNN Conversion with Error Compensation Learning
di: Liu, Chang, et al.
Pubblicazione: (2025)

Context Distillation as Latent Memory Management
di: Zheng, Ziyang, et al.
Pubblicazione: (2026)

Privacy-Preserving Transfer Learning for Community Detection using Locally Distributed Multiple Networks
di: Guo, Xiao, et al.
Pubblicazione: (2025)

Low-redundancy Distillation for Continual Learning
di: Liu, RuiQi, et al.
Pubblicazione: (2023)

Continual Policy Distillation from Distributed Reinforcement Learning Teachers
di: Li, Yuxuan, et al.
Pubblicazione: (2026)

PDAC: Efficient Coreset Selection for Continual Learning via Probability Density Awareness
di: Gao, Junqi, et al.
Pubblicazione: (2025)

Attribution-Guided Distillation of Matryoshka Sparse Autoencoders
di: Martin-Linares, Cristina P., et al.
Pubblicazione: (2025)

Beyond Tokens: Enhancing RTL Quality Estimation via Structural Graph Learning
di: Liu, Yi, et al.
Pubblicazione: (2025)

HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing
di: Fang, Yuan, et al.
Pubblicazione: (2026)

Memory-Statistics Tradeoff in Continual Learning with Structural Regularization
di: Li, Haoran, et al.
Pubblicazione: (2025)

De-confounding Representation Learning for Counterfactual Inference on Continuous Treatment via Generative Adversarial Network
di: Zhao, Yonghe, et al.
Pubblicazione: (2023)

Generative Distribution Distillation
di: Cui, Jiequan, et al.
Pubblicazione: (2025)

Continual Contrastive Learning on Tabular Data with Out of Distribution
di: Ginanjar, Achmad, et al.
Pubblicazione: (2025)

Distribution-Level Memory Recall for Continual Learning: Preserving Knowledge and Avoiding Confusion
di: Cheng, Shaoxu, et al.
Pubblicazione: (2024)

Vector Quantization Prompting for Continual Learning
di: Jiao, Li, et al.
Pubblicazione: (2024)

Ultra-Sparse Memory Network
di: Huang, Zihao, et al.
Pubblicazione: (2024)

MGSER-SAM: Memory-Guided Soft Experience Replay with Sharpness-Aware Optimization for Enhanced Continual Learning
di: Li, Xingyu, et al.
Pubblicazione: (2024)

Global Momentum Compression for Sparse Communication in Distributed Learning
di: Shi, Chang-Wei, et al.
Pubblicazione: (2019)

Operator-Guided Invariance Learning for Continuous Reinforcement Learning
di: Zhang, Zuyuan, et al.
Pubblicazione: (2026)

Pushing the Limits of Distillation-Based Continual Learning via Classifier-Proximal Lightweight Plugins
di: Xu, Zhiming, et al.
Pubblicazione: (2025)

Structure Learning with Continuous Optimization: A Sober Look and Beyond
di: Ng, Ignavier, et al.
Pubblicazione: (2023)

Byzantine-Robust Distributed Sparse Learning Revisited
di: Wang, Yuxuan, et al.
Pubblicazione: (2026)

Brain-inspired continual pre-trained learner via silent synaptic consolidation
di: Ran, Xuming, et al.
Pubblicazione: (2024)

Path-Guided Flow Matching for Dataset Distillation
di: Li, Xuhui, et al.
Pubblicazione: (2026)

Energy-Structured Low-Rank Adaptation for Continual Learning
di: Li, Longhua, et al.
Pubblicazione: (2026)

Attribution-Guided Continual Learning for Large Language Models
di: Liu, Yazheng, et al.
Pubblicazione: (2026)

Group-Sparse Matrix Factorization for Transfer Learning of Word Embeddings
di: Xu, Kan, et al.
Pubblicazione: (2021)

Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation
di: Li, Jiyong, et al.
Pubblicazione: (2024)

Grass: Compute Efficient Low-Memory LLM Training with Structured Sparse Gradients
di: Muhamed, Aashiq, et al.
Pubblicazione: (2024)

Exploration by Random Distribution Distillation
di: Fang, Zhirui, et al.
Pubblicazione: (2025)

Enhancing Pretrained Model-based Continual Representation Learning via Guided Random Projection
di: Li, Ruilin, et al.
Pubblicazione: (2026)

Random Walk Guided Hyperbolic Graph Distillation
di: Long, Yunbo, et al.
Pubblicazione: (2025)

Feature Distillation is the Better Choice for Model-Heterogeneous Federated Learning
di: Li, Yichen, et al.
Pubblicazione: (2025)

Improving Knowledge Distillation in Transfer Learning with Layer-wise Learning Rates
di: Kokane, Shirley, et al.
Pubblicazione: (2024)

Information-Theoretic Dual Memory System for Continual Learning
di: Wu, RunQing, et al.
Pubblicazione: (2025)