Buchumschlag

Towards a General Framework for Continual Learning with Pre-training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Liyuan, Xie, Jingyi, Zhang, Xingxing, Su, Hang, Zhu, Jun
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning
von: Wang, Liyuan, et al.
Veröffentlicht: (2024)

A Comprehensive Survey of Continual Learning: Theory, Method and Application
von: Wang, Liyuan, et al.
Veröffentlicht: (2023)

PEAC: Unsupervised Pre-training for Cross-Embodiment Reinforcement Learning
von: Ying, Chengyang, et al.
Veröffentlicht: (2024)

Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection
von: Sun, Guanglong, et al.
Veröffentlicht: (2026)

SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training
von: Zhang, Gengwei, et al.
Veröffentlicht: (2024)

Generative Large-Scale Pre-trained Models for Automated Ad Bidding Optimization
von: Lei, Yu, et al.
Veröffentlicht: (2025)

S-STE: Continuous Pruning Function for Efficient 2:4 Sparse Pre-training
von: Hu, Yuezhou, et al.
Veröffentlicht: (2024)

CLDyB: Towards Dynamic Benchmarking for Continual Learning with Pre-trained Models
von: Chen, Shengzhuang, et al.
Veröffentlicht: (2025)

Caption, Create, Continue: Continual Learning with Pre-trained Generative Vision-Language Models
von: Solomon, Indu, et al.
Veröffentlicht: (2024)

Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning
von: Tan, Hengkai, et al.
Veröffentlicht: (2024)

ManiBox: Enhancing Embodied Spatial Generalization via Scalable Simulation Data Generations
von: Tan, Hengkai, et al.
Veröffentlicht: (2024)

Aligning Diffusion Behaviors with Q-functions for Efficient Continuous Control
von: Chen, Huayu, et al.
Veröffentlicht: (2024)

WirelessGPT: A Generative Pre-trained Multi-task Learning Framework for Wireless Communication
von: Yang, Tingting, et al.
Veröffentlicht: (2025)

Towards Pre-trained Graph Condensation via Optimal Transport
von: Yan, Yeyu, et al.
Veröffentlicht: (2025)

MUON+: Towards More Effective Muon via One Additional Normalization Step for LLM Pre-training
von: Zhang, Ruijie, et al.
Veröffentlicht: (2026)

PACE: Pretrained Audio Continual Learning
von: Li, Chang, et al.
Veröffentlicht: (2026)

Continual-NExT: A Unified Comprehension And Generation Continual Learning Framework
von: Qiao, Jingyang, et al.
Veröffentlicht: (2026)

Practical Continual Forgetting for Pre-trained Vision Models
von: Zhao, Hongbo, et al.
Veröffentlicht: (2025)

On the Usage of Continual Learning for Out-of-Distribution Generalization in Pre-trained Language Models of Code
von: Weyssow, Martin, et al.
Veröffentlicht: (2023)

Do Pre-trained Models Benefit Equally in Continual Learning?
von: Lee, Kuan-Ying, et al.
Veröffentlicht: (2022)

Accelerating Transformer Pre-training with 2:4 Sparsity
von: Hu, Yuezhou, et al.
Veröffentlicht: (2024)

On the Blessing of Pre-training in Weak-to-Strong Generalization
von: Yao, Wei, et al.
Veröffentlicht: (2026)

Towards the Worst-case Robustness of Large Language Models
von: Chen, Huanran, et al.
Veröffentlicht: (2025)

NetMamba+: A Framework of Pre-trained Models for Efficient and Accurate Network Traffic Classification
von: Wang, Tongze, et al.
Veröffentlicht: (2026)

Self-Expansion of Pre-trained Models with Mixture of Adapters for Continual Learning
von: Wang, Huiyi, et al.
Veröffentlicht: (2024)

Toward Guidance-Free AR Visual Generation via Condition Contrastive Alignment
von: Chen, Huayu, et al.
Veröffentlicht: (2024)

Beyond Cosine Decay: On the effectiveness of Infinite Learning Rate Schedule for Continual Pre-training
von: Singh, Vaibhav, et al.
Veröffentlicht: (2025)

Bidirectional Generative Pre-training for Improving Healthcare Time-series Representation Learning
von: Song, Ziyang, et al.
Veröffentlicht: (2024)

Towards Safe Reinforcement Learning via Constraining Conditional Value-at-Risk
von: Ying, Chengyang, et al.
Veröffentlicht: (2022)

C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models
von: Zhang, Xin, et al.
Veröffentlicht: (2025)

Transfer Learning with Pre-trained Conditional Generative Models
von: Yamaguchi, Shin'ya, et al.
Veröffentlicht: (2022)

Realistic Continual Learning Approach using Pre-trained Models
von: Nasri, Nadia, et al.
Veröffentlicht: (2024)

Graph Generative Pre-trained Transformer
von: Chen, Xiaohui, et al.
Veröffentlicht: (2025)

Timer: Generative Pre-trained Transformers Are Large Time Series Models
von: Liu, Yong, et al.
Veröffentlicht: (2024)

Task Aware Dreamer for Task Generalization in Reinforcement Learning
von: Ying, Chengyang, et al.
Veröffentlicht: (2023)

MIPS: a Multimodal Infinite Polymer Sequence Pre-training Framework for Polymer Property Prediction
von: Wang, Jiaxi, et al.
Veröffentlicht: (2025)

RelPrism: A Multi-Faceted Pre-training Framework with Self-Generated Tasks for Relational Databases
von: Yang, Jinyu, et al.
Veröffentlicht: (2026)

An Efficient Replay for Class-Incremental Learning with Pre-trained Models
von: Yin, Weimin, et al.
Veröffentlicht: (2024)

Continual Learning with Pre-Trained Models: A Survey
von: Zhou, Da-Wei, et al.
Veröffentlicht: (2024)

GraphControl: Adding Conditional Control to Universal Graph Pre-trained Models for Graph Domain Transfer Learning
von: Zhu, Yun, et al.
Veröffentlicht: (2023)