Buchumschlag

An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bai, Andrew, Yeh, Chih-Kuan, Hsieh, Cho-Jui, Taly, Ankur
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On the Loss of Context-awareness in General Instruction Fine-tuning
von: Wang, Yihan, et al.
Veröffentlicht: (2024)

Concept Gradient: Concept-based Interpretation Without Linear Assumption
von: Bai, Andrew, et al.
Veröffentlicht: (2022)

Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings
von: Zhang, Zhixin, et al.
Veröffentlicht: (2025)

Two-stage LLM Fine-tuning with Less Specialization and More Generalization
von: Wang, Yihan, et al.
Veröffentlicht: (2022)

Fine-Grained Gradient Restriction: A Simple Approach for Mitigating Catastrophic Forgetting
von: Liu, Bo, et al.
Veröffentlicht: (2024)

Mitigating Catastrophic Forgetting in Large Language Models with Forgetting-aware Pruning
von: Huang, Wei, et al.
Veröffentlicht: (2025)

Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic Forgetting
von: Chen, Haolin, et al.
Veröffentlicht: (2024)

Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting
von: Watts, Ishaan, et al.
Veröffentlicht: (2026)

Sequencing to Mitigate Catastrophic Forgetting in Continual Learning
von: Moussa, Hesham G., et al.
Veröffentlicht: (2025)

On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
von: Ahmad, Muhammad, et al.
Veröffentlicht: (2026)

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
von: Fawi, Muhammad
Veröffentlicht: (2024)

Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning
von: Huo, Yujia, et al.
Veröffentlicht: (2025)

Concepts or Skills? Rethinking Instruction Selection for Multi-modal Models
von: Bai, Andrew, et al.
Veröffentlicht: (2025)

Fine-tuning Reinforcement Learning Models is Secretly a Forgetting Mitigation Problem
von: Wołczyk, Maciej, et al.
Veröffentlicht: (2024)

Mitigating Catastrophic Forgetting in Language Transfer via Model Merging
von: Alexandrov, Anton, et al.
Veröffentlicht: (2024)

Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation
von: Xie, Tong, et al.
Veröffentlicht: (2024)

Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models
von: Hsiao, Chi-Yuan, et al.
Veröffentlicht: (2025)

MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL
von: Pang, Jinhui, et al.
Veröffentlicht: (2025)

Don't Forget the Critic: Value-Based Data Rehearsal for Multi-Cyclic Continual Reinforcement Learning
von: Poole, Benjamin, et al.
Veröffentlicht: (2026)

Catastrophic Forgetting Mitigation Through Plateau Phase Activity Profiling
von: Mashiach, Idan, et al.
Veröffentlicht: (2025)

Eidetic Learning: an Efficient and Provable Solution to Catastrophic Forgetting
von: Dronen, Nicholas, et al.
Veröffentlicht: (2025)

Dealing with the Evil Twins: Improving Random Augmentation by Addressing Catastrophic Forgetting of Diverse Augmentations
von: Cho, Dongkyu, et al.
Veröffentlicht: (2025)

Unlabeled Data Improves Fine-Grained Image Zero-shot Classification with Multimodal LLMs
von: Hong, Yunqi, et al.
Veröffentlicht: (2025)

CORE: Mitigating Catastrophic Forgetting in Continual Learning through Cognitive Replay
von: Zhang, Jianshu, et al.
Veröffentlicht: (2024)

Mitigating Catastrophic Forgetting in Mathematical Reasoning Finetuning through Mixed Training
von: Reynolds, John Graham
Veröffentlicht: (2025)

Vulnerability-Aware Alignment: Mitigating Uneven Forgetting in Harmful Fine-Tuning
von: Chen, Liang, et al.
Veröffentlicht: (2025)

Embedding Space Selection for Detecting Memorization and Fingerprinting in Generative Models
von: He, Jack, et al.
Veröffentlicht: (2024)

Grow, Don't Overwrite: Fine-tuning Without Forgetting
von: Adila, Dyah, et al.
Veröffentlicht: (2026)

FlexFed: Mitigating Catastrophic Forgetting in Heterogeneous Federated Learning in Pervasive Computing Environments
von: Alosaime, Sara, et al.
Veröffentlicht: (2025)

Mechanistic Analysis of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning
von: Imanov, Olaf Yunus Laitinen
Veröffentlicht: (2026)

Predicting the Susceptibility of Examples to Catastrophic Forgetting
von: Hacohen, Guy, et al.
Veröffentlicht: (2024)

Catastrophic Forgetting Mitigation via Discrepancy-Weighted Experience Replay
von: Xu, Xinrun, et al.
Veröffentlicht: (2025)

Mitigating Bias in Dataset Distillation
von: Cui, Justin, et al.
Veröffentlicht: (2024)

Grounding and Evaluation for Large Language Models: Practical Challenges and Lessons Learned (Survey)
von: Kenthapadi, Krishnaram, et al.
Veröffentlicht: (2024)

Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems
von: Kang, Yue, et al.
Veröffentlicht: (2024)

Analyzing and Reducing Catastrophic Forgetting in Parameter Efficient Tuning
von: Ren, Weijieying, et al.
Veröffentlicht: (2024)

Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning
von: Lou, Meng, et al.
Veröffentlicht: (2026)

Continual Deep Reinforcement Learning to Prevent Catastrophic Forgetting in Jamming Mitigation
von: Davaslioglu, Kemal, et al.
Veröffentlicht: (2024)

CLUE: Concept-Level Uncertainty Estimation for Large Language Models
von: Wang, Yu-Hsiang, et al.
Veröffentlicht: (2024)

Robust Policy Optimization to Prevent Catastrophic Forgetting
von: Sabbaghi, Mahdi, et al.
Veröffentlicht: (2026)