An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning
Fuente:
arXiv
Gespeichert in:
| Hauptverfasser: | Bai, Andrew, Yeh, Chih-Kuan, Hsieh, Cho-Jui, Taly, Ankur |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2024
|
| Schlagworte: | |
| Online-Zugang: | |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
On the Loss of Context-awareness in General Instruction Fine-tuning
von: Wang, Yihan, et al.
Veröffentlicht: (2024)
von: Wang, Yihan, et al.
Veröffentlicht: (2024)
Concept Gradient: Concept-based Interpretation Without Linear Assumption
von: Bai, Andrew, et al.
Veröffentlicht: (2022)
von: Bai, Andrew, et al.
Veröffentlicht: (2022)
Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings
von: Zhang, Zhixin, et al.
Veröffentlicht: (2025)
von: Zhang, Zhixin, et al.
Veröffentlicht: (2025)
Two-stage LLM Fine-tuning with Less Specialization and More Generalization
von: Wang, Yihan, et al.
Veröffentlicht: (2022)
von: Wang, Yihan, et al.
Veröffentlicht: (2022)
Fine-Grained Gradient Restriction: A Simple Approach for Mitigating Catastrophic Forgetting
von: Liu, Bo, et al.
Veröffentlicht: (2024)
von: Liu, Bo, et al.
Veröffentlicht: (2024)
Mitigating Catastrophic Forgetting in Large Language Models with Forgetting-aware Pruning
von: Huang, Wei, et al.
Veröffentlicht: (2025)
von: Huang, Wei, et al.
Veröffentlicht: (2025)
Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic Forgetting
von: Chen, Haolin, et al.
Veröffentlicht: (2024)
von: Chen, Haolin, et al.
Veröffentlicht: (2024)
Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting
von: Watts, Ishaan, et al.
Veröffentlicht: (2026)
von: Watts, Ishaan, et al.
Veröffentlicht: (2026)
Sequencing to Mitigate Catastrophic Forgetting in Continual Learning
von: Moussa, Hesham G., et al.
Veröffentlicht: (2025)
von: Moussa, Hesham G., et al.
Veröffentlicht: (2025)
On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
von: Ahmad, Muhammad, et al.
Veröffentlicht: (2026)
von: Ahmad, Muhammad, et al.
Veröffentlicht: (2026)
CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
von: Fawi, Muhammad
Veröffentlicht: (2024)
von: Fawi, Muhammad
Veröffentlicht: (2024)
Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning
von: Huo, Yujia, et al.
Veröffentlicht: (2025)
von: Huo, Yujia, et al.
Veröffentlicht: (2025)
Concepts or Skills? Rethinking Instruction Selection for Multi-modal Models
von: Bai, Andrew, et al.
Veröffentlicht: (2025)
von: Bai, Andrew, et al.
Veröffentlicht: (2025)
Fine-tuning Reinforcement Learning Models is Secretly a Forgetting Mitigation Problem
von: Wołczyk, Maciej, et al.
Veröffentlicht: (2024)
von: Wołczyk, Maciej, et al.
Veröffentlicht: (2024)
Mitigating Catastrophic Forgetting in Language Transfer via Model Merging
von: Alexandrov, Anton, et al.
Veröffentlicht: (2024)
von: Alexandrov, Anton, et al.
Veröffentlicht: (2024)
Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation
von: Xie, Tong, et al.
Veröffentlicht: (2024)
von: Xie, Tong, et al.
Veröffentlicht: (2024)
Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models
von: Hsiao, Chi-Yuan, et al.
Veröffentlicht: (2025)
von: Hsiao, Chi-Yuan, et al.
Veröffentlicht: (2025)
MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL
von: Pang, Jinhui, et al.
Veröffentlicht: (2025)
von: Pang, Jinhui, et al.
Veröffentlicht: (2025)
Don't Forget the Critic: Value-Based Data Rehearsal for Multi-Cyclic Continual Reinforcement Learning
von: Poole, Benjamin, et al.
Veröffentlicht: (2026)
von: Poole, Benjamin, et al.
Veröffentlicht: (2026)
Catastrophic Forgetting Mitigation Through Plateau Phase Activity Profiling
von: Mashiach, Idan, et al.
Veröffentlicht: (2025)
von: Mashiach, Idan, et al.
Veröffentlicht: (2025)
Eidetic Learning: an Efficient and Provable Solution to Catastrophic Forgetting
von: Dronen, Nicholas, et al.
Veröffentlicht: (2025)
von: Dronen, Nicholas, et al.
Veröffentlicht: (2025)
Dealing with the Evil Twins: Improving Random Augmentation by Addressing Catastrophic Forgetting of Diverse Augmentations
von: Cho, Dongkyu, et al.
Veröffentlicht: (2025)
von: Cho, Dongkyu, et al.
Veröffentlicht: (2025)
Unlabeled Data Improves Fine-Grained Image Zero-shot Classification with Multimodal LLMs
von: Hong, Yunqi, et al.
Veröffentlicht: (2025)
von: Hong, Yunqi, et al.
Veröffentlicht: (2025)
CORE: Mitigating Catastrophic Forgetting in Continual Learning through Cognitive Replay
von: Zhang, Jianshu, et al.
Veröffentlicht: (2024)
von: Zhang, Jianshu, et al.
Veröffentlicht: (2024)
Mitigating Catastrophic Forgetting in Mathematical Reasoning Finetuning through Mixed Training
von: Reynolds, John Graham
Veröffentlicht: (2025)
von: Reynolds, John Graham
Veröffentlicht: (2025)
Vulnerability-Aware Alignment: Mitigating Uneven Forgetting in Harmful Fine-Tuning
von: Chen, Liang, et al.
Veröffentlicht: (2025)
von: Chen, Liang, et al.
Veröffentlicht: (2025)
Embedding Space Selection for Detecting Memorization and Fingerprinting in Generative Models
von: He, Jack, et al.
Veröffentlicht: (2024)
von: He, Jack, et al.
Veröffentlicht: (2024)
Grow, Don't Overwrite: Fine-tuning Without Forgetting
von: Adila, Dyah, et al.
Veröffentlicht: (2026)
von: Adila, Dyah, et al.
Veröffentlicht: (2026)
FlexFed: Mitigating Catastrophic Forgetting in Heterogeneous Federated Learning in Pervasive Computing Environments
von: Alosaime, Sara, et al.
Veröffentlicht: (2025)
von: Alosaime, Sara, et al.
Veröffentlicht: (2025)
Mechanistic Analysis of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning
von: Imanov, Olaf Yunus Laitinen
Veröffentlicht: (2026)
von: Imanov, Olaf Yunus Laitinen
Veröffentlicht: (2026)
Predicting the Susceptibility of Examples to Catastrophic Forgetting
von: Hacohen, Guy, et al.
Veröffentlicht: (2024)
von: Hacohen, Guy, et al.
Veröffentlicht: (2024)
Catastrophic Forgetting Mitigation via Discrepancy-Weighted Experience Replay
von: Xu, Xinrun, et al.
Veröffentlicht: (2025)
von: Xu, Xinrun, et al.
Veröffentlicht: (2025)
Mitigating Bias in Dataset Distillation
von: Cui, Justin, et al.
Veröffentlicht: (2024)
von: Cui, Justin, et al.
Veröffentlicht: (2024)
Grounding and Evaluation for Large Language Models: Practical Challenges and Lessons Learned (Survey)
von: Kenthapadi, Krishnaram, et al.
Veröffentlicht: (2024)
von: Kenthapadi, Krishnaram, et al.
Veröffentlicht: (2024)
Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems
von: Kang, Yue, et al.
Veröffentlicht: (2024)
von: Kang, Yue, et al.
Veröffentlicht: (2024)
Analyzing and Reducing Catastrophic Forgetting in Parameter Efficient Tuning
von: Ren, Weijieying, et al.
Veröffentlicht: (2024)
von: Ren, Weijieying, et al.
Veröffentlicht: (2024)
Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning
von: Lou, Meng, et al.
Veröffentlicht: (2026)
von: Lou, Meng, et al.
Veröffentlicht: (2026)
Continual Deep Reinforcement Learning to Prevent Catastrophic Forgetting in Jamming Mitigation
von: Davaslioglu, Kemal, et al.
Veröffentlicht: (2024)
von: Davaslioglu, Kemal, et al.
Veröffentlicht: (2024)
CLUE: Concept-Level Uncertainty Estimation for Large Language Models
von: Wang, Yu-Hsiang, et al.
Veröffentlicht: (2024)
von: Wang, Yu-Hsiang, et al.
Veröffentlicht: (2024)
Robust Policy Optimization to Prevent Catastrophic Forgetting
von: Sabbaghi, Mahdi, et al.
Veröffentlicht: (2026)
von: Sabbaghi, Mahdi, et al.
Veröffentlicht: (2026)
Ähnliche Einträge
-
On the Loss of Context-awareness in General Instruction Fine-tuning
von: Wang, Yihan, et al.
Veröffentlicht: (2024) -
Concept Gradient: Concept-based Interpretation Without Linear Assumption
von: Bai, Andrew, et al.
Veröffentlicht: (2022) -
Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings
von: Zhang, Zhixin, et al.
Veröffentlicht: (2025) -
Two-stage LLM Fine-tuning with Less Specialization and More Generalization
von: Wang, Yihan, et al.
Veröffentlicht: (2022) -
Fine-Grained Gradient Restriction: A Simple Approach for Mitigating Catastrophic Forgetting
von: Liu, Bo, et al.
Veröffentlicht: (2024)