Buchumschlag

Mitigating Catastrophic Forgetting in Large Language Models with Forgetting-aware Pruning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Huang, Wei, Cheng, Anda, Wang, Yinggui
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Mitigating Catastrophic Forgetting in Language Transfer via Model Merging
von: Alexandrov, Anton, et al.
Veröffentlicht: (2024)

Sequencing to Mitigate Catastrophic Forgetting in Continual Learning
von: Moussa, Hesham G., et al.
Veröffentlicht: (2025)

Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting
von: Watts, Ishaan, et al.
Veröffentlicht: (2026)

Information Leakage from Embedding in Large Language Models
von: Wan, Zhipeng, et al.
Veröffentlicht: (2024)

A Fast, Performant, Secure Distributed Training Framework For Large Language Model
von: Huang, Wei, et al.
Veröffentlicht: (2024)

Catastrophic Forgetting Mitigation Through Plateau Phase Activity Profiling
von: Mashiach, Idan, et al.
Veröffentlicht: (2025)

MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL
von: Pang, Jinhui, et al.
Veröffentlicht: (2025)

Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models
von: Hsiao, Chi-Yuan, et al.
Veröffentlicht: (2025)

Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings
von: Zhang, Zhixin, et al.
Veröffentlicht: (2025)

Predicting the Susceptibility of Examples to Catastrophic Forgetting
von: Hacohen, Guy, et al.
Veröffentlicht: (2024)

Catastrophic Forgetting in Kolmogorov-Arnold Networks
von: Rahman, Mohammad Marufur, et al.
Veröffentlicht: (2025)

Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning
von: Huo, Yujia, et al.
Veröffentlicht: (2025)

Understanding Catastrophic Forgetting in Language Models via Implicit Inference
von: Kotha, Suhas, et al.
Veröffentlicht: (2023)

Are Time Series Foundation Models Susceptible to Catastrophic Forgetting?
von: Karaouli, Nouha, et al.
Veröffentlicht: (2025)

Mitigating Catastrophic Forgetting in Mathematical Reasoning Finetuning through Mixed Training
von: Reynolds, John Graham
Veröffentlicht: (2025)

Fine-Grained Gradient Restriction: A Simple Approach for Mitigating Catastrophic Forgetting
von: Liu, Bo, et al.
Veröffentlicht: (2024)

CORE: Mitigating Catastrophic Forgetting in Continual Learning through Cognitive Replay
von: Zhang, Jianshu, et al.
Veröffentlicht: (2024)

DPF-CM: A Data Processing Framework with Privacy-Preserving Vector Databases for Chinese Medical LLMs Training and Deployment
von: Huang, Wei, et al.
Veröffentlicht: (2025)

Robust Policy Optimization to Prevent Catastrophic Forgetting
von: Sabbaghi, Mahdi, et al.
Veröffentlicht: (2026)

Catastrophic Forgetting Mitigation via Discrepancy-Weighted Experience Replay
von: Xu, Xinrun, et al.
Veröffentlicht: (2025)

Unlocking the Power of Function Vectors for Characterizing and Mitigating Catastrophic Forgetting in Continual Instruction Tuning
von: Jiang, Gangwei, et al.
Veröffentlicht: (2025)

Analyzing and Reducing Catastrophic Forgetting in Parameter Efficient Tuning
von: Ren, Weijieying, et al.
Veröffentlicht: (2024)

FlexFed: Mitigating Catastrophic Forgetting in Heterogeneous Federated Learning in Pervasive Computing Environments
von: Alosaime, Sara, et al.
Veröffentlicht: (2025)

An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning
von: Bai, Andrew, et al.
Veröffentlicht: (2024)

Avoid Catastrophic Forgetting with Rank-1 Fisher from Diffusion Models
von: Wang, Zekun, et al.
Veröffentlicht: (2025)

Continual Deep Reinforcement Learning to Prevent Catastrophic Forgetting in Jamming Mitigation
von: Davaslioglu, Kemal, et al.
Veröffentlicht: (2024)

Continual Learning and Catastrophic Forgetting
von: van de Ven, Gido M., et al.
Veröffentlicht: (2024)

LLM-AutoDP: Automatic Data Processing via LLM Agents for Model Fine-tuning
von: Huang, Wei, et al.
Veröffentlicht: (2026)

Eidetic Learning: an Efficient and Provable Solution to Catastrophic Forgetting
von: Dronen, Nicholas, et al.
Veröffentlicht: (2025)

Multi-Head Attention as a Source of Catastrophic Forgetting in MoE Transformers
von: Chen, Anrui, et al.
Veröffentlicht: (2026)

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
von: Fawi, Muhammad
Veröffentlicht: (2024)

Holographic Knowledge Manifolds: A Novel Pipeline for Continual Learning Without Catastrophic Forgetting in Large Language Models
von: Arndt, Justin
Veröffentlicht: (2025)

The Joint Effect of Task Similarity and Overparameterization on Catastrophic Forgetting -- An Analytical Model
von: Goldfarb, Daniel, et al.
Veröffentlicht: (2024)

Context Channel Capacity: An Information-Theoretic Framework for Understanding Catastrophic Forgetting
von: Cheng, Ran
Veröffentlicht: (2026)

Evolutionary Strategies lead to Catastrophic Forgetting in LLMs
von: Abdi, Immanuel, et al.
Veröffentlicht: (2026)

A Conformal Predictive Measure for Assessing Catastrophic Forgetting
von: Pitsiorlas, Ioannis, et al.
Veröffentlicht: (2025)

On the Implicit Adversariality of Catastrophic Forgetting in Deep Continual Learning
von: Peng, Ze, et al.
Veröffentlicht: (2025)

Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning
von: Elsayed, Mohamed, et al.
Veröffentlicht: (2024)

Revisiting Catastrophic Forgetting in Continual Knowledge Graph Embedding
von: Pons, Gerard, et al.
Veröffentlicht: (2026)

Quantifying Catastrophic Forgetting in IoT Intrusion Detection Systems
von: Banerjee, Sourasekhar, et al.
Veröffentlicht: (2026)