Buchumschlag

Analyzing and Reducing Catastrophic Forgetting in Parameter Efficient Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ren, Weijieying, Li, Xinlong, Wang, Lei, Zhao, Tianxiang, Qin, Wei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Comprehensive Survey of Electronic Health Record Modeling: From Deep Learning Approaches to Large Language Models
von: Ren, Weijieying, et al.
Veröffentlicht: (2025)

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
von: Fawi, Muhammad
Veröffentlicht: (2024)

Evolutionary Strategies lead to Catastrophic Forgetting in LLMs
von: Abdi, Immanuel, et al.
Veröffentlicht: (2026)

Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models
von: Hsiao, Chi-Yuan, et al.
Veröffentlicht: (2025)

Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
von: Zhang, Zheng, et al.
Veröffentlicht: (2024)

Intelligent Learning Rate Distribution to reduce Catastrophic Forgetting in Transformers
von: Kenneweg, Philip, et al.
Veröffentlicht: (2024)

Dynamic Expert Specialization: Towards Catastrophic Forgetting-Free Multi-Domain MoE Adaptation
von: Li, Junzhuo, et al.
Veröffentlicht: (2025)

Deep Learning within Tabular Data: Foundations, Challenges, Advances and Future Directions
von: Ren, Weijieying, et al.
Veröffentlicht: (2025)

Self-Distillation as a Performance Recovery Mechanism for LLMs: Counteracting Compression and Catastrophic Forgetting
von: Liu, Chi, et al.
Veröffentlicht: (2026)

Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
von: Wang, Tuowei, et al.
Veröffentlicht: (2025)

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform
von: Gao, Ziqi, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning for Foundation Models
von: Zhang, Dan, et al.
Veröffentlicht: (2025)

Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings
von: Zhang, Zhixin, et al.
Veröffentlicht: (2025)

Reinforcement Fine-Tuning Naturally Mitigates Forgetting in Continual Post-Training
von: Lai, Song, et al.
Veröffentlicht: (2025)

Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs
von: Wang, Ruoyu, et al.
Veröffentlicht: (2024)

Parameter Efficient Instruction Tuning: An Empirical Study
von: He, Pengfei
Veröffentlicht: (2024)

Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation
von: Ma, Xinyu, et al.
Veröffentlicht: (2024)

EsaCL: Efficient Continual Learning of Sparse Models
von: Ren, Weijieying, et al.
Veröffentlicht: (2024)

SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors
von: Lingam, Vijay, et al.
Veröffentlicht: (2024)

Revisiting Catastrophic Forgetting in Large Language Model Tuning
von: Li, Hongyu, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
von: Wang, Luping, et al.
Veröffentlicht: (2024)

Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
von: Diao, Muxi, et al.
Veröffentlicht: (2026)

Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications
von: Balne, Charith Chandra Sai, et al.
Veröffentlicht: (2024)

Solo Connection: A Parameter Efficient Fine-Tuning Technique for Transformers
von: Pathak, Harsh Nilesh, et al.
Veröffentlicht: (2025)

Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models
von: Dima, George-Andrei, et al.
Veröffentlicht: (2025)

AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning
von: Zhou, Han, et al.
Veröffentlicht: (2023)

DARE the Extreme: Revisiting Delta-Parameter Pruning For Fine-Tuned Models
von: Deng, Wenlong, et al.
Veröffentlicht: (2024)

BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models
von: Chang, Aofei, et al.
Veröffentlicht: (2024)

RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation
von: Nikdan, Mahdi, et al.
Veröffentlicht: (2024)

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning
von: Zhang, Zhi, et al.
Veröffentlicht: (2025)

GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay
von: Zhang, Yunan, et al.
Veröffentlicht: (2025)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
von: Liu, Zeyu, et al.
Veröffentlicht: (2024)

Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
von: Liu, Yilun, et al.
Veröffentlicht: (2025)

LLM Unlearning via Loss Adjustment with Only Forget Data
von: Wang, Yaxuan, et al.
Veröffentlicht: (2024)

Forgetting Transformer: Softmax Attention with a Forget Gate
von: Lin, Zhixuan, et al.
Veröffentlicht: (2025)

Federated Data-Efficient Instruction Tuning for Large Language Models
von: Qin, Zhen, et al.
Veröffentlicht: (2024)

X-PEFT: eXtremely Parameter-Efficient Fine-Tuning for Extreme Multi-Profile Scenarios
von: Kwak, Namju, et al.
Veröffentlicht: (2024)

Graceful Forgetting in Generative Language Models
von: Jiang, Chunyang, et al.
Veröffentlicht: (2025)

Improved Supervised Fine-Tuning for Large Language Models to Mitigate Catastrophic Forgetting
von: Ding, Fei, et al.
Veröffentlicht: (2025)

PoliTune: Analyzing the Impact of Data Selection and Fine-Tuning on Economic and Political Biases in Large Language Models
von: Agiza, Ahmed, et al.
Veröffentlicht: (2024)