Buchumschlag

Merge before Forget: A Single LoRA Continual Learning via Continual Merging

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Qiao, Fuli, Mahdavi, Mehrdad
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
von: Lee, Seungeon, et al.
Veröffentlicht: (2025)

LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks
von: Prabhakar, Akshara, et al.
Veröffentlicht: (2024)

Tensorized Clustered LoRA Merging for Multi-Task Interference
von: Su, Zhan, et al.
Veröffentlicht: (2025)

SCALE-LoRA: Auditing Post-Retrieval LoRA Composition with Residual Merging and View Reliability
von: Zhou, Shuaipeng, et al.
Veröffentlicht: (2026)

Model Merging via Multi-Teacher Knowledge Distillation
von: Dalili, Seyed Arshan, et al.
Veröffentlicht: (2025)

IterIS: Iterative Inference-Solving Alignment for LoRA Merging
von: Chen, Hongxu, et al.
Veröffentlicht: (2024)

LoBAM: LoRA-Based Backdoor Attack on Model Merging
von: Yin, Ming, et al.
Veröffentlicht: (2024)

Harnessing Optimization Dynamics for Curvature-Informed Model Merging
von: Mahdavinia, Pouria, et al.
Veröffentlicht: (2025)

Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation
von: Miyano, Ryota, et al.
Veröffentlicht: (2025)

Decouple and Orthogonalize: A Data-Free Framework for LoRA Merging
von: Zheng, Shenghe, et al.
Veröffentlicht: (2025)

Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging
von: Zhang, Haobo, et al.
Veröffentlicht: (2025)

LoRA Learns Less and Forgets Less
von: Biderman, Dan, et al.
Veröffentlicht: (2024)

On the Convergence and Stability of Distributed Sub-model Training
von: Deng, Yuyang, et al.
Veröffentlicht: (2025)

ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
von: Shah, Viraj, et al.
Veröffentlicht: (2023)

LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation
von: Shenaj, Donald, et al.
Veröffentlicht: (2024)

Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
von: Deng, Yuyang, et al.
Veröffentlicht: (2024)

Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering
von: Zhao, Ziyu, et al.
Veröffentlicht: (2024)

Label-Free Cross-Task LoRA Merging with Null-Space Compression
von: Lee, Wonyoung, et al.
Veröffentlicht: (2026)

Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy
von: Jeong, Wooseong, et al.
Veröffentlicht: (2026)

BID-LoRA: A Parameter-Efficient Framework for Continual Learning and Unlearning
von: Rachapudi, Jagadeesh, et al.
Veröffentlicht: (2026)

Understanding Catastrophic Forgetting In LoRA via Mean-Field Attention Dynamics
von: Koubbi, Hugo, et al.
Veröffentlicht: (2024)

Shared LoRA Subspaces for almost Strict Continual Learning
von: Kaushik, Prakhar, et al.
Veröffentlicht: (2026)

The Appeal and Reality of Recycling LoRAs with Adaptive Merging
von: Liu, Haokun, et al.
Veröffentlicht: (2026)

Run LoRA Run: Faster and Lighter LoRA Implementations
von: Cherniuk, Daria, et al.
Veröffentlicht: (2023)

Rethinking Inter-LoRA Orthogonality in Adapter Merging: Insights from Orthogonal Monte Carlo Dropout
von: Zhang, Andi, et al.
Veröffentlicht: (2025)

C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models
von: Zhang, Xin, et al.
Veröffentlicht: (2025)

Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA
von: Rahulamathavan, Yogachandran, et al.
Veröffentlicht: (2026)

Dual-LoRA and Quality-Enhanced Pseudo Replay for Multimodal Continual Food Learning
von: Wu, Xinlan, et al.
Veröffentlicht: (2025)

Online-LoRA: Task-free Online Continual Learning via Low Rank Adaptation
von: Wei, Xiwen, et al.
Veröffentlicht: (2024)

Continual Diffusion: Continual Customization of Text-to-Image Diffusion with C-LoRA
von: Smith, James Seale, et al.
Veröffentlicht: (2023)

Merging without Forgetting: Continual Fusion of Task-Specific Models via Optimal Transport
von: Pan, Zecheng, et al.
Veröffentlicht: (2025)

Recover-to-Forget: Gradient Reconstruction from LoRA for Efficient LLM Unlearning
von: Liu, Yezi, et al.
Veröffentlicht: (2025)

TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree
von: Qian, Yu-Yang, et al.
Veröffentlicht: (2025)

SLIM: Let LLM Learn More and Forget Less with Soft LoRA and Identity Mixture
von: Han, Jiayi, et al.
Veröffentlicht: (2024)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
von: Chen, Guanduo, et al.
Veröffentlicht: (2025)

LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization
von: Smith, Ethan, et al.
Veröffentlicht: (2024)

R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning
von: Liu, Jinda, et al.
Veröffentlicht: (2025)

FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning
von: Yu, Xiaobing, et al.
Veröffentlicht: (2025)

LoRA Subtraction for Drift-Resistant Space in Exemplar-Free Continual Learning
von: Liu, Xuan, et al.
Veröffentlicht: (2025)

Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning
von: Qiu, Haomiao, et al.
Veröffentlicht: (2025)