OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning

Documenti analoghi

• HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
  di: Tian, Chunlin, et al.
  Pubblicazione: (2024)
• VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks
  di: Li, Yang, et al.
  Pubblicazione: (2024)
• KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
  di: Azimi, Rambod, et al.
  Pubblicazione: (2024)
• DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
  di: Deng, Guanzhi, et al.
  Pubblicazione: (2026)
• LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
  di: Zhou, Hongyun, et al.
  Pubblicazione: (2024)