SLIM: Let LLM Learn More and Forget Less with Soft LoRA and Identity Mixture

Documenti analoghi

• AdaFV: Rethinking of Visual-Language alignment for VLM acceleration
  di: Han, Jiayi, et al.
  Pubblicazione: (2025)
• LoRA Learns Less and Forgets Less
  di: Biderman, Dan, et al.
  Pubblicazione: (2024)
• Mixture of LoRA Experts
  di: Wu, Xun, et al.
  Pubblicazione: (2024)
• DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
  di: Deng, Guanzhi, et al.
  Pubblicazione: (2026)
• TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts
  di: Jeon, Jeimin, et al.
  Pubblicazione: (2026)