GuiLoMo: Allocating Expert Number and Rank for LoRA-MoE via Bilevel Optimization with GuidedSelection Vectors

Documenti analoghi

• AT-MoE: Adaptive Task-planning Mixture of Experts via LoRA Approach
  di: Li, Xurui, et al.
  Pubblicazione: (2024)
• A Sensitivity-Driven Expert Allocation Method in LoRA-MoE for Efficient Fine-Tuning
  di: Xu, Junzhou, et al.
  Pubblicazione: (2025)
• LoRALib: A Standardized Benchmark for Evaluating LoRA-MoE Methods
  di: Wang, Shaoheng, et al.
  Pubblicazione: (2025)
• MoRAL: MoE Augmented LoRA for LLMs' Lifelong Learning
  di: Yang, Shu, et al.
  Pubblicazione: (2024)
• MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning
  di: Manzoni, Andrea
  Pubblicazione: (2026)