Buchumschlag

Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhao, Ziyu, Zhou, Yixiao, Zhang, Zhi, Zhu, Didi, Shen, Tao, Li, Zexi, Yang, Jinluan, Wang, Xuwu, Su, Jing, Kuang, Kun, Wei, Zhongyu, Wu, Fei, Cheng, Yu
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering
von: Zhao, Ziyu, et al.
Veröffentlicht: (2024)

Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning
von: Zhao, Ziyu, et al.
Veröffentlicht: (2024)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
von: Deng, Guanzhi, et al.
Veröffentlicht: (2026)

Mixture of LoRA Experts
von: Wu, Xun, et al.
Veröffentlicht: (2024)

LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts
von: Zhuang, Yuan, et al.
Veröffentlicht: (2025)

SAMoRA: Semantic-Aware Mixture of LoRA Experts for Task-Adaptive Learning
von: Shi, Boyan, et al.
Veröffentlicht: (2026)

TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts
von: Jeon, Jeimin, et al.
Veröffentlicht: (2026)

Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning
von: Yang, Minghao, et al.
Veröffentlicht: (2025)

ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns
von: Zhao, Ziyu, et al.
Veröffentlicht: (2026)

HRP: High-Rank Preheating for Superior LoRA Initialization
von: Chen, Yuzhu, et al.
Veröffentlicht: (2025)

AT-MoE: Adaptive Task-planning Mixture of Experts via LoRA Approach
von: Li, Xurui, et al.
Veröffentlicht: (2024)

LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration
von: Ai, Yuang, et al.
Veröffentlicht: (2024)

LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild
von: Zhao, Ziyu, et al.
Veröffentlicht: (2024)

Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment
von: Fan, Chenghao, et al.
Veröffentlicht: (2025)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
von: Yang, Yaming, et al.
Veröffentlicht: (2024)

RepLoRA: Reparameterizing Low-Rank Adaptation via the Perspective of Mixture of Experts
von: Truong, Tuan, et al.
Veröffentlicht: (2025)

FlyLoRA: Boosting Task Decoupling and Parameter Efficiency via Implicit Rank-Wise Mixture-of-Experts
von: Zou, Heming, et al.
Veröffentlicht: (2025)

FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation
von: Sathyavageeswaran, Ramakrishnan
Veröffentlicht: (2026)

Flexi-LoRA with Input-Adaptive Ranks: Efficient Finetuning for Speech and Reasoning Tasks
von: Li, Zongqian, et al.
Veröffentlicht: (2026)

Hierarchical-Task-Aware Multi-modal Mixture of Incremental LoRA Experts for Embodied Continual Learning
von: Jia, Ziqi, et al.
Veröffentlicht: (2025)

Mixture of Cluster-conditional LoRA Experts for Vision-language Instruction Tuning
von: Gou, Yunhao, et al.
Veröffentlicht: (2023)

Dynamic Mixture of Curriculum LoRA Experts for Continual Multimodal Instruction Tuning
von: Ge, Chendi, et al.
Veröffentlicht: (2025)

SAML: Speaker Adaptive Mixture of LoRA Experts for End-to-End ASR
von: Zhao, Qiuming, et al.
Veröffentlicht: (2024)

MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
von: Li, Dengchun, et al.
Veröffentlicht: (2024)

LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing
von: Li, Wenbing, et al.
Veröffentlicht: (2025)

Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA
von: Fa, Zhan, et al.
Veröffentlicht: (2026)

Mixture of LoRA Experts for Low-Resourced Multi-Accent Automatic Speech Recognition
von: Bagat, Raphaël, et al.
Veröffentlicht: (2025)

CORAL: Scalable Multi-Task Robot Learning via LoRA Experts
von: Luo, Yuankai, et al.
Veröffentlicht: (2026)

PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization
von: Meng, Xiangdi, et al.
Veröffentlicht: (2024)

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models
von: Wei, Jia, et al.
Veröffentlicht: (2026)

X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Molecular Design
von: Buehler, Eric L., et al.
Veröffentlicht: (2024)

Collaborative Multi-LoRA Experts with Achievement-based Multi-Tasks Loss for Unified Multimodal Information Extraction
von: Yuan, Li, et al.
Veröffentlicht: (2025)

Ortho-Hydra: Orthogonalized Experts for DiT LoRA
von: Ji, Seunghyun
Veröffentlicht: (2026)

Higher Layers Need More LoRA Experts
von: Gao, Chongyang, et al.
Veröffentlicht: (2024)

Mixture of LoRA Experts with Multi-Modal and Multi-Granularity LLM Generative Error Correction for Accented Speech Recognition
von: Mu, Bingshen, et al.
Veröffentlicht: (2025)

GuiLoMo: Allocating Expert Number and Rank for LoRA-MoE via Bilevel Optimization with GuidedSelection Vectors
von: Zhang, Hengyuan, et al.
Veröffentlicht: (2025)

Rethinking the Rank Threshold for LoRA Fine-Tuning
von: Park, Juneyoung
Veröffentlicht: (2026)

Post-Optimization Adaptive Rank Allocation for LoRA
von: Kumaravelu, Vishnuprasadh, et al.
Veröffentlicht: (2026)

Multi-Task Dense Prediction via Mixture of Low-Rank Experts
von: Yang, Yuqi, et al.
Veröffentlicht: (2024)

AlphaLoRA: Assigning LoRA Experts Based on Layer Training Quality
von: Qing, Peijun, et al.
Veröffentlicht: (2024)