Buchumschlag

Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Zeren, Wang, Ziqin, Wang, Zhen, Liu, Huayang, Yin, Zhenfei, Liu, Si, Sheng, Lu, Ouyang, Wanli, Qiao, Yu, Shao, Jing
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Computer Vision and Pattern Recognition Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MoRAL: MoE Augmented LoRA for LLMs' Lifelong Learning
von: Yang, Shu, et al.
Veröffentlicht: (2024)

MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning
von: Manzoni, Andrea
Veröffentlicht: (2026)

LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks
von: Wang, Hanqing, et al.
Veröffentlicht: (2024)

AT-MoE: Adaptive Task-planning Mixture of Experts via LoRA Approach
von: Li, Xurui, et al.
Veröffentlicht: (2024)

K-LoRA: Unlocking Training-Free Fusion of Any Subject and Style LoRAs
von: Ouyang, Ziheng, et al.
Veröffentlicht: (2025)

GuiLoMo: Allocating Expert Number and Rank for LoRA-MoE via Bilevel Optimization with GuidedSelection Vectors
von: Zhang, Hengyuan, et al.
Veröffentlicht: (2025)

LLaVA-MoLE: Sparse Mixture of LoRA Experts for Mitigating Data Conflicts in Instruction Finetuning MLLMs
von: Chen, Shaoxiang, et al.
Veröffentlicht: (2024)

Vision as LoRA
von: Wang, Han, et al.
Veröffentlicht: (2025)

Dual LoRA: Enhancing LoRA with Magnitude and Direction Updates
von: Xu, Yixing, et al.
Veröffentlicht: (2025)

Towards Specialized Generalists: A Multi-Task MoE-LoRA Framework for Domain-Specific LLM Adaptation
von: Yang, Yuxin, et al.
Veröffentlicht: (2026)

In-Context Meta LoRA Generation
von: Shao, Yihua, et al.
Veröffentlicht: (2025)

$D^2LoRA$: Data-Driven LoRA Initialization for Low Resource Tasks
von: SeraJ, Javad, et al.
Veröffentlicht: (2025)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
von: Yen, Jui-Nan, et al.
Veröffentlicht: (2024)

CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices
von: Zhao, Weilin, et al.
Veröffentlicht: (2023)

ALTO: Adaptive LoRA Tuning and Orchestration for Heterogeneous LoRA Training Workloads
von: Zuo, Jingwei, et al.
Veröffentlicht: (2026)

Can LoRA Fusion Support Cross-Domain Tasks in Cloud-Edge Collaboration?
von: Wang, Yatong, et al.
Veröffentlicht: (2026)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
von: Deng, Guanzhi, et al.
Veröffentlicht: (2026)

A Language-Agnostic Hierarchical LoRA-MoE Architecture for CTC-based Multilingual ASR
von: Zheng, Yuang, et al.
Veröffentlicht: (2026)

HMVLM: Human Motion-Vision-Lanuage Model via MoE LoRA
von: Hu, Lei, et al.
Veröffentlicht: (2025)

S-LoRA: Serving Thousands of Concurrent LoRA Adapters
von: Sheng, Ying, et al.
Veröffentlicht: (2023)

Multi-LoRA Composition for Image Generation
von: Zhong, Ming, et al.
Veröffentlicht: (2024)

LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks
von: Prabhakar, Akshara, et al.
Veröffentlicht: (2024)

Hierarchical LoRA MoE for Efficient CTR Model Scaling
von: Zeng, Zhichen, et al.
Veröffentlicht: (2025)

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
von: Zhou, Hongyun, et al.
Veröffentlicht: (2024)

SV-RAG: LoRA-Contextualizing Adaptation of MLLMs for Long Document Understanding
von: Chen, Jian, et al.
Veröffentlicht: (2024)

SHE-LoRA: Selective Homomorphic Encryption for Federated Tuning with Heterogeneous LoRA
von: Liu, Jianmin, et al.
Veröffentlicht: (2025)

Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning
von: Ayyash, Mohammad R. Abu
Veröffentlicht: (2026)

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement
von: Bian, Jieming, et al.
Veröffentlicht: (2024)

LoRA-Drop: Temporal LoRA Decoding for Efficient LLM Inference
von: Rajabzadeh, Hossein, et al.
Veröffentlicht: (2026)

CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging
von: Cao, Jie, et al.
Veröffentlicht: (2026)

In-Context LoRA for Diffusion Transformers
von: Huang, Lianghua, et al.
Veröffentlicht: (2024)

SAMoRA: Semantic-Aware Mixture of LoRA Experts for Task-Adaptive Learning
von: Shi, Boyan, et al.
Veröffentlicht: (2026)

PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization
von: Meng, Xiangdi, et al.
Veröffentlicht: (2024)

ICM-Fusion: In-Context Meta-Optimized LoRA Fusion for Multi-Task Adaptation
von: Shao, Yihua, et al.
Veröffentlicht: (2025)

LoRA in LoRA: Towards Parameter-Efficient Architecture Expansion for Continual Visual Instruction Tuning
von: Che, Chang, et al.
Veröffentlicht: (2025)

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
von: Ran, Delong, et al.
Veröffentlicht: (2025)

TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts
von: Jeon, Jeimin, et al.
Veröffentlicht: (2026)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
von: Yang, Yaming, et al.
Veröffentlicht: (2024)

Multimodal Instruction Tuning with Conditional Mixture of LoRA
von: Shen, Ying, et al.
Veröffentlicht: (2024)

MeTA-LoRA: Data-Efficient Multi-Task Fine-Tuning for Large Language Models
von: Cheng, Bo, et al.
Veröffentlicht: (2025)