Copertina

SAMoRA: Semantic-Aware Mixture of LoRA Experts for Task-Adaptive Learning

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Shi, Boyan, Chen, Wei, Zhao, Shuyuan, Shen, Junfeng, Guo, Shengnan, Wang, Shaojiang, Wan, Huaiyu
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Computation and Language Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Mixture of LoRA Experts
di: Wu, Xun, et al.
Pubblicazione: (2024)

Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment
di: Fan, Chenghao, et al.
Pubblicazione: (2025)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
di: Deng, Guanzhi, et al.
Pubblicazione: (2026)

P-React: Synthesizing Topic-Adaptive Reactions of Personality Traits via Mixture of Specialized LoRA Experts
di: Dan, Yuhao, et al.
Pubblicazione: (2024)

LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts
di: Zhuang, Yuan, et al.
Pubblicazione: (2025)

MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
di: Li, Dengchun, et al.
Pubblicazione: (2024)

LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks
di: Wang, Hanqing, et al.
Pubblicazione: (2024)

$D^2LoRA$: Data-Driven LoRA Initialization for Low Resource Tasks
di: SeraJ, Javad, et al.
Pubblicazione: (2025)

AlphaLoRA: Assigning LoRA Experts Based on Layer Training Quality
di: Qing, Peijun, et al.
Pubblicazione: (2024)

HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
di: Tian, Chunlin, et al.
Pubblicazione: (2024)

Dual LoRA: Enhancing LoRA with Magnitude and Direction Updates
di: Xu, Yixing, et al.
Pubblicazione: (2025)

CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices
di: Zhao, Weilin, et al.
Pubblicazione: (2023)

Higher Layers Need More LoRA Experts
di: Gao, Chongyang, et al.
Pubblicazione: (2024)

Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning
di: Yang, Minghao, et al.
Pubblicazione: (2025)

TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts
di: Jeon, Jeimin, et al.
Pubblicazione: (2026)

LoRA-Drop: Temporal LoRA Decoding for Efficient LLM Inference
di: Rajabzadeh, Hossein, et al.
Pubblicazione: (2026)

Improving LoRA with Variational Learning
di: Cong, Bai, et al.
Pubblicazione: (2025)

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
di: Zhou, Hongyun, et al.
Pubblicazione: (2024)

QuAILoRA: Quantization-Aware Initialization for LoRA
di: Lawton, Neal, et al.
Pubblicazione: (2024)

Mixture of LoRA Experts for Low-Resourced Multi-Accent Automatic Speech Recognition
di: Bagat, Raphaël, et al.
Pubblicazione: (2025)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
di: Yen, Jui-Nan, et al.
Pubblicazione: (2024)

Vision as LoRA
di: Wang, Han, et al.
Pubblicazione: (2025)

Sci-LoRA: Mixture of Scientific LoRAs for Cross-Domain Lay Paraphrasing
di: Cheng, Ming, et al.
Pubblicazione: (2025)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
di: Lee, Seungeon, et al.
Pubblicazione: (2025)

CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging
di: Cao, Jie, et al.
Pubblicazione: (2026)

LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks
di: Prabhakar, Akshara, et al.
Pubblicazione: (2024)

A Novel Trustworthy Video Summarization Algorithm Through a Mixture of LoRA Experts
di: Du, Wenzhuo, et al.
Pubblicazione: (2025)

MixLoRA-DSI: Dynamically Expandable Mixture-of-LoRA Experts for Rehearsal-Free Generative Retrieval over Dynamic Corpora
di: Huynh, Tuan-Luc, et al.
Pubblicazione: (2025)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
di: Yang, Yaming, et al.
Pubblicazione: (2024)

FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation
di: Sathyavageeswaran, Ramakrishnan
Pubblicazione: (2026)

Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning
di: Zhao, Ziyu, et al.
Pubblicazione: (2025)

Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning
di: Zhao, Ziyu, et al.
Pubblicazione: (2024)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
di: Li, Jiacheng, et al.
Pubblicazione: (2025)

LoRA-Gen: Specializing Large Language Model via Online LoRA Generation
di: Xiao, Yicheng, et al.
Pubblicazione: (2025)

LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules
di: Vulić, Ivan, et al.
Pubblicazione: (2026)

PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization
di: Meng, Xiangdi, et al.
Pubblicazione: (2024)

ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA
di: Li, Jiaang, et al.
Pubblicazione: (2024)

DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models
di: Zhang, Yuxuan, et al.
Pubblicazione: (2024)

LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild
di: Zhao, Ziyu, et al.
Pubblicazione: (2024)

A Note on LoRA
di: Fomenko, Vlad, et al.
Pubblicazione: (2024)