Buchumschlag

MoS: Unleashing Parameter Efficiency of Low-Rank Adaptation with Mixture of Shards

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Sheng, Chen, Liheng, Chen, Pengan, Dong, Jingwei, Xue, Boyang, Jiang, Jiyue, Kong, Lingpeng, Wu, Chuan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA
von: Wang, Sheng, et al.
Veröffentlicht: (2024)

TreeSynth: Synthesizing Diverse Data from Scratch via Tree-Guided Subspace Partitioning
von: Wang, Sheng, et al.
Veröffentlicht: (2025)

LoRA Meets Dropout under a Unified Framework
von: Wang, Sheng, et al.
Veröffentlicht: (2024)

How Well Do LLMs Handle Cantonese? Benchmarking Cantonese Capabilities of Large Language Models
von: Jiang, Jiyue, et al.
Veröffentlicht: (2024)

Data Augmentation of Multi-turn Psychological Dialogue via Knowledge-driven Progressive Thought Prompting
von: Jiang, Jiyue, et al.
Veröffentlicht: (2024)

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
von: Tang, Chuanyu, et al.
Veröffentlicht: (2024)

Mixture of Low Rank Adaptation with Partial Parameter Sharing for Time Series Forecasting
von: Pan, Licheng, et al.
Veröffentlicht: (2025)

Developing and Utilizing a Large-Scale Cantonese Dataset for Multi-Tasking in Large Language Models
von: Jiang, Jiyue, et al.
Veröffentlicht: (2025)

Mixture-of-Subspaces in Low-Rank Adaptation
von: Wu, Taiqiang, et al.
Veröffentlicht: (2024)

ProReason: Multi-Modal Proactive Reasoning with Decoupled Eyesight and Wisdom
von: Zhou, Jingqi, et al.
Veröffentlicht: (2024)

QSpec: Speculative Decoding with Complementary Quantization Schemes
von: Zhao, Juntao, et al.
Veröffentlicht: (2024)

L-MoE: End-to-End Training of a Lightweight Mixture of Low-Rank Adaptation Experts
von: Ji, Shihao, et al.
Veröffentlicht: (2025)

MoE-DisCo:Low Economy Cost Training Mixture-of-Experts Models
von: Ye, Xin, et al.
Veröffentlicht: (2026)

MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning
von: Zhang, Dacao, et al.
Veröffentlicht: (2025)

Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models
von: Ye, Jiacheng, et al.
Veröffentlicht: (2024)

AdaRank: Disagreement Based Module Rank Prediction for Low-rank Adaptation
von: Dong, Yihe
Veröffentlicht: (2024)

MoPE: Mixture of Prompt Experts for Parameter-Efficient and Scalable Multimodal Fusion
von: Jiang, Ruixiang, et al.
Veröffentlicht: (2024)

Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach
von: Mao, Yuzhu, et al.
Veröffentlicht: (2024)

OMoE: Diversifying Mixture of Low-Rank Adaptation by Orthogonal Finetuning
von: Feng, Jinyuan, et al.
Veröffentlicht: (2025)

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models
von: Wei, Jia, et al.
Veröffentlicht: (2026)

AltLoRA: Towards Better Gradient Approximation in Low-Rank Adaptation with Alternating Projections
von: Yu, Xin, et al.
Veröffentlicht: (2025)

MiLo: Efficient Quantized MoE Inference with Mixture of Low-Rank Compensators
von: Huang, Beichen, et al.
Veröffentlicht: (2025)

Parameter Efficient Continual Learning with Dynamic Low-Rank Adaptation
von: Bhat, Prashant Shivaram, et al.
Veröffentlicht: (2025)

Not How Many, But Which: Parameter Placement in Low-Rank Adaptation
von: Sehanobish, Arijit, et al.
Veröffentlicht: (2026)

TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models
von: Mu, Lin, et al.
Veröffentlicht: (2026)

RepLoRA: Reparameterizing Low-Rank Adaptation via the Perspective of Mixture of Experts
von: Truong, Tuan, et al.
Veröffentlicht: (2025)

S'MoRE: Structural Mixture of Residual Experts for Parameter-Efficient LLM Fine-tuning
von: Zeng, Hanqing, et al.
Veröffentlicht: (2025)

ToolSelf: Unifying Task Execution and Self-Reconfiguration via Tool-Driven Emergent Adaptation
von: Zhou, Jingqi, et al.
Veröffentlicht: (2026)

A Bayesian Interpretation of Adaptive Low-Rank Adaptation
von: Chen, Haolin, et al.
Veröffentlicht: (2024)

Optimizing Fine-Tuning through Advanced Initialization Strategies for Low-Rank Adaptation
von: Xue, Yongfu
Veröffentlicht: (2025)

CLoRA: Parameter-Efficient Continual Learning with Low-Rank Adaptation
von: Muralidhara, Shishir, et al.
Veröffentlicht: (2025)

FedShard: Federated Unlearning with Efficiency Fairness and Performance Fairness
von: Wen, Siyuan, et al.
Veröffentlicht: (2025)

The Primacy of Magnitude in Low-Rank Adaptation
von: Zhang, Zicheng, et al.
Veröffentlicht: (2025)

Replay-Free Continual Low-Rank Adaptation with Dynamic Memory
von: Chen, Huancheng, et al.
Veröffentlicht: (2024)

FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment for Edge Computing
von: Zhang, Boyang, et al.
Veröffentlicht: (2025)

Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
von: Liu, Yilun, et al.
Veröffentlicht: (2025)

Accelerating MoE Model Inference with Expert Sharding
von: Balmau, Oana, et al.
Veröffentlicht: (2025)

Scaling Reasoning without Attention
von: Zhao, Xueliang, et al.
Veröffentlicht: (2025)

RotMoLE: Enhancing Mixture of Low-Rank Experts through Rotational Gating Mechanism
von: Sun, Mengyang, et al.
Veröffentlicht: (2026)

Large Language Models in Bioinformatics: A Survey
von: Wang, Zhenyu, et al.
Veröffentlicht: (2025)