Buchumschlag

Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Huang, Jiayu, Wu, Xiaohu, He, Tiantian, Lao, Qicheng
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MLAE: Masked LoRA Experts for Visual Parameter-Efficient Fine-Tuning
von: Wang, Junjie, et al.
Veröffentlicht: (2024)

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement
von: Bian, Jieming, et al.
Veröffentlicht: (2024)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
von: Deng, Guanzhi, et al.
Veröffentlicht: (2026)

Rethinking the Rank Threshold for LoRA Fine-Tuning
von: Park, Juneyoung
Veröffentlicht: (2026)

Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients
von: Zhang, Zikai, et al.
Veröffentlicht: (2024)

Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA
von: Wang, Xiaoyu, et al.
Veröffentlicht: (2026)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
von: Chen, Guanduo, et al.
Veröffentlicht: (2025)

ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning
von: Wang, Xiaoyu, et al.
Veröffentlicht: (2025)

L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning
von: Singh, Raul, et al.
Veröffentlicht: (2025)

FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA
von: Zhang, Haoran, et al.
Veröffentlicht: (2026)

LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models
von: Zhang, Jia-Chen, et al.
Veröffentlicht: (2024)

Stable-LoRA: Stabilizing Feature Learning of Low-Rank Adaptation
von: Wu, Yize, et al.
Veröffentlicht: (2026)

SDFLoRA: Selective Decoupled Federated LoRA for Privacy-preserving Fine-tuning with Heterogeneous Clients
von: Shen, Zhikang, et al.
Veröffentlicht: (2026)

SHE-LoRA: Selective Homomorphic Encryption for Federated Tuning with Heterogeneous LoRA
von: Liu, Jianmin, et al.
Veröffentlicht: (2025)

FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning
von: Yan, Peishen, et al.
Veröffentlicht: (2026)

Adaptive LoRA Experts Allocation and Selection for Federated Fine-Tuning
von: Wang, Lei, et al.
Veröffentlicht: (2025)

LoRA-Edit: Controllable First-Frame-Guided Video Editing via Mask-Aware LoRA Fine-Tuning
von: Gao, Chenjian, et al.
Veröffentlicht: (2025)

FedTreeLoRA: Reconciling Statistical and Functional Heterogeneity in Federated LoRA Fine-Tuning
von: Bian, Jieming, et al.
Veröffentlicht: (2026)

LoRA-PAR: A Flexible Dual-System LoRA Partitioning Approach to Efficient LLM Fine-Tuning
von: Huang, Yining, et al.
Veröffentlicht: (2025)

HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
von: Tian, Chunlin, et al.
Veröffentlicht: (2024)

FDLoRA: Personalized Federated Learning of Large Language Model via Dual LoRA Tuning
von: QI, Jiaxing, et al.
Veröffentlicht: (2024)

Personalized Federated Fine-tuning for Heterogeneous Data: An Automatic Rank Learning Approach via Two-Level LoRA
von: Hao, Jie, et al.
Veröffentlicht: (2025)

Mitigating Unintended Memorization with LoRA in Federated Learning for LLMs
von: Bossy, Thierry, et al.
Veröffentlicht: (2025)

LoRAFusion: Efficient LoRA Fine-Tuning for LLMs
von: Zhu, Zhanda, et al.
Veröffentlicht: (2025)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
von: Azimi, Rambod, et al.
Veröffentlicht: (2024)

Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
von: Barazandeh, Babak, et al.
Veröffentlicht: (2025)

GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning
von: Ed-dib, Abdessalam, et al.
Veröffentlicht: (2024)

pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning
von: Yi, Liping, et al.
Veröffentlicht: (2023)

Bi-LoRA: Efficient Sharpness-Aware Minimization for Fine-Tuning Large-Scale Models
von: Liu, Yuhang, et al.
Veröffentlicht: (2025)

Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA
von: Yang, Nuocheng, et al.
Veröffentlicht: (2026)

SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA
von: Luo, Minrui, et al.
Veröffentlicht: (2025)

LoRA-Edge: Tensor-Train-Assisted LoRA for Practical CNN Fine-Tuning on Edge Devices
von: Kwak, Hyunseok, et al.
Veröffentlicht: (2025)

FedLoRA-Optimizer: Federated LoRA Fine-Tuning with Global and Local Optimization in Heterogeneous Data Scenarios
von: Zhao, Jianzhe, et al.
Veröffentlicht: (2025)

FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning
von: Yu, Xiaobing, et al.
Veröffentlicht: (2025)

Bayesian-LoRA: LoRA based Parameter Efficient Fine-Tuning using Optimal Quantization levels and Rank Values trough Differentiable Bayesian Gates
von: Meo, Cristian, et al.
Veröffentlicht: (2024)

Two Stage Wireless Federated LoRA Fine-Tuning with Sparsified Orthogonal Updates
von: Kim, Bumjun, et al.
Veröffentlicht: (2025)

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training
von: Zhang, Chengqian, et al.
Veröffentlicht: (2026)

LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples
von: Liu, Yezi, et al.
Veröffentlicht: (2025)

ALLoRA: Adaptive Learning Rate Mitigates LoRA Fatal Flaws
von: Huang, Hai, et al.
Veröffentlicht: (2024)