Buchumschlag

Heterogeneous Federated Fine-Tuning with Parallel One-Rank Adaptation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Zikai, Hu, Rui, Xu, Jiahao
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients
von: Zhang, Zikai, et al.
Veröffentlicht: (2024)

Fed-HeLLo: Efficient Federated Foundation Model Fine-Tuning with Heterogeneous LoRA Allocation
von: Zhang, Zikai, et al.
Veröffentlicht: (2025)

Identify Backdoored Model in Federated Learning via Individual Unlearning
von: Xu, Jiahao, et al.
Veröffentlicht: (2024)

Detecting Backdoor Attacks in Federated Learning via Direction Alignment Inspection
von: Xu, Jiahao, et al.
Veröffentlicht: (2025)

Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation
von: Xu, Jiahao, et al.
Veröffentlicht: (2024)

FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations
von: Wang, Ziyao, et al.
Veröffentlicht: (2024)

HLoRA: Efficient Federated Learning System for LLM Heterogeneous Fine-Tuning
von: Liu, Qianli, et al.
Veröffentlicht: (2025)

Elastic Mixture of Rank-Wise Experts for Knowledge Reuse in Federated Fine-Tuning
von: Wu, Yebo, et al.
Veröffentlicht: (2025)

Robust Federated Fine-Tuning in Heterogeneous Networks with Unreliable Connections: An Aggregation View
von: Wang, Yanmeng, et al.
Veröffentlicht: (2025)

Memory-Efficient Split Federated Learning for LLM Fine-Tuning on Heterogeneous Mobile Devices
von: Chen, Xiaopei, et al.
Veröffentlicht: (2025)

Hetis: Serving LLMs in Heterogeneous GPU Clusters with Fine-grained and Dynamic Parallelism
von: Mo, Zizhao, et al.
Veröffentlicht: (2025)

Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity
von: Byun, Yuji, et al.
Veröffentlicht: (2024)

ParallelSFL: A Novel Split Federated Learning Framework Tackling Heterogeneity Issues
von: Liao, Yunming, et al.
Veröffentlicht: (2024)

Preventing Rank Collapse in Federated Low-Rank Adaptation with Client Heterogeneity
von: Wu, Fei, et al.
Veröffentlicht: (2026)

Accelerating Heterogeneous Tensor Parallelism via Flexible Workload Control
von: Wang, Zhigang, et al.
Veröffentlicht: (2024)

EcoLoRA: Communication-Efficient Federated Fine-Tuning of Large Language Models
von: Liu, Han, et al.
Veröffentlicht: (2025)

DFPL: Decentralized Federated Prototype Learning Across Heterogeneous Data Distributions
von: Zhang, Hongliang, et al.
Veröffentlicht: (2025)

FedQuad: Adaptive Layer-wise LoRA Deployment and Activation Quantization for Federated Fine-Tuning
von: Li, Rukuo, et al.
Veröffentlicht: (2025)

PPipe: Efficient Video Analytics Serving on Heterogeneous GPU Clusters via Pool-Based Pipeline Parallelism
von: Kong, Z. Jonny, et al.
Veröffentlicht: (2025)

CacheFL: Privacy-Preserving and Efficient Federated Cache Model Fine-Tuning for Vision-Language Models
von: Yi, Mengjun, et al.
Veröffentlicht: (2025)

Low-Latency Federated Fine-Tuning for Large Language Models Over Wireless Networks
von: Pang, Zhiwen, et al.
Veröffentlicht: (2026)

Memory-Efficient Federated Fine-Tuning of Large Language Models via Layer Pruning
von: Wu, Yebo, et al.
Veröffentlicht: (2025)

Resource-efficient Parallel Split Learning in Heterogeneous Edge Computing
von: Zhang, Mingjin, et al.
Veröffentlicht: (2024)

Surviving Partial Rank Failures in Wide Expert-Parallel MoE Inference
von: Sun, Xun, et al.
Veröffentlicht: (2026)

HARP: Orchestrating Automated Parallel Training on Heterogeneous GPU Clusters
von: Liang, Antian, et al.
Veröffentlicht: (2025)

Adaptra: Straggler-Resilient Hybrid-Parallel Training with Pipeline Adaptation
von: Wu, Tianyuan, et al.
Veröffentlicht: (2025)

Communication-Efficient Federated Fine-Tuning
von: Theologitis, Michael, et al.
Veröffentlicht: (2025)

Distributed Semi-Speculative Parallel Anisotropic Mesh Adaptation
von: Garner, Kevin, et al.
Veröffentlicht: (2026)

Exploring Selective Layer Fine-Tuning in Federated Learning
von: Sun, Yuchang, et al.
Veröffentlicht: (2024)

Adaptive Parameter-Efficient Federated Fine-Tuning on Heterogeneous Devices
von: Liu, Jun, et al.
Veröffentlicht: (2024)

Bridging Memory Gaps: Scaling Federated Learning for Heterogeneous Clients
von: Wu, Yebo, et al.
Veröffentlicht: (2024)

Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients
von: Koo, Jabin, et al.
Veröffentlicht: (2024)

STADI: Fine-Grained Step-Patch Diffusion Parallelism for Heterogeneous GPUs
von: Liang, Han, et al.
Veröffentlicht: (2025)

Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models
von: Cho, Yae Jee, et al.
Veröffentlicht: (2024)

Exploring Fine-grained Task Parallelism on Simultaneous Multithreading Cores
von: Los, Denis, et al.
Veröffentlicht: (2024)

Split Fine-Tuning for Large Language Models in Wireless Networks
von: Zhang, Songge, et al.
Veröffentlicht: (2025)

FeedSign: Robust Full-parameter Federated Fine-tuning of Large Models with Extremely Low Communication Overhead of One Bit
von: Cai, Zhijie, et al.
Veröffentlicht: (2025)

Multi-Modal Style Transfer-based Prompt Tuning for Efficient Federated Domain Generalization
von: Chen, Yuliang, et al.
Veröffentlicht: (2026)

ExpertWeave: Efficiently Serving Expert-Specialized Fine-Tuned Adapters at Scale
von: Shi, Ge, et al.
Veröffentlicht: (2025)

Federated Inference for Heterogeneous LLM Communication and Collaboration
von: Chen, Zihan, et al.
Veröffentlicht: (2026)