Buchumschlag

Revisiting Federated Fine-Tuning: A Single Communication Round is Enough for Foundation Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Ziyao, Tian, Bowei, He, Yexiao, Shen, Zheyu, Sun, Guoheng, Liu, Yuhan, Liu, Luyang, Liu, Meng, Li, Ang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations
von: Wang, Ziyao, et al.
Veröffentlicht: (2024)

FedMOA: Federated GRPO for Personalized Reasoning LLMs under Heterogeneous Rewards
von: Wang, Ziyao, et al.
Veröffentlicht: (2026)

EdgeLoRA: An Efficient Multi-Tenant LLM Serving System on Edge Devices
von: Shen, Zheyu, et al.
Veröffentlicht: (2025)

Prada: Black-Box LLM Adaptation with Private Data on Resource-Constrained Devices
von: Wang, Ziyao, et al.
Veröffentlicht: (2025)

Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models
von: Cho, Yae Jee, et al.
Veröffentlicht: (2024)

EcoLoRA: Communication-Efficient Federated Fine-Tuning of Large Language Models
von: Liu, Han, et al.
Veröffentlicht: (2025)

The 1/W Law: An Analytical Study of Context-Length Routing Topology and GPU Generation Gains for LLM Inference Energy Efficiency
von: Chen, Huamin, et al.
Veröffentlicht: (2026)

FleetOpt: Analytical Fleet Provisioning for LLM Inference with Compress-and-Route as Implementation Mechanism
von: Chen, Huamin, et al.
Veröffentlicht: (2026)

inference-fleet-sim: A Queueing-Theory-Grounded Fleet Capacity Planner for LLM Inference
von: Chen, Huamin, et al.
Veröffentlicht: (2026)

HLoRA: Efficient Federated Learning System for LLM Heterogeneous Fine-Tuning
von: Liu, Qianli, et al.
Veröffentlicht: (2025)

Communication-Efficient Federated Fine-Tuning
von: Theologitis, Michael, et al.
Veröffentlicht: (2025)

FedQuad: Adaptive Layer-wise LoRA Deployment and Activation Quantization for Federated Fine-Tuning
von: Li, Rukuo, et al.
Veröffentlicht: (2025)

Fed-HeLLo: Efficient Federated Foundation Model Fine-Tuning with Heterogeneous LoRA Allocation
von: Zhang, Zikai, et al.
Veröffentlicht: (2025)

Memory-Efficient Federated Fine-Tuning of Large Language Models via Layer Pruning
von: Wu, Yebo, et al.
Veröffentlicht: (2025)

CacheFL: Privacy-Preserving and Efficient Federated Cache Model Fine-Tuning for Vision-Language Models
von: Yi, Mengjun, et al.
Veröffentlicht: (2025)

Heterogeneous Federated Fine-Tuning with Parallel One-Rank Adaptation
von: Zhang, Zikai, et al.
Veröffentlicht: (2026)

SplitFT: An Adaptive Federated Split Learning System For LLMs Fine-Tuning
von: Shan, Yimeng, et al.
Veröffentlicht: (2026)

Flexible Personalized Split Federated Learning for On-Device Fine-Tuning of Foundation Models
von: Yuan, Tianjun, et al.
Veröffentlicht: (2025)

Elastic Mixture of Rank-Wise Experts for Knowledge Reuse in Federated Fine-Tuning
von: Wu, Yebo, et al.
Veröffentlicht: (2025)

Robust Federated Fine-Tuning in Heterogeneous Networks with Unreliable Connections: An Aggregation View
von: Wang, Yanmeng, et al.
Veröffentlicht: (2025)

The Workload-Router-Pool Architecture for LLM Inference Optimization: A Vision Paper from the vLLM Semantic Router Project
von: Chen, Huamin, et al.
Veröffentlicht: (2026)

Memory-Efficient Split Federated Learning for LLM Fine-Tuning on Heterogeneous Mobile Devices
von: Chen, Xiaopei, et al.
Veröffentlicht: (2025)

Low-Latency Federated Fine-Tuning for Large Language Models Over Wireless Networks
von: Pang, Zhiwen, et al.
Veröffentlicht: (2026)

Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning
von: Huo, Yujia, et al.
Veröffentlicht: (2025)

Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA
von: Wang, Xiaoyu, et al.
Veröffentlicht: (2026)

Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients
von: Zhang, Zikai, et al.
Veröffentlicht: (2024)

Split Fine-Tuning for Large Language Models in Wireless Networks
von: Zhang, Songge, et al.
Veröffentlicht: (2025)

Efficient Long Context Fine-tuning with Chunk Flow
von: Yuan, Xiulong, et al.
Veröffentlicht: (2025)

DFedSat: Communication-Efficient and Robust Decentralized Federated Learning for LEO Satellite Constellations
von: Yang, Minghao, et al.
Veröffentlicht: (2024)

Domino: Eliminating Communication in LLM Training via Generic Tensor Slicing and Overlapping
von: Wang, Guanhua, et al.
Veröffentlicht: (2024)

Communication Round and Computation Efficient Exclusive Prefix-Sums Algorithms (for MPI_Exscan)
von: Träff, Jesper Larsson
Veröffentlicht: (2025)

Enhancing Data Quality in Federated Fine-Tuning of Foundation Models
von: Zhao, Wanru, et al.
Veröffentlicht: (2024)

Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare
von: Tupper, Adam, et al.
Veröffentlicht: (2025)

Understanding Communication Backends in Cross-Silo Federated Learning
von: Ziashahabi, Amir, et al.
Veröffentlicht: (2026)

MuxTune: Efficient Multi-Task LLM Fine-Tuning in Multi-Tenant Datacenters via Spatial-Temporal Backbone Multiplexing
von: Xue, Chunyu, et al.
Veröffentlicht: (2026)

Token-Budget-Aware Pool Routing for Cost-Efficient LLM Inference
von: Chen, Huamin, et al.
Veröffentlicht: (2026)

Exploring Selective Layer Fine-Tuning in Federated Learning
von: Sun, Yuchang, et al.
Veröffentlicht: (2024)

Towards Communication-Efficient Decentralized Federated Graph Learning over Non-IID Data
von: Wang, Shilong, et al.
Veröffentlicht: (2025)

SHE-LoRA: Selective Homomorphic Encryption for Federated Tuning with Heterogeneous LoRA
von: Liu, Jianmin, et al.
Veröffentlicht: (2025)

FedHC: A Hierarchical Clustered Federated Learning Framework for Satellite Networks
von: Liu, Zhuocheng, et al.
Veröffentlicht: (2025)