Buchumschlag

A Survey on Federated Fine-tuning of Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Yebo, Tian, Chunlin, Li, Jingguang, Sun, He, Tam, Kahou, Zhou, Zhanting, Liao, Haicheng, Xiong, Jing, Guo, Zhijiang, Li, Li, Xu, Chengzhong
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Bridging Memory Gaps: Scaling Federated Learning for Heterogeneous Clients
von: Wu, Yebo, et al.
Veröffentlicht: (2024)

Memory-Efficient Federated Fine-Tuning of Large Language Models via Layer Pruning
von: Wu, Yebo, et al.
Veröffentlicht: (2025)

Beyond End-to-End: Dynamic Chain Optimization for Private LLM Adaptation on the Edge
von: Wu, Yebo, et al.
Veröffentlicht: (2026)

Breaking the Memory Wall for Heterogeneous Federated Learning via Model Splitting
von: Tian, Chunlin, et al.
Veröffentlicht: (2024)

Elastic Mixture of Rank-Wise Experts for Knowledge Reuse in Federated Fine-Tuning
von: Wu, Yebo, et al.
Veröffentlicht: (2025)

Learning Like Humans: Resource-Efficient Federated Fine-Tuning through Cognitive Developmental Stages
von: Wu, Yebo, et al.
Veröffentlicht: (2025)

Floe: Federated Specialization for Real-Time LLM-SLM Inference
von: Tian, Chunlin, et al.
Veröffentlicht: (2026)

Breaking the Memory Wall for Heterogeneous Federated Learning via Progressive Training
von: Wu, Yebo, et al.
Veröffentlicht: (2024)

Heterogeneity-Aware Memory Efficient Federated Learning via Progressive Layer Freezing
von: Yebo, Wu, et al.
Veröffentlicht: (2024)

Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning
von: Tian, Chunlin, et al.
Veröffentlicht: (2024)

Hetis: Serving LLMs in Heterogeneous GPU Clusters with Fine-grained and Dynamic Parallelism
von: Mo, Zizhao, et al.
Veröffentlicht: (2025)

Low-Latency Federated Fine-Tuning for Large Language Models Over Wireless Networks
von: Pang, Zhiwen, et al.
Veröffentlicht: (2026)

Efficient Long Context Fine-tuning with Chunk Flow
von: Yuan, Xiulong, et al.
Veröffentlicht: (2025)

Enshrined Proposer Builder Separation in the presence of Maximal Extractable Value
von: Wang, Yitian, et al.
Veröffentlicht: (2026)

Auto-scaling Approaches for Microservice Applications: A Survey and Taxonomy
von: Xu, Minxian, et al.
Veröffentlicht: (2025)

Unlock the Potential of Fine-grained LLM Serving via Dynamic Module Scaling
von: Wu, Jingfeng, et al.
Veröffentlicht: (2025)

FeedSign: Robust Full-parameter Federated Fine-tuning of Large Models with Extremely Low Communication Overhead of One Bit
von: Cai, Zhijie, et al.
Veröffentlicht: (2025)

FedFQ: Federated Learning with Fine-Grained Quantization
von: Li, Haowei, et al.
Veröffentlicht: (2024)

LobRA: Multi-tenant Fine-tuning over Heterogeneous Data
von: Lin, Sheng, et al.
Veröffentlicht: (2025)

DynaShard: Secure and Adaptive Blockchain Sharding Protocol with Hybrid Consensus and Dynamic Shard Management
von: Liu, Ao, et al.
Veröffentlicht: (2024)

EcoLoRA: Communication-Efficient Federated Fine-Tuning of Large Language Models
von: Liu, Han, et al.
Veröffentlicht: (2025)

FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model
von: Wu, Feijie, et al.
Veröffentlicht: (2024)

Split Fine-Tuning for Large Language Models in Wireless Networks
von: Zhang, Songge, et al.
Veröffentlicht: (2025)

FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations
von: Wang, Ziyao, et al.
Veröffentlicht: (2024)

Cloud Native System for LLM Inference Serving
von: Xu, Minxian, et al.
Veröffentlicht: (2025)

Semantic-aware Token Selection and Resource Optimization for Communication-efficient Split Federated Fine-tuning in Edge Intelligence
von: Qiang, Xianke, et al.
Veröffentlicht: (2026)

SLO-Aware Scheduling for Large Language Model Inferences
von: Huang, Jinqi, et al.
Veröffentlicht: (2025)

Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
von: Li, Zilinghan, et al.
Veröffentlicht: (2024)

Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices
von: Chen, Fahao, et al.
Veröffentlicht: (2025)

Memory-Efficient Split Federated Learning for LLM Fine-Tuning on Heterogeneous Mobile Devices
von: Chen, Xiaopei, et al.
Veröffentlicht: (2025)

Decentralized Semantic Federated Learning for Real-Time Public Safety Tasks: Challenges, Methods, and Directions
von: Li, Baosheng, et al.
Veröffentlicht: (2025)

Cloud-native and Distributed Systems for Efficient and Scalable Large Language Models -- A Research Agenda
von: Xu, Minxian, et al.
Veröffentlicht: (2026)

FedQuad: Adaptive Layer-wise LoRA Deployment and Activation Quantization for Federated Fine-Tuning
von: Li, Rukuo, et al.
Veröffentlicht: (2025)

Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models
von: Cho, Yae Jee, et al.
Veröffentlicht: (2024)

FedGCS: A Generative Framework for Efficient Client Selection in Federated Learning via Gradient-based Optimization
von: Ning, Zhiyuan, et al.
Veröffentlicht: (2024)

A Survey on Large Language Model Acceleration based on KV Cache Management
von: Li, Haoyang, et al.
Veröffentlicht: (2024)

SPIN: Accelerating Large Language Model Inference with Heterogeneous Speculative Models
von: Chen, Fahao, et al.
Veröffentlicht: (2025)

CloudNativeSim: a toolkit for modeling and simulation of cloud-native applications
von: Wu, Jingfeng, et al.
Veröffentlicht: (2024)

RingAda: Pipelining Large Model Fine-Tuning on Edge Devices with Scheduled Layer Unfreezing
von: Li, Liang, et al.
Veröffentlicht: (2025)

InfiniLoRA: Disaggregated Multi-LoRA Serving for Large Language Models
von: Chen, Hongyu, et al.
Veröffentlicht: (2026)