Buchumschlag

CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Huiwen, Xu, Xiaogang, Zhang, Deyi, Li, Xiaohan, Wu, Jiafei, Liu, Zhe
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FedLLM-Bench: Realistic Benchmarks for Federated Learning of Large Language Models
von: Ye, Rui, et al.
Veröffentlicht: (2024)

A Survey on Federated Fine-tuning of Large Language Models
von: Wu, Yebo, et al.
Veröffentlicht: (2025)

FedQS: Optimizing Gradient and Model Aggregation for Semi-Asynchronous Federated Learning
von: Li, Yunbo, et al.
Veröffentlicht: (2025)

FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model
von: Wu, Feijie, et al.
Veröffentlicht: (2024)

FedSZ: Leveraging Error-Bounded Lossy Compression for Federated Learning Communications
von: Wilkins, Grant, et al.
Veröffentlicht: (2023)

FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model
von: Mia, Md Jueal, et al.
Veröffentlicht: (2025)

SpecFed: Accelerating Federated LLM Inference with Speculative Decoding and Compressed Transmission
von: Zheng, Ce, et al.
Veröffentlicht: (2026)

FedCache: A Knowledge Cache-driven Federated Learning Architecture for Personalized Edge Intelligence
von: Wu, Zhiyuan, et al.
Veröffentlicht: (2023)

EcoFed: Efficient Communication for DNN Partitioning-based Federated Learning
von: Wu, Di, et al.
Veröffentlicht: (2023)

Gradient Compression and Correlation Driven Federated Learning for Wireless Traffic Prediction
von: Zhang, Chuanting, et al.
Veröffentlicht: (2025)

Low-Latency Federated Fine-Tuning for Large Language Models Over Wireless Networks
von: Pang, Zhiwen, et al.
Veröffentlicht: (2026)

Memory-Efficient Federated Fine-Tuning of Large Language Models via Layer Pruning
von: Wu, Yebo, et al.
Veröffentlicht: (2025)

FedAgg: Adaptive Federated Learning with Aggregated Gradients
von: Yuan, Wenhao, et al.
Veröffentlicht: (2023)

SplitLLM: Hierarchical Split Learning for Large Language Model over Wireless Network
von: Zhang, Songge, et al.
Veröffentlicht: (2025)

FedQuad: Adaptive Layer-wise LoRA Deployment and Activation Quantization for Federated Fine-Tuning
von: Li, Rukuo, et al.
Veröffentlicht: (2025)

GradualDiff-Fed: A Federated Learning Specialized Framework for Large Language Model
von: Faiyaz, Amir, et al.
Veröffentlicht: (2025)

FedDD: Toward Communication-efficient Federated Learning with Differential Parameter Dropout
von: Feng, Zhiying, et al.
Veröffentlicht: (2023)

pFedLVM: A Large Vision Model (LVM)-Driven and Latent Feature-Based Personalized Federated Learning Framework in Autonomous Driving
von: Kou, Wei-Bin, et al.
Veröffentlicht: (2024)

FedCostAware: Enabling Cost-Aware Federated Learning on the Cloud
von: Sinha, Aditya, et al.
Veröffentlicht: (2025)

FedFQ: Federated Learning with Fine-Grained Quantization
von: Li, Haowei, et al.
Veröffentlicht: (2024)

Air-FedGA: A Grouping Asynchronous Federated Learning Mechanism Exploiting Over-the-air Computation
von: Ma, Qianpiao, et al.
Veröffentlicht: (2025)

FedHC: A Hierarchical Clustered Federated Learning Framework for Satellite Networks
von: Liu, Zhuocheng, et al.
Veröffentlicht: (2025)

Over-the-air Federated Policy Gradient
von: Yang, Huiwen, et al.
Veröffentlicht: (2023)

BlockLLM: Multi-tenant Finer-grained Serving for Large Language Models
von: Hu, Bodun, et al.
Veröffentlicht: (2024)

HydraInfer: Hybrid Disaggregated Scheduling for Multimodal Large Language Model Serving
von: Dong, Xianzhe, et al.
Veröffentlicht: (2025)

FedOptimus: Optimizing Vertical Federated Learning for Scalability and Efficiency
von: Shrivastava, Nikita, et al.
Veröffentlicht: (2025)

FeedSign: Robust Full-parameter Federated Fine-tuning of Large Models with Extremely Low Communication Overhead of One Bit
von: Cai, Zhijie, et al.
Veröffentlicht: (2025)

EcoLoRA: Communication-Efficient Federated Fine-Tuning of Large Language Models
von: Liu, Han, et al.
Veröffentlicht: (2025)

FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale Neural Networks through Federated Learning
von: Chen, Yuanyuan, et al.
Veröffentlicht: (2022)

TokenSim: Enabling Hardware and Software Exploration for Large Language Model Inference Systems
von: Wu, Feiyang, et al.
Veröffentlicht: (2025)

FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning
von: Li, Jian, et al.
Veröffentlicht: (2024)

FedFog: Resource-Aware Federated Learning in Edge and Fog Networks
von: Sobati-M, Somayeh
Veröffentlicht: (2025)

Biased Compression in Gradient Coding for Distributed Learning
von: Li, Chengxi, et al.
Veröffentlicht: (2026)

FedCod: An Efficient Communication Protocol for Cross-Silo Federated Learning with Coding
von: Yan, Peishen, et al.
Veröffentlicht: (2024)

FedCDC: A Collaborative Framework for Data Consumers in Federated Learning Market
von: Shi, Zhuan, et al.
Veröffentlicht: (2025)

FedEve: On Bridging the Client Drift and Period Drift for Cross-device Federated Learning
von: Shen, Tao, et al.
Veröffentlicht: (2025)

Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models
von: Cho, Yae Jee, et al.
Veröffentlicht: (2024)

Memory-Efficient Split Federated Learning for LLM Fine-Tuning on Heterogeneous Mobile Devices
von: Chen, Xiaopei, et al.
Veröffentlicht: (2025)

DualFed: Enjoying both Generalization and Personalization in Federated Learning via Hierachical Representations
von: Zhu, Guogang, et al.
Veröffentlicht: (2024)

FedSem: A Resource Allocation Scheme for Federated Learning Assisted Semantic Communication
von: Zhou, Xinyu, et al.
Veröffentlicht: (2025)