Buchumschlag

Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Lin, Wang, Zhichao, Tang, Xiaoying
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Federated Unlearning with Gradient Descent and Conflict Mitigation
von: Pan, Zibin, et al.
Veröffentlicht: (2024)

Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models
von: Shu, Yao, et al.
Veröffentlicht: (2024)

Entropy-driven Fair and Effective Federated Learning
von: Wang, Lin, et al.
Veröffentlicht: (2023)

Attacking Large Language Models with Projected Gradient Descent
von: Geisler, Simon, et al.
Veröffentlicht: (2024)

FedMABA: Towards Fair Federated Learning through Multi-Armed Bandits Allocation
von: Wang, Zhichao, et al.
Veröffentlicht: (2024)

Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models
von: Fang, Zihan, et al.
Veröffentlicht: (2024)

Dynamic Scaled Gradient Descent for Stable Fine-Tuning for Classifications
von: Bui, Nghia, et al.
Veröffentlicht: (2026)

Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning
von: Jiang, Yan, et al.
Veröffentlicht: (2026)

Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2024)

FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning
von: Liu, Junkang, et al.
Veröffentlicht: (2026)

RevFFN: Memory-Efficient Full-Parameter Fine-Tuning of Mixture-of-Experts LLMs with Reversible Blocks
von: Liu, Ningyuan, et al.
Veröffentlicht: (2025)

Client2Vec: Improving Federated Learning by Distribution Shifts Aware Client Indexing
von: Guo, Yongxin, et al.
Veröffentlicht: (2024)

Exploring Parameter-Efficient Fine-Tuning to Enable Foundation Models in Federated Learning
von: Sun, Guangyu, et al.
Veröffentlicht: (2022)

Gradient Descent with Provably Tuned Learning-rate Schedules
von: Sharma, Dravyansh
Veröffentlicht: (2025)

Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes
von: Qin, Zhen, et al.
Veröffentlicht: (2023)

Smart Sampling: Helping from Friendly Neighbors for Decentralized Federated Learning
von: Wang, Lin, et al.
Veröffentlicht: (2024)

Is All Learning (Natural) Gradient Descent?
von: Shoji, Lucas, et al.
Veröffentlicht: (2024)

Minimax Optimal Convergence of Gradient Descent in Logistic Regression via Large and Adaptive Stepsizes
von: Zhang, Ruiqi, et al.
Veröffentlicht: (2025)

Beyond Cross-Validation: Adaptive Parameter Selection for Kernel-Based Gradient Descents
von: Liu, Xiaotong, et al.
Veröffentlicht: (2026)

Universal and Transferable Adversarial Attack on Large Language Models Using Exponentiated Gradient Descent
von: Biswas, Sajib, et al.
Veröffentlicht: (2025)

Personalized Federated Learning with Exact Stochastic Gradient Descent
von: Nikoloutsopoulos, Sotirios, et al.
Veröffentlicht: (2022)

ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models
von: Wang, Yujia, et al.
Veröffentlicht: (2025)

Enhancing Clustered Federated Learning: Integration of Strategies and Improved Methodologies
von: Guo, Yongxin, et al.
Veröffentlicht: (2023)

Low-Tubal-Rank Tensor Recovery via Factorized Gradient Descent
von: Liu, Zhiyu, et al.
Veröffentlicht: (2024)

Gradient Descent Algorithm Survey
von: Fucheng, Deng, et al.
Veröffentlicht: (2025)

Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults
von: Phunyaphibarn, Prin, et al.
Veröffentlicht: (2023)

Sparse Gradient Compression for Fine-Tuning Large Language Models
von: Yang, David H., et al.
Veröffentlicht: (2025)

Parameter-free Clipped Gradient Descent Meets Polyak
von: Takezawa, Yuki, et al.
Veröffentlicht: (2024)

FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering
von: Guo, Yongxin, et al.
Veröffentlicht: (2023)

Adversarial Attack on Large Language Models using Exponentiated Gradient Descent
von: Biswas, Sajib, et al.
Veröffentlicht: (2025)

Generalization Guarantees on Data-Driven Tuning of Gradient Descent with Langevin Updates
von: Goyal, Saumya, et al.
Veröffentlicht: (2026)

Efficient Over-parameterized Matrix Sensing from Noisy Measurements via Alternating Preconditioned Gradient Descent
von: Liu, Zhiyu, et al.
Veröffentlicht: (2025)

Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation
von: Wang, Yizheng, et al.
Veröffentlicht: (2025)

Efficient Low-Tubal-Rank Tensor Estimation via Alternating Preconditioned Gradient Descent
von: Liu, Zhiyu, et al.
Veröffentlicht: (2025)

Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent
von: Wei, Yongxian, et al.
Veröffentlicht: (2025)

Block Circulant Adapter for Large Language Models
von: Ding, Xinyu, et al.
Veröffentlicht: (2025)

Comparing Federated Stochastic Gradient Descent and Federated Averaging for Predicting Hospital Length of Stay
von: Balik, Mehmet Yigit
Veröffentlicht: (2024)

LoRA-One: One-Step Full Gradient Could Suffice for Fine-Tuning Large Language Models, Provably and Efficiently
von: Zhang, Yuanhe, et al.
Veröffentlicht: (2025)

FedCCRL: Federated Domain Generalization with Cross-Client Representation Learning
von: Wang, Xinpeng, et al.
Veröffentlicht: (2024)

$\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space
von: Wang, Peihao, et al.
Veröffentlicht: (2026)