Buchumschlag

On the Convergence of Zeroth-Order Federated Tuning for Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ling, Zhenqing, Chen, Daoyuan, Yao, Liuyi, Li, Yaliang, Shen, Ying
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data
von: Ling, Zhenqing, et al.
Veröffentlicht: (2025)

MindGYM: What Matters in Question Synthesis for Thinking-Centric Fine-Tuning?
von: Xu, Zhe, et al.
Veröffentlicht: (2025)

Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources
von: Bai, Jiamu, et al.
Veröffentlicht: (2024)

Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
von: Wang, Fei, et al.
Veröffentlicht: (2024)

BiMix: A Bivariate Data Mixing Law for Language Model Pretraining
von: Ge, Ce, et al.
Veröffentlicht: (2024)

EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models
von: Pan, Xuchen, et al.
Veröffentlicht: (2024)

Addax: Utilizing Zeroth-Order Gradients to Improve Memory Efficiency and Performance of SGD for Fine-Tuning Language Models
von: Li, Zeman, et al.
Veröffentlicht: (2024)

Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
von: Zhang, Yihua, et al.
Veröffentlicht: (2024)

Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models
von: Gautam, Tanmay, et al.
Veröffentlicht: (2024)

Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning
von: Liu, Z, et al.
Veröffentlicht: (2024)

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization
von: Katti, Prabodh, et al.
Veröffentlicht: (2025)

Trinity-RFT: A General-Purpose and Unified Framework for Reinforcement Fine-Tuning of Large Language Models
von: Pan, Xuchen, et al.
Veröffentlicht: (2025)

AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes
von: Qin, Zhen, et al.
Veröffentlicht: (2023)

The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective
von: Qin, Zhen, et al.
Veröffentlicht: (2024)

Zeroth-Order Sharpness-Aware Learning with Exponential Tilting
von: Gong, Xuchen, et al.
Veröffentlicht: (2025)

Provable Scaling Laws for the Test-Time Compute of Large Language Models
von: Chen, Yanxi, et al.
Veröffentlicht: (2024)

Converge Faster, Talk Less: Hessian-Informed Federated Zeroth-Order Optimization
von: Li, Zhe, et al.
Veröffentlicht: (2025)

Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models
von: Ghiasvand, Sajjad, et al.
Veröffentlicht: (2024)

An Auction-based Marketplace for Model Trading in Federated Learning
von: Cui, Yue, et al.
Veröffentlicht: (2024)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
von: Liu, Yong, et al.
Veröffentlicht: (2024)

Private Fine-tuning of Large Language Models with Zeroth-order Optimization
von: Tang, Xinyu, et al.
Veröffentlicht: (2024)

Designing Algorithms Empowered by Language Models: An Analytical Framework, Case Studies, and Insights
von: Chen, Yanxi, et al.
Veröffentlicht: (2024)

Federated Large Language Models: Current Progress and Future Directions
von: Yao, Yuhang, et al.
Veröffentlicht: (2024)

ORCE: Order-Aware Alignment of Verbalized Confidence in Large Language Models
von: Li, Chen, et al.
Veröffentlicht: (2026)

CoBa: Convergence Balancer for Multitask Finetuning of Large Language Models
von: Gong, Zi, et al.
Veröffentlicht: (2024)

Federated Data-Efficient Instruction Tuning for Large Language Models
von: Qin, Zhen, et al.
Veröffentlicht: (2024)

Less but Better: Parameter-Efficient Fine-Tuning of Large Language Models for Personality Detection
von: Shen, Lingzhi, et al.
Veröffentlicht: (2025)

Federated Fine-Tuning of Large Language Models: Kahneman-Tversky vs. Direct Preference Optimization
von: Spadea, Fernando, et al.
Veröffentlicht: (2025)

FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model
von: Wu, Feijie, et al.
Veröffentlicht: (2024)

On the Convergence of Moral Self-Correction in Large Language Models
von: Liu, Guangliang, et al.
Veröffentlicht: (2025)

FERA: Uncertainty-Aware Federated Reasoning for Large Language Models
von: Wang, Ruhan, et al.
Veröffentlicht: (2026)

Optimizing Cross-Client Domain Coverage for Federated Instruction Tuning of Large Language Models
von: Wang, Zezhou, et al.
Veröffentlicht: (2024)

ChartThinker: A Contextual Chain-of-Thought Approach to Optimized Chart Summarization
von: Liu, Mengsha, et al.
Veröffentlicht: (2024)

Enhancing Latent Computation in Transformers with Latent Tokens
von: Sun, Yuchang, et al.
Veröffentlicht: (2025)

MEIT: Multimodal Electrocardiogram Instruction Tuning on Large Language Models for Report Generation
von: Wan, Zhongwei, et al.
Veröffentlicht: (2024)

Dissecting Fine-Tuning Unlearning in Large Language Models
von: Hong, Yihuai, et al.
Veröffentlicht: (2024)

PAT: Pruning-Aware Tuning for Large Language Models
von: Liu, Yijiang, et al.
Veröffentlicht: (2024)