Buchumschlag

Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Yiming, Zhang, Yuan, Cao, Liyuan, Yuan, Kun, Wen, Zaiwen
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Memory Efficient Randomized Subspace Optimization Method for Training Large Language Models
von: Chen, Yiming, et al.
Veröffentlicht: (2025)

Private Fine-tuning of Large Language Models with Zeroth-order Optimization
von: Tang, Xinyu, et al.
Veröffentlicht: (2024)

Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-tuning
von: Tan, Qitao, et al.
Veröffentlicht: (2025)

Fine-tuning Quantized Neural Networks with Zeroth-order Optimization
von: Shang, Sifeng, et al.
Veröffentlicht: (2025)

Towards Fast LLM Fine-tuning through Zeroth-Order Optimization with Projected Gradient-Aligned Perturbations
von: Mi, Zhendong, et al.
Veröffentlicht: (2025)

ZorBA: Zeroth-order Federated Fine-tuning of LLMs with Heterogeneous Block Activation
von: Meng, Chuiyang, et al.
Veröffentlicht: (2026)

Fine-tuning of Large Language Models for Domain-Specific Cybersecurity Knowledge
von: Huang, Yuan
Veröffentlicht: (2025)

TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs
von: Sun, Yan, et al.
Veröffentlicht: (2025)

HELENE: Hessian Layer-wise Clipping and Gradient Annealing for Accelerating Fine-tuning LLM with Zeroth-order Optimization
von: Zhao, Huaqin, et al.
Veröffentlicht: (2024)

Addax: Utilizing Zeroth-Order Gradients to Improve Memory Efficiency and Performance of SGD for Fine-Tuning Language Models
von: Li, Zeman, et al.
Veröffentlicht: (2024)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
von: Chen, Guanduo, et al.
Veröffentlicht: (2025)

OptProver: Bridging Olympiad and Optimization through Continual Training in Formal Theorem Proving
von: Li, Chenyi, et al.
Veröffentlicht: (2026)

LoCO: Low-rank Compositional Rotation Fine-tuning
von: Nguyen, An, et al.
Veröffentlicht: (2026)

Stochastic Zeroth order Descent with Structured Directions
von: Rando, Marco, et al.
Veröffentlicht: (2022)

Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

FLoRG: Federated Fine-tuning with Low-rank Gram Matrices and Procrustes Alignment
von: Meng, Chuiyang, et al.
Veröffentlicht: (2026)

AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments
von: Cai, Zhijie, et al.
Veröffentlicht: (2026)

Accelerating Optimization via Differentiable Stopping Time
von: Xie, Zhonglin, et al.
Veröffentlicht: (2025)

QuZO: Quantized Zeroth-Order Fine-Tuning for Large Language Models
von: Zhou, Jiajun, et al.
Veröffentlicht: (2025)

PrunedLoRA: Robust Gradient-Based structured pruning for Low-rank Adaptation in Fine-tuning
von: Yu, Xin, et al.
Veröffentlicht: (2025)

Accelerating LLM Pre-Training through Flat-Direction Dynamics Enhancement
von: Zhu, Shuchen, et al.
Veröffentlicht: (2026)

EDCO: Dynamic Curriculum Orchestration for Domain-specific Large Language Model Fine-tuning
von: Pang, Jing-Cheng, et al.
Veröffentlicht: (2026)

Memento: Fine-tuning LLM Agents without Fine-tuning LLMs
von: Zhou, Huichi, et al.
Veröffentlicht: (2025)

Model Balancing Helps Low-data Training and Fine-tuning
von: Liu, Zihang, et al.
Veröffentlicht: (2024)

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs
von: Zhang, Kairun, et al.
Veröffentlicht: (2025)

How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition
von: Dong, Guanting, et al.
Veröffentlicht: (2023)

Fine-tuning Pocket-Aware Diffusion Models via Denoising Policy Optimization
von: Xue, Yuan, et al.
Veröffentlicht: (2026)

SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training
von: Zhang, Gengwei, et al.
Veröffentlicht: (2024)

Whispering in Amharic: Fine-tuning Whisper for Low-resource Language
von: Gete, Dawit Ketema, et al.
Veröffentlicht: (2025)

MaZO: Masked Zeroth-Order Optimization for Multi-Task Fine-Tuning of Large Language Models
von: Zhang, Zhen, et al.
Veröffentlicht: (2025)

DistZO2: High-Throughput and Memory-Efficient Zeroth-Order Fine-tuning LLMs with Distributed Parallel Computing
von: Wang, Liangyu, et al.
Veröffentlicht: (2025)

Perturbation-efficient Zeroth-order Optimization for Hardware-friendly On-device Training
von: Tan, Qitao, et al.
Veröffentlicht: (2025)

Efficient Ensemble for Fine-tuning Language Models on Multiple Datasets
von: Li, Dongyue, et al.
Veröffentlicht: (2025)

Fine-tuning Large Language Model for Automated Algorithm Design
von: Liu, Fei, et al.
Veröffentlicht: (2025)

Stochastic Two Points Method for Deep Model Zeroth-order Optimization
von: Pang, Yijiang, et al.
Veröffentlicht: (2024)

GRAVER: Generative Graph Vocabularies for Robust Graph Foundation Models Fine-tuning
von: Yuan, Haonan, et al.
Veröffentlicht: (2025)

LLM Zeroth-Order Fine-Tuning is an Inference Workload
von: Li, Zelin, et al.
Veröffentlicht: (2026)

Gauss-Newton Temporal Difference Learning with Nonlinear Function Approximation
von: Ke, Zhifa, et al.
Veröffentlicht: (2023)

LaFFi: Leveraging Hybrid Natural Language Feedback for Fine-tuning Language Models
von: Li, Qianxi, et al.
Veröffentlicht: (2023)

Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models
von: Gautam, Tanmay, et al.
Veröffentlicht: (2024)