Buchumschlag

Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Feng, Jian, Huang, Zhihong
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces
von: Yu, Ziming, et al.
Veröffentlicht: (2024)

CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning
von: Wang, Shuo, et al.
Veröffentlicht: (2026)

OAT-Rephrase: Optimization-Aware Training Data Rephrasing for Zeroth-Order LLM Fine-Tuning
von: Long, Jikai, et al.
Veröffentlicht: (2025)

Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
von: Kim, Dongyoon, et al.
Veröffentlicht: (2025)

Zeroth-Order Fine-Tuning of LLMs with Extreme Sparsity
von: Guo, Wentao, et al.
Veröffentlicht: (2024)

Mitigating Non-IID Drift in Zeroth-Order Federated LLM Fine-Tuning with Transferable Sparsity
von: Ran, Yide, et al.
Veröffentlicht: (2025)

Refining Adaptive Zeroth-Order Optimization at Ease
von: Shu, Yao, et al.
Veröffentlicht: (2025)

MaZO: Masked Zeroth-Order Optimization for Multi-Task Fine-Tuning of Large Language Models
von: Zhang, Zhen, et al.
Veröffentlicht: (2025)

QuZO: Quantized Zeroth-Order Fine-Tuning for Large Language Models
von: Zhou, Jiajun, et al.
Veröffentlicht: (2025)

AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
von: Dang, Sizhe, et al.
Veröffentlicht: (2025)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
von: Liu, Yong, et al.
Veröffentlicht: (2024)

AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments
von: Cai, Zhijie, et al.
Veröffentlicht: (2026)

Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models
von: Gautam, Tanmay, et al.
Veröffentlicht: (2024)

ROSA: Random Subspace Adaptation for Efficient Fine-Tuning
von: Hameed, Marawan Gamal Abdel, et al.
Veröffentlicht: (2024)

RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation
von: Liu, Jun, et al.
Veröffentlicht: (2025)

On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning
von: Chen, Ziye, et al.
Veröffentlicht: (2026)

Zeroth-Order Optimization Meets Human Feedback: Provable Learning via Ranking Oracles
von: Tang, Zhiwei, et al.
Veröffentlicht: (2023)

Zeroth-Order Optimization Finds Flat Minima
von: Zhang, Liang, et al.
Veröffentlicht: (2025)

HELENE: Hessian Layer-wise Clipping and Gradient Annealing for Accelerating Fine-tuning LLM with Zeroth-order Optimization
von: Zhao, Huaqin, et al.
Veröffentlicht: (2024)

Alignment Dynamics in LLM Fine-Tuning
von: Huang, Yuhan, et al.
Veröffentlicht: (2026)

A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning
von: Wu, Chenlin, et al.
Veröffentlicht: (2024)

Adaptive Defense against Harmful Fine-Tuning for Large Language Models via Bayesian Data Scheduler
von: Hu, Zixuan, et al.
Veröffentlicht: (2025)

Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

Adaptive Ensembles of Fine-Tuned Transformers for LLM-Generated Text Detection
von: Lai, Zhixin, et al.
Veröffentlicht: (2024)

Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

Lotus: Efficient LLM Training by Randomized Low-Rank Gradient Projection with Adaptive Subspace Switching
von: Miao, Tianhao, et al.
Veröffentlicht: (2026)

Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training
von: Cunegatti, Elia, et al.
Veröffentlicht: (2024)

LoSiA: Efficient High-Rank Fine-Tuning via Subnet Localization and Optimization
von: Wang, Xujia, et al.
Veröffentlicht: (2025)

A Bayesian Hybrid Parameter-Efficient Fine-Tuning Method for Large Language Models
von: Chai, Yidong, et al.
Veröffentlicht: (2025)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
von: Zhang, Yihua, et al.
Veröffentlicht: (2024)

LLM Zeroth-Order Fine-Tuning is an Inference Workload
von: Li, Zelin, et al.
Veröffentlicht: (2026)

Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
von: Wan, Zhiyi, et al.
Veröffentlicht: (2025)

Bayesian Natural Gradient Fine-Tuning of CLIP Models via Kalman Filtering
von: Abdi, Hossein, et al.
Veröffentlicht: (2025)

CERSA: Cumulative Energy-Retaining Subspace Adaptation for Memory-Efficient Fine-Tuning
von: Ge, Jingze, et al.
Veröffentlicht: (2026)

Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization
von: Liu, Zhihao, et al.
Veröffentlicht: (2026)

RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation
von: Nikdan, Mahdi, et al.
Veröffentlicht: (2024)