Buchumschlag

Second-Order Fine-Tuning without Pain for LLMs:A Hessian Informed Zeroth-Order Optimizer

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhao, Yanjun, Dang, Sizhe, Ye, Haishan, Dai, Guang, Qian, Yi, Tsang, Ivor W.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
von: Dang, Sizhe, et al.
Veröffentlicht: (2025)

ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning
von: Sun, Zhishen, et al.
Veröffentlicht: (2026)

Double Variance Reduction: A Smoothing Trick for Composite Optimization Problems without First-Order Gradient
von: Di, Hao, et al.
Veröffentlicht: (2024)

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs
von: Zhang, Kairun, et al.
Veröffentlicht: (2025)

Why Does Adaptive Zeroth-Order Optimization Work?
von: Ye, Haishan, et al.
Veröffentlicht: (2026)

High-Probability Guarantees for Random Zeroth-Order (Stochastic) Gradient Descent
von: Ye, Haishan
Veröffentlicht: (2026)

High-Probability Guarantees for Random Zeroth-Order Gradient Descent on Smooth Functions
von: Ye, Haishan
Veröffentlicht: (2026)

Numerical Sensitivity and Robustness: Exploring the Flaws of Mathematical Reasoning in Large Language Models
von: Sun, Zhishen, et al.
Veröffentlicht: (2025)

A Unified Zeroth-Order Optimization Framework via Oblivious Randomized Sketching
von: Ye, Haishan, et al.
Veröffentlicht: (2025)

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces
von: Yu, Ziming, et al.
Veröffentlicht: (2024)

Zeroth-Order Fine-Tuning of LLMs with Extreme Sparsity
von: Guo, Wentao, et al.
Veröffentlicht: (2024)

Converge Faster, Talk Less: Hessian-Informed Federated Zeroth-Order Optimization
von: Li, Zhe, et al.
Veröffentlicht: (2025)

An Enhanced Zeroth-Order Stochastic Frank-Wolfe Framework for Constrained Finite-Sum Optimization
von: Ye, Haishan, et al.
Veröffentlicht: (2025)

Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
von: Kim, Dongyoon, et al.
Veröffentlicht: (2025)

Near-Optimal Distributed Minimax Optimization under the Second-Order Similarity
von: Zhou, Qihao, et al.
Veröffentlicht: (2024)

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization
von: Katti, Prabodh, et al.
Veröffentlicht: (2025)

Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

LLM Zeroth-Order Fine-Tuning is an Inference Workload
von: Li, Zelin, et al.
Veröffentlicht: (2026)

KerZOO: Kernel Function Informed Zeroth-Order Optimization for Accurate and Accelerated LLM Fine-Tuning
von: Mi, Zhendong, et al.
Veröffentlicht: (2025)

Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity
von: Yu, Qian, et al.
Veröffentlicht: (2024)

Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
von: Wang, Fei, et al.
Veröffentlicht: (2024)

ZO-ASR: Zeroth-Order Fine-Tuning of Speech Foundation Models without Back-Propagation
von: Peng, Yuezhang, et al.
Veröffentlicht: (2025)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
von: Zhang, Yihua, et al.
Veröffentlicht: (2024)

Riemannian Momentum Tracking: Distributed Optimization with Momentum on Compact Submanifolds
von: Chen, Jun, et al.
Veröffentlicht: (2026)

Second-Order Min-Max Optimization with Lazy Hessians
von: Chen, Lesi, et al.
Veröffentlicht: (2024)

Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens
von: Qiu, Junbin, et al.
Veröffentlicht: (2026)

From $O(mn)$ to $O(r^2)$: Two-Sided Low-Rank Communication for Adam in Distributed Training with Memory Efficiency
von: Dang, Sizhe, et al.
Veröffentlicht: (2026)

Refining Adaptive Zeroth-Order Optimization at Ease
von: Shu, Yao, et al.
Veröffentlicht: (2025)

QuZO: Quantized Zeroth-Order Fine-Tuning for Large Language Models
von: Zhou, Jiajun, et al.
Veröffentlicht: (2025)

Localized Zeroth-Order Prompt Optimization
von: Hu, Wenyang, et al.
Veröffentlicht: (2024)

Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models
von: Gautam, Tanmay, et al.
Veröffentlicht: (2024)

Zero-Order Sharpness-Aware Minimization
von: Fu, Yao, et al.
Veröffentlicht: (2025)

A First-Order Multi-Gradient Algorithm for Multi-Objective Bi-Level Optimization
von: Ye, Feiyang, et al.
Veröffentlicht: (2024)

OAT-Rephrase: Optimization-Aware Training Data Rephrasing for Zeroth-Order LLM Fine-Tuning
von: Long, Jikai, et al.
Veröffentlicht: (2025)

Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer
von: Feng, Jian, et al.
Veröffentlicht: (2026)

Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold
von: Chen, Jun, et al.
Veröffentlicht: (2023)

Explicit and Non-asymptotic Query Complexities of Rank-Based Zeroth-order Algorithms on Smooth Functions
von: Ye, Haishan
Veröffentlicht: (2025)

Privacy Leaks by Adversaries: Adversarial Iterations for Membership Inference Attack
von: Xue, Jing, et al.
Veröffentlicht: (2025)

On Adaptivity in Zeroth-Order Optimization
von: Dbouk, Hassan, et al.
Veröffentlicht: (2026)