Buchumschlag

Learning Dynamics of Zeroth-Order Optimization: A Kernel Perspective

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Zhe, Ying, Bicheng, Liu, Zidong, Yang, Haibo
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization
von: Li, Zhe, et al.
Veröffentlicht: (2024)

Converge Faster, Talk Less: Hessian-Informed Federated Zeroth-Order Optimization
von: Li, Zhe, et al.
Veröffentlicht: (2025)

Exact and Linear Convergence for Federated Learning under Arbitrary Client Participation is Attainable
von: Ying, Bicheng, et al.
Veröffentlicht: (2025)

Model Evolution Under Zeroth-Order Optimization: A Neural Tangent Kernel Perspective
von: Zhang, Chen, et al.
Veröffentlicht: (2026)

Efficient Federated RLHF via Zeroth-Order Policy Optimization
von: Wang, Deyi, et al.
Veröffentlicht: (2026)

Private Zeroth-Order Optimization with Public Data
von: Gong, Xuchen, et al.
Veröffentlicht: (2025)

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs
von: Zhang, Kairun, et al.
Veröffentlicht: (2025)

Position: Zeroth-Order Optimization in Deep Learning Is Underexplored, Not Underpowered
von: Liu, Sijia, et al.
Veröffentlicht: (2026)

On Adaptivity in Zeroth-Order Optimization
von: Dbouk, Hassan, et al.
Veröffentlicht: (2026)

Zeroth-Order Optimization is Secretly Single-Step Policy Optimization
von: Qiu, Junbin, et al.
Veröffentlicht: (2025)

The Multi-Query Paradox in Zeroth-Order Optimization
von: Lin, Wei, et al.
Veröffentlicht: (2025)

Zeroth-Order Optimization at the Edge of Stability
von: Song, Minhak, et al.
Veröffentlicht: (2026)

A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning
von: Wu, Chenlin, et al.
Veröffentlicht: (2024)

Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling
von: Wang, Fei, et al.
Veröffentlicht: (2026)

Elucidating Subspace Perturbation in Zeroth-Order Optimization: Theory and Practice at Scale
von: Park, Sihwan, et al.
Veröffentlicht: (2025)

Refining Adaptive Zeroth-Order Optimization at Ease
von: Shu, Yao, et al.
Veröffentlicht: (2025)

Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States
von: Chien, Eli, et al.
Veröffentlicht: (2025)

Ancestral Reinforcement Learning: Unifying Zeroth-Order Optimization and Genetic Algorithms for Reinforcement Learning
von: Nakashima, So, et al.
Veröffentlicht: (2024)

Zeroth-Order Optimization Finds Flat Minima
von: Zhang, Liang, et al.
Veröffentlicht: (2025)

Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference
von: Zhang, Qining, et al.
Veröffentlicht: (2024)

More Than Memory Savings: Zeroth-Order Optimization Mitigates Forgetting in Continual Learning
von: Yu, Wanhao, et al.
Veröffentlicht: (2025)

Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization
von: Shu, Yao, et al.
Veröffentlicht: (2026)

Zeroth-Order Sharpness-Aware Learning with Exponential Tilting
von: Gong, Xuchen, et al.
Veröffentlicht: (2025)

DeepZero: Scaling up Zeroth-Order Optimization for Deep Model Training
von: Chen, Aochuan, et al.
Veröffentlicht: (2023)

ElasticZO: A Memory-Efficient On-Device Learning with Combined Zeroth- and First-Order Optimization
von: Sugiura, Keisuke, et al.
Veröffentlicht: (2025)

HOSL: Hybrid-Order Split Learning for Memory-Constrained Edge Training
von: Lnu, Aakriti, et al.
Veröffentlicht: (2026)

On the Convergence of Zeroth-Order Federated Tuning for Large Language Models
von: Ling, Zhenqing, et al.
Veröffentlicht: (2024)

Certified Multi-Fidelity Zeroth-Order Optimization
von: de Montbrun, Étienne, et al.
Veröffentlicht: (2023)

Private Zeroth-Order Nonsmooth Nonconvex Optimization
von: Zhang, Qinzi, et al.
Veröffentlicht: (2024)

Improving the Straight-Through Estimator with Zeroth-Order Information
von: Yang, Ningfeng, et al.
Veröffentlicht: (2025)

A New Formulation for Zeroth-Order Optimization of Adversarial EXEmples in Malware Detection
von: Rando, Marco, et al.
Veröffentlicht: (2024)

Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

Second-Order Fine-Tuning without Pain for LLMs:A Hessian Informed Zeroth-Order Optimizer
von: Zhao, Yanjun, et al.
Veröffentlicht: (2024)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
von: Zhang, Yihua, et al.
Veröffentlicht: (2024)

LLM Zeroth-Order Fine-Tuning is an Inference Workload
von: Li, Zelin, et al.
Veröffentlicht: (2026)

KerZOO: Kernel Function Informed Zeroth-Order Optimization for Accurate and Accelerated LLM Fine-Tuning
von: Mi, Zhendong, et al.
Veröffentlicht: (2025)

Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
von: Chen, Ziyi, et al.
Veröffentlicht: (2025)

Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
von: Kim, Dongyoon, et al.
Veröffentlicht: (2025)

Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens
von: Qiu, Junbin, et al.
Veröffentlicht: (2026)