Buchumschlag

Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ma, Shaocong, Huang, Heng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

Riemannian Zeroth-Order Gradient Estimation with Structure-Preserving Metrics for Geodesically Incomplete Manifolds
von: Ma, Shaocong, et al.
Veröffentlicht: (2026)

Robust Reinforcement Learning in Finance: Modeling Market Impact with Elliptic Uncertainty Sets
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework
von: Ma, Shaocong, et al.
Veröffentlicht: (2026)

Zeroth-Order Optimization Finds Flat Minima
von: Zhang, Liang, et al.
Veröffentlicht: (2025)

Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models
von: Gautam, Tanmay, et al.
Veröffentlicht: (2024)

Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
von: Chen, Ziyi, et al.
Veröffentlicht: (2025)

VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence
von: Chen, Jiahe, et al.
Veröffentlicht: (2025)

Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent
von: Jing, Gangshan, et al.
Veröffentlicht: (2021)

Minimisation of Quasar-Convex Functions Using Random Zeroth-Order Oracles
von: Farzin, Amir Ali, et al.
Veröffentlicht: (2025)

On Adaptivity in Zeroth-Order Optimization
von: Dbouk, Hassan, et al.
Veröffentlicht: (2026)

Client-Centric Federated Adaptive Optimization
von: Sun, Jianhui, et al.
Veröffentlicht: (2025)

Min-Max Optimisation for Nonconvex-Nonconcave Functions Using a Random Zeroth-Order Extragradient Algorithm
von: Farzin, Amir Ali, et al.
Veröffentlicht: (2025)

Primitive Agentic First-Order Optimization
von: Sala, R.
Veröffentlicht: (2024)

Accelerating RLHF Training with Reward Variance Increase
von: Yang, Zonglin, et al.
Veröffentlicht: (2025)

Obtaining Lower Query Complexities through Lightweight Zeroth-Order Proximal Gradient Algorithms
von: Gu, Bin, et al.
Veröffentlicht: (2024)

Hierarchical Mixture-of-Experts with Two-Stage Optimization
von: Molodtsov, Gleb, et al.
Veröffentlicht: (2026)

Single Point-Based Distributed Zeroth-Order Optimization with a Non-Convex Stochastic Objective Function
von: Mhanna, Elissa, et al.
Veröffentlicht: (2024)

Deep Learning for Two-Stage Robust Integer Optimization
von: Dumouchelle, Justin, et al.
Veröffentlicht: (2023)

Bilevel Optimization over Saddle Points of Zero-Sum Markov Games
von: Zheng, Zihao, et al.
Veröffentlicht: (2026)

Optimal Multimarginal Schrödinger Bridge: Minimum Spanning Tree over Measure-valued Vertices
von: Bondar, Georgiy A., et al.
Veröffentlicht: (2025)

Zeroth-Order Optimization at the Edge of Stability
von: Song, Minhak, et al.
Veröffentlicht: (2026)

Quantization through Piecewise-Affine Regularization: Optimization and Statistical Guarantees
von: Ma, Jianhao, et al.
Veröffentlicht: (2025)

From Optimization to Prediction: Transformer-Based Path-Flow Estimation to the Traffic Assignment Problem
von: Ameli, Mostafa, et al.
Veröffentlicht: (2025)

Certified Multi-Fidelity Zeroth-Order Optimization
von: de Montbrun, Étienne, et al.
Veröffentlicht: (2023)

Private Zeroth-Order Nonsmooth Nonconvex Optimization
von: Zhang, Qinzi, et al.
Veröffentlicht: (2024)

Differentiable Distributionally Robust Optimization Layers
von: Ma, Xutao, et al.
Veröffentlicht: (2024)

Zeroth-Order Stochastic Mirror Descent Algorithms for Minimax Excess Risk Optimization
von: Gu, Zhihao, et al.
Veröffentlicht: (2024)

MiMuon: Mixed Muon Optimizer with Improved Generalization for Large Models
von: Huang, Feihu, et al.
Veröffentlicht: (2026)

Learning-Guided Rolling Horizon Optimization for Long-Horizon Flexible Job-Shop Scheduling
von: Li, Sirui, et al.
Veröffentlicht: (2025)

ARO: A New Lens On Matrix Optimization For Large Models
von: Gong, Wenbo, et al.
Veröffentlicht: (2026)

Revisiting LQR Control from the Perspective of Receding-Horizon Policy Gradient
von: Zhang, Xiangyuan, et al.
Veröffentlicht: (2023)

A Single-Loop Gradient Descent and Perturbed Ascent Algorithm for Nonconvex Functional Constrained Optimization
von: Lu, Songtao
Veröffentlicht: (2022)

Stochastic Zeroth order Descent with Structured Directions
von: Rando, Marco, et al.
Veröffentlicht: (2022)

On the Inherent Privacy of Zeroth Order Projected Gradient Descent
von: Gupta, Devansh, et al.
Veröffentlicht: (2025)

Convergence of Some Convex Message Passing Algorithms to a Fixed Point
von: Voracek, Vaclav, et al.
Veröffentlicht: (2024)

Preconditioning Benefits of Spectral Orthogonalization in Muon
von: Ma, Jianhao, et al.
Veröffentlicht: (2026)

Reward-Directed Score-Based Diffusion Models via q-Learning
von: Gao, Xuefeng, et al.
Veröffentlicht: (2024)

Spatial Transformers for Radio Map Estimation
von: Viet, Pham Q., et al.
Veröffentlicht: (2024)

Optimizing the Optimizer for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks
von: Kiyani, Elham, et al.
Veröffentlicht: (2025)