Buchumschlag

Zeroth-Order Hard-Thresholding: Gradient Error vs. Expansivity

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	de Vazelhes, William, Zhang, Hualin, Wu, Huimin, Yuan, Xiao-Tong, Gu, Bin
Format:	Preprint
Veröffentlicht:	2022
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Optimization over Sparse Support-Preserving Sets: Two-Step Projection with Global Optimality Guarantees
von: de Vazelhes, William, et al.
Veröffentlicht: (2025)

Obtaining Lower Query Complexities through Lightweight Zeroth-Order Proximal Gradient Algorithms
von: Gu, Bin, et al.
Veröffentlicht: (2024)

New Insight of Variance reduce in Zero-Order Hard-Thresholding: Mitigating Gradient Error and Expansivity Contradictions
von: Yuan, Xinzhe, et al.
Veröffentlicht: (2026)

Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
von: de Vazelhes, William, et al.
Veröffentlicht: (2023)

On the Inherent Privacy of Zeroth Order Projected Gradient Descent
von: Gupta, Devansh, et al.
Veröffentlicht: (2025)

Zeroth-Order Stochastic Mirror Descent Algorithms for Minimax Excess Risk Optimization
von: Gu, Zhihao, et al.
Veröffentlicht: (2024)

Hard-Thresholding Meets Evolution Strategies in Reinforcement Learning
von: Gao, Chengqian, et al.
Veröffentlicht: (2024)

On Adaptivity in Zeroth-Order Optimization
von: Dbouk, Hassan, et al.
Veröffentlicht: (2026)

Riemannian Zeroth-Order Gradient Estimation with Structure-Preserving Metrics for Geodesically Incomplete Manifolds
von: Ma, Shaocong, et al.
Veröffentlicht: (2026)

Zeroth-Order primal-dual Alternating Projection Gradient Algorithms for Nonconvex Minimax Problems with Coupled linear Constraints
von: Zhang, Huiling, et al.
Veröffentlicht: (2024)

On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

LORENZA: Enhancing Generalization in Low-Rank Gradient LLM Training via Efficient Zeroth-Order Adaptive SAM
von: Refael, Yehonathan, et al.
Veröffentlicht: (2025)

Zeroth-Order Optimization at the Edge of Stability
von: Song, Minhak, et al.
Veröffentlicht: (2026)

Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
von: Chen, Ziyi, et al.
Veröffentlicht: (2025)

Fully Zeroth-Order Bilevel Programming via Gaussian Smoothing
von: Aghasi, Alireza, et al.
Veröffentlicht: (2024)

Certified Multi-Fidelity Zeroth-Order Optimization
von: de Montbrun, Étienne, et al.
Veröffentlicht: (2023)

Private Zeroth-Order Nonsmooth Nonconvex Optimization
von: Zhang, Qinzi, et al.
Veröffentlicht: (2024)

Probabilistic Iterative Hard Thresholding for Sparse Learning
von: Bergamaschi, Matteo, et al.
Veröffentlicht: (2024)

Zeroth-Order Optimization Finds Flat Minima
von: Zhang, Liang, et al.
Veröffentlicht: (2025)

A Randomized Zeroth-Order Hierarchical Framework for Heterogeneous Federated Learning
von: Qiu, Yuyang, et al.
Veröffentlicht: (2025)

Minimisation of Polyak-Łojasewicz Functions Using Random Zeroth-Order Oracles
von: Farzin, Amir Ali, et al.
Veröffentlicht: (2024)

VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence
von: Chen, Jiahe, et al.
Veröffentlicht: (2025)

Single Point-Based Distributed Zeroth-Order Optimization with a Non-Convex Stochastic Objective Function
von: Mhanna, Elissa, et al.
Veröffentlicht: (2024)

Bregman Linearized Augmented Lagrangian Method for Nonconvex Constrained Stochastic Zeroth-order Optimization
von: Shi, Qiankun, et al.
Veröffentlicht: (2025)

Unlocking TriLevel Learning with Level-Wise Zeroth Order Constraints: Distributed Algorithms and Provable Non-Asymptotic Convergence
von: Jiao, Yang, et al.
Veröffentlicht: (2024)

Minimisation of Submodular Functions Using Gaussian Zeroth-Order Random Oracles
von: Farzin, Amir Ali, et al.
Veröffentlicht: (2025)

Stochastic Zeroth order Descent with Structured Directions
von: Rando, Marco, et al.
Veröffentlicht: (2022)

Distributed Zeroth-Order Optimization with Rademacher Perturbations and Momentum Gradient Tracking
von: Su, Yanxu, et al.
Veröffentlicht: (2026)

ZORMS-LfD: Learning from Demonstrations with Zeroth-Order Random Matrix Search
von: Dry, Olivia, et al.
Veröffentlicht: (2025)

Towards Simple and Provable Parameter-Free Adaptive Gradient Methods
von: Tao, Yuanzhe, et al.
Veröffentlicht: (2024)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent
von: Jing, Gangshan, et al.
Veröffentlicht: (2021)

On Unbalanced Optimal Transport: Gradient Methods, Sparsity and Approximation Error
von: Nguyen, Quang Minh, et al.
Veröffentlicht: (2022)

Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity
von: Yu, Qian, et al.
Veröffentlicht: (2024)

Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

Can We Remove the Square-Root in Adaptive Gradient Methods? A Second-Order Perspective
von: Lin, Wu, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Adaptive Data
von: Che, Ethan, et al.
Veröffentlicht: (2024)

ASGO: Adaptive Structured Gradient Optimization
von: An, Kang, et al.
Veröffentlicht: (2025)

Optimizing Hard Thresholding for Sparse Model Discovery
von: Jollie, Derek W., et al.
Veröffentlicht: (2025)

Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise
von: Pan, Rui, et al.
Veröffentlicht: (2023)