Buchumschlag

Efficient Sign-Based Optimization: Accelerating Convergence via Variance Reduction

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jiang, Wei, Yang, Sifan, Yang, Wenhao, Zhang, Lijun
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions
von: Jiang, Wei, et al.
Veröffentlicht: (2024)

Projection-Free Variance Reduction Methods for Stochastic Constrained Multi-Level Compositional Optimization
von: Jiang, Wei, et al.
Veröffentlicht: (2024)

Improved Analysis for Sign-based Methods with Momentum Updates
von: Jiang, Wei, et al.
Veröffentlicht: (2025)

Convergence Analysis of the Lion Optimizer in Centralized and Distributed Settings
von: Jiang, Wei, et al.
Veröffentlicht: (2025)

VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence
von: Chen, Jiahe, et al.
Veröffentlicht: (2025)

Global Convergence of Natural Policy Gradient with Hessian-aided Momentum Variance Reduction
von: Feng, Jie, et al.
Veröffentlicht: (2024)

Universal Online Convex Optimization with $1$ Projection per Round
von: Yang, Wenhao, et al.
Veröffentlicht: (2024)

Efficient Stochastic Approximation of Minimax Excess Risk Optimization
von: Zhang, Lijun, et al.
Veröffentlicht: (2023)

Variance Reduction and Low Sample Complexity in Stochastic Optimization via Proximal Point Method
von: Liang, Jiaming
Veröffentlicht: (2024)

Sign-Based Optimizers Are Effective Under Heavy-Tailed Noise
von: Yu, Dingzhi, et al.
Veröffentlicht: (2026)

Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance
von: Zhang, Qi, et al.
Veröffentlicht: (2024)

Drago: Primal-Dual Coupled Variance Reduction for Faster Distributionally Robust Optimization
von: Mehta, Ronak, et al.
Veröffentlicht: (2024)

Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints
von: Ablin, Pierre, et al.
Veröffentlicht: (2023)

PPI-SVRG: Unifying Prediction-Powered Inference and Variance Reduction for Semi-Supervised Optimization
von: Ao, Ruicheng, et al.
Veröffentlicht: (2026)

Double Variance Reduction: A Smoothing Trick for Composite Optimization Problems without First-Order Gradient
von: Di, Hao, et al.
Veröffentlicht: (2024)

On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization
von: Liang, Ling, et al.
Veröffentlicht: (2024)

Muon is Provably Faster with Momentum Variance Reduction
von: Qian, Xun, et al.
Veröffentlicht: (2025)

Stochastic Gradient Langevin Dynamics with Variance Reduction
von: Huang, Zhishen, et al.
Veröffentlicht: (2021)

Accelerating RLHF Training with Reward Variance Increase
von: Yang, Zonglin, et al.
Veröffentlicht: (2025)

Projected Forward Gradient-Guided Frank-Wolfe Algorithm via Variance Reduction
von: Rostami, M., et al.
Veröffentlicht: (2024)

Adaptive Optimization via Momentum on Variance-Normalized Gradients
von: Patitucci, Francisco, et al.
Veröffentlicht: (2026)

Decentralized Non-convex Stochastic Optimization with Heterogeneous Variance
von: Chen, Hongxu, et al.
Veröffentlicht: (2026)

Accelerated Nonnegative Tensor Completion via Integer Programming
von: Pan, Wenhao, et al.
Veröffentlicht: (2022)

Divergence Results and Convergence of a Variance Reduced Version of ADAM
von: Wang, Ruiqi, et al.
Veröffentlicht: (2022)

Sign-SGD via Parameter-Free Optimization
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

MARS-M: When Variance Reduction Meets Matrices
von: Liu, Yifeng, et al.
Veröffentlicht: (2025)

Convergence of Spectral Descent for Non-smooth Optimization
von: Yang, Yixuan, et al.
Veröffentlicht: (2026)

Gradient Estimation and Variance Reduction in Stochastic and Deterministic Models
von: Keane, Ronan
Veröffentlicht: (2024)

Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2023)

Sharper Convergence Rates for Nonconvex Optimisation via Reduction Mappings
von: Markou, Evan, et al.
Veröffentlicht: (2025)

Efficient Curvature-Aware Hypergradient Approximation for Bilevel Optimization
von: Dong, Youran, et al.
Veröffentlicht: (2025)

MARS: Unleashing the Power of Variance Reduction for Training Large Models
von: Yuan, Huizhuo, et al.
Veröffentlicht: (2024)

TRSVR: An Adaptive Stochastic Trust-Region Method with Variance Reduction
von: Fang, Yuchen, et al.
Veröffentlicht: (2026)

Universal Online Convex Optimization Meets Second-order Bounds
von: Zhang, Lijun, et al.
Veröffentlicht: (2021)

Efficient Low-rank Identification via Accelerated Iteratively Reweighted Nuclear Norm Minimization
von: Wang, Hao, et al.
Veröffentlicht: (2024)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

Accelerating Multi-Block Constrained Optimization Through Learning to Optimize
von: Liang, Ling, et al.
Veröffentlicht: (2024)

Policy-based Primal-Dual Methods for Concave CMDP with Variance Reduction
von: Ying, Donghao, et al.
Veröffentlicht: (2022)

Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization
von: Yang, Zhuoran, et al.
Veröffentlicht: (2020)

Towards Weaker Variance Assumptions for Stochastic Optimization
von: Alacaoglu, Ahmet, et al.
Veröffentlicht: (2025)