Buchumschlag

A Retrospective Approximation Approach for Smooth Stochastic Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Newton, David, Bollapragada, Raghu, Pasupathy, Raghu, Yip, Nung Kwan
Format:	Preprint
Veröffentlicht:	2021
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods
von: O'Leary-Roseberry, Thomas, et al.
Veröffentlicht: (2024)

On the Convergence and Complexity of the Stochastic Central Finite-Difference Based Gradient Estimation Methods
von: Bollapragada, Raghu, et al.
Veröffentlicht: (2025)

Negative Curvature Methods with High-Probability Complexity Guarantees for Stochastic Nonconvex Optimization
von: Berahas, Albert S., et al.
Veröffentlicht: (2026)

Retrospective Approximation Sequential Quadratic Programming for Stochastic Optimization with General Deterministic Nonlinear Constraints
von: Berahas, Albert S., et al.
Veröffentlicht: (2025)

Modified Line Search Sequential Quadratic Methods for Equality-Constrained Optimization with Unified Global and Local Convergence Guarantees
von: Berahas, Albert S., et al.
Veröffentlicht: (2024)

Derivative-Free Optimization via Adaptive Sampling Strategies
von: Bollapragada, Raghu, et al.
Veröffentlicht: (2024)

Exploiting Negative Curvature in Conjunction with Adaptive Sampling: Theoretical Results and a Practical Algorithm
von: Berahas, Albert S., et al.
Veröffentlicht: (2024)

Drift Optimization of Regulated Stochastic Models Using Sample Average Approximation
von: Zhou, Zihe, et al.
Veröffentlicht: (2025)

Deterministic and Stochastic Frank-Wolfe Recursion on Probability Spaces
von: Yu, Di, et al.
Veröffentlicht: (2024)

Complexity of Zeroth- and First-order Stochastic Trust-Region Algorithms
von: Ha, Yunsoo, et al.
Veröffentlicht: (2024)

Efficient Mathematical Programming Formulation and Algorithmic Framework for Optimal Camera Placement
von: Kumar, Yash, et al.
Veröffentlicht: (2024)

On the fast convergence of minibatch heavy ball momentum
von: Bollapragada, Raghu, et al.
Veröffentlicht: (2022)

Gradient-Normalized Smoothness for Optimization with Approximate Hessians
von: Semenov, Andrei, et al.
Veröffentlicht: (2025)

Frank-Wolfe Recursions for the Emergency Response Problem on Measure Spaces
von: Yu, Di, et al.
Veröffentlicht: (2025)

Decentralized Stochastic Nonconvex Optimization under the Relaxed Smoothness
von: Luo, Luo, et al.
Veröffentlicht: (2025)

Stochastic Non-Smooth Convex Optimization with Unbounded Gradients
von: Kovalev, Dmitry
Veröffentlicht: (2026)

Faster Gradient Methods for Highly-Smooth Stochastic Bilevel Optimization
von: Chen, Lesi, et al.
Veröffentlicht: (2025)

An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness
von: Gong, Xiaochuan, et al.
Veröffentlicht: (2024)

Adaptive Gradient Normalization and Independent Sampling for (Stochastic) Generalized-Smooth Optimization
von: Yang, Yufeng, et al.
Veröffentlicht: (2024)

Efficient Stochastic Approximation of Minimax Excess Risk Optimization
von: Zhang, Lijun, et al.
Veröffentlicht: (2023)

Stochastic Approximation Methods for Distortion Risk Measure Optimization
von: Jiang, Jinyang, et al.
Veröffentlicht: (2025)

Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)

A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
von: Sun, Zhenyu, et al.
Veröffentlicht: (2024)

Stochastic Smoothed Primal-Dual Algorithms for Nonconvex Optimization with Linear Inequality Constraints
von: Huang, Ruichuan, et al.
Veröffentlicht: (2025)

Smooth Quasar-Convex Optimization with Constraints
von: Martínez-Rubio, David
Veröffentlicht: (2025)

A Nearly Optimal Single Loop Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness
von: Gong, Xiaochuan, et al.
Veröffentlicht: (2024)

On the Convergence and Complexity of Proximal Gradient and Accelerated Proximal Gradient Methods under Adaptive Gradient Estimation
von: Bollapragada, Raghu, et al.
Veröffentlicht: (2025)

Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization
von: Kolb, Chris, et al.
Veröffentlicht: (2023)

High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2021)

Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
von: Sato, Naoki, et al.
Veröffentlicht: (2023)

A Stochastic-Gradient-based Interior-Point Algorithm for Solving Smooth Bound-Constrained Optimization Problems
von: Curtis, Frank E., et al.
Veröffentlicht: (2023)

On Penalty Methods for Nonconvex Bilevel Optimization and First-Order Stochastic Approximation
von: Kwon, Jeongyeol, et al.
Veröffentlicht: (2023)

A Homogenization Approach for Gradient-Dominated Stochastic Optimization
von: Tan, Jiyuan, et al.
Veröffentlicht: (2023)

Complexity Lower Bounds of Adaptive Gradient Algorithms for Non-convex Stochastic Optimization under Relaxed Smoothness
von: Crawshaw, Michael, et al.
Veröffentlicht: (2025)

Tame Riemannian Stochastic Approximation
von: Aspman, Johannes, et al.
Veröffentlicht: (2023)

Exponential Concentration in Stochastic Approximation
von: Law, Kody, et al.
Veröffentlicht: (2022)

A Unified Theory of Stochastic Proximal Point Methods without Smoothness
von: Richtárik, Peter, et al.
Veröffentlicht: (2024)

Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization
von: Shen, Wei, et al.
Veröffentlicht: (2023)

Gaussian Approximation and Multiplier Bootstrap for Federated Linear Stochastic Approximation
von: Levin, Ilya, et al.
Veröffentlicht: (2026)

A Stochastic Approximation Approach for Efficient Decentralized Optimization on Random Networks
von: Yau, Chung-Yiu, et al.
Veröffentlicht: (2024)