Buchumschlag

Improved Complexity for Smooth Nonconvex Optimization: A Two-Level Online Learning Approach with Quasi-Newton Methods

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jiang, Ruichen, Mokhtari, Aryan, Patitucci, Francisco
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Improving Online-to-Nonconvex Conversion for Smooth Optimization via Double Optimism
von: Patitucci, Francisco, et al.
Veröffentlicht: (2025)

Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization
von: Jiang, Ruichen, et al.
Veröffentlicht: (2026)

Adaptive Optimization via Momentum on Variance-Normalized Gradients
von: Patitucci, Francisco, et al.
Veröffentlicht: (2026)

Stochastic Newton Proximal Extragradient Method
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

On the Complexity of Finding Stationary Points in Nonconvex Simple Bilevel Optimization
von: Cao, Jincheng, et al.
Veröffentlicht: (2025)

An Accelerated Gradient Method for Convex Smooth Simple Bilevel Optimization
von: Cao, Jincheng, et al.
Veröffentlicht: (2024)

Online Learning-guided Learning Rate Adaptation via Gradient Alignment
von: Jiang, Ruichen, et al.
Veröffentlicht: (2025)

Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Adaptive and Optimal Second-order Optimistic Methods for Minimax Optimization
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Generalized Optimistic Methods for Convex-Concave Saddle Point Problems
von: Jiang, Ruichen, et al.
Veröffentlicht: (2022)

A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees
von: Zhou, Yuhao, et al.
Veröffentlicht: (2025)

A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
von: Sun, Zhenyu, et al.
Veröffentlicht: (2024)

On the Complexity of Decentralized Smooth Nonconvex Finite-Sum Optimization
von: Luo, Luo, et al.
Veröffentlicht: (2022)

Statistical and Computational Complexities of BFGS Quasi-Newton Method for Generalized Linear Models
von: Jin, Qiujiang, et al.
Veröffentlicht: (2022)

An Inexact Conditional Gradient Method for Constrained Bilevel Optimization
von: Abolfazli, Nazanin, et al.
Veröffentlicht: (2023)

A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
von: Diouane, Youssef, et al.
Veröffentlicht: (2024)

Decentralized Stochastic Nonconvex Optimization under the Relaxed Smoothness
von: Luo, Luo, et al.
Veröffentlicht: (2025)

Sharpened Lazy Incremental Quasi-Newton Method
von: Lahoti, Aakash, et al.
Veröffentlicht: (2023)

Online Nonconvex Bilevel Optimization with Bregman Divergences
von: Bohne, Jason, et al.
Veröffentlicht: (2024)

Non-asymptotic Global Convergence Rates of BFGS with Exact Line Search
von: Jin, Qiujiang, et al.
Veröffentlicht: (2024)

Non-asymptotic Global Convergence Analysis of BFGS with the Armijo-Wolfe Line Search
von: Jin, Qiujiang, et al.
Veröffentlicht: (2024)

A Smoothing Newton Method for Rank-one Matrix Recovery
von: Maunu, Tyler, et al.
Veröffentlicht: (2025)

Improved Sample Complexity for Private Nonsmooth Nonconvex Optimization
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

An Iteratively Reweighted Method for Sparse Optimization on Nonconvex $\ell_{p}$ Ball
von: Wang, Hao, et al.
Veröffentlicht: (2021)

Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
von: Nagashima, Shuntaro, et al.
Veröffentlicht: (2026)

Stochastic Smoothed Primal-Dual Algorithms for Nonconvex Optimization with Linear Inequality Constraints
von: Huang, Ruichuan, et al.
Veröffentlicht: (2025)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2024)

Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
von: Liu, Zhuanghua, et al.
Veröffentlicht: (2024)

Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
von: Agafonov, Artem, et al.
Veröffentlicht: (2025)

Online Newton Method for Bandit Convex Optimisation
von: Fokkema, Hidde, et al.
Veröffentlicht: (2024)

Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
von: Sato, Naoki, et al.
Veröffentlicht: (2023)

Developing Lagrangian-based Methods for Nonsmooth Nonconvex Optimization
von: Xiao, Nachuan, et al.
Veröffentlicht: (2024)

Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates
von: Khatti, Zahra, et al.
Veröffentlicht: (2025)

Shuffling Gradient-Based Methods for Nonconvex-Concave Minimax Optimization
von: Tran-Dinh, Quoc, et al.
Veröffentlicht: (2024)

Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
von: Chen, Ziyi, et al.
Veröffentlicht: (2025)

Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
von: Liu, Wei, et al.
Veröffentlicht: (2025)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)