Convergence Conditions for Stochastic Line Search Based Optimization of Over-parametrized Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lapucci, Matteo, Pucci, Davide
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control Machine Learning 90C30, 90C26, 90C06, 65K05, 68T07
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Effectively Leveraging Momentum Terms in Stochastic Line Search Frameworks for Fast Optimization of Finite-Sum Problems
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

Sample-wise Constrained Learning via a Sequential Penalty Approach with Applications in Image Processing
von: Lanzillotta, Francesca, et al.
Veröffentlicht: (2026)

An Augmented Lagrangian Method for Training Recurrent Neural Networks
von: Wang, Yue, et al.
Veröffentlicht: (2024)

Effective Front-Descent Algorithms with Convergence Guarantees
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

Randomized block proximal method with locally Lipschitz continuous gradient
von: Pérez-Aros, Pedro, et al.
Veröffentlicht: (2025)

Heavy-ball Differential Equation Achieves $O(\varepsilon^{-7/4})$ Convergence for Nonconvex Functions
von: Okamura, Kaito, et al.
Veröffentlicht: (2024)

Fast Frank--Wolfe Algorithms with Adaptive Bregman Step-Size for Weakly Convex Functions
von: Takahashi, Shota, et al.
Veröffentlicht: (2025)

Oracle complexities of augmented Lagrangian methods for nonsmooth manifold optimization
von: Deng, Kangkang, et al.
Veröffentlicht: (2024)

Local Convergence Analysis of ADMM for Nonconvex Composite Optimization
von: Xie, Xiyuan, et al.
Veröffentlicht: (2026)

Asymptotic Convergence and Stability of Adaptive Gradient Methods in Smooth Non-convex Optimization
von: Jin, Ruinan, et al.
Veröffentlicht: (2026)

A Globally Convergent Gradient Method with Momentum
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

A globalization of L-BFGS and the Barzilai-Borwein method for nonconvex unconstrained optimization
von: Mannel, Florian
Veröffentlicht: (2024)

Stability and convergence analysis of AdaGrad for non-convex optimization via novel stopping time-based techniques
von: Jin, Ruinan, et al.
Veröffentlicht: (2024)

Faster Adaptive Optimization via Expected Gradient Outer Product Reparameterization
von: DePavia, Adela, et al.
Veröffentlicht: (2025)

Inexact Riemannian Gradient Descent Method for Nonconvex Optimization
von: Zhou, Juan, et al.
Veröffentlicht: (2024)

Convergence-Guaranteed Algorithms for l1/2-Regularized Quadratic Programs with Assignment Constraints
von: Xie, Lijun, et al.
Veröffentlicht: (2025)

Delayed Feedback in Online Non-Convex Optimization: A Non-Stationary Approach with Applications
von: Lara, Felipe, et al.
Veröffentlicht: (2024)

Penalty decomposition derivative free method for the minimization of partially separable functions over a convex feasible set
von: Cecere, Francesco, et al.
Veröffentlicht: (2025)

A MINRES-based Linesearch Algorithm for Nonconvex Optimization with Non-positive Curvature Detection
von: Zeng, Hanfeng, et al.
Veröffentlicht: (2026)

A structured L-BFGS method and its application to inverse problems
von: Mannel, Florian, et al.
Veröffentlicht: (2023)

A structured L-BFGS method with diagonal scaling and its application to image registration
von: Mannel, Florian, et al.
Veröffentlicht: (2024)

On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
von: Gfrerer, H.
Veröffentlicht: (2024)

Riemannian Adaptive Regularized Newton Methods with Hölder Continuous Hessians
von: Zhang, Chenyu, et al.
Veröffentlicht: (2023)

Parameter-Free Accelerated Quasi-Newton Method for Nonconvex Optimization
von: Marumo, Naoki
Veröffentlicht: (2025)

MoSSP: A Momentum-Based Single-Loop Stochastic Penalty Method for Nonconvex Constrained DC-Regularized Optimization
von: Li, Luxuan, et al.
Veröffentlicht: (2026)

Stochastic momentum ADMM for nonconvex and nonsmooth optimization with application to PnP algorithm
von: Deng, Kangkang, et al.
Veröffentlicht: (2025)

A non-monotone trust-region method with noisy oracles and additional sampling
von: Krejic, Natasa, et al.
Veröffentlicht: (2023)

Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
von: Xie, Xiyuan, et al.
Veröffentlicht: (2025)

Universal heavy-ball method for nonconvex optimization under Hölder continuous Hessians
von: Marumo, Naoki, et al.
Veröffentlicht: (2023)

Proximal methods for structured nonsmooth optimization over Riemannian submanifolds
von: Li, Qia, et al.
Veröffentlicht: (2024)

A linesearch-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
von: Zeng, Hanfeng, et al.
Veröffentlicht: (2026)

Mixed-integer linearity in nonlinear optimization: a trust region approach
von: De Marchi, Alberto
Veröffentlicht: (2023)

Variational Properties of Decomposable Functions. Part I: Strict Epi-Calculus and Applications
von: Ouyang, Wenqing, et al.
Veröffentlicht: (2023)

A Lasry-Lions envelope approach for mathematical programs with complementarity constraints
von: Wang, Jia, et al.
Veröffentlicht: (2025)

Variational Properties of Decomposable Functions. Part II: Strong Second-Order Theory
von: Ouyang, Wenqing, et al.
Veröffentlicht: (2023)

On the convergence of proximal gradient methods for convex simple bilevel optimization
von: Latafat, Puya, et al.
Veröffentlicht: (2023)

Hybrid optimal control with mixed-integer Lagrangian methods
von: Nikitina, Viktoriya, et al.
Veröffentlicht: (2024)

Affordable mixed-integer Lagrangian methods: optimality conditions and convergence analysis
von: De Marchi, Alberto
Veröffentlicht: (2024)

The Augmented Mixing Method: Computing High-Accuracy Primal-Dual Solutions to Large-Scale SDPs via Column Updates
von: Brosch, Daniel, et al.
Veröffentlicht: (2025)

Steering exact penalty DCA for nonsmooth DC optimization problems with equality and inequality constraints
von: Dolgopolik, M. V.
Veröffentlicht: (2021)