Buchumschlag

A KL-based Analysis Framework with Applications to Non-Descent Optimization Methods

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Qiu, Junwen, Ma, Bohao, Li, Xiao, Milzarek, Andre
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control Machine Learning 90C06, 90C26, 90C30
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Generalized Version of Chung's Lemma and its Applications
von: Jiang, Li, et al.
Veröffentlicht: (2024)

A New Random Reshuffling Method for Nonsmooth Nonconvex Finite-sum Optimization
von: Qiu, Junwen, et al.
Veröffentlicht: (2023)

Random Reshuffling with Momentum for Nonconvex Problems: Iteration Complexity and Last Iterate Convergence
von: Qiu, Junwen, et al.
Veröffentlicht: (2024)

A Normal Map-Based Proximal Stochastic Gradient Method: Convergence and Identification Properties
von: Qiu, Junwen, et al.
Veröffentlicht: (2023)

Shuffling the Stochastic Mirror Descent via Dual Lipschitz Continuity and Kernel Conditioning
von: Qiu, Junwen, et al.
Veröffentlicht: (2026)

A New Kernel Regularity Condition for Distributed Mirror Descent: Broader Coverage and Simpler Analysis
von: Qiu, Junwen, et al.
Veröffentlicht: (2026)

Stochastic First-Order Methods with Non-smooth and Non-Euclidean Proximal Terms for Nonconvex High-Dimensional Stochastic Optimization
von: Xie, Yue, et al.
Veröffentlicht: (2024)

Global Solutions to Non-Convex Functional Constrained Problems with Hidden Convexity
von: Fatkhullin, Ilyas, et al.
Veröffentlicht: (2025)

High Probability Guarantees for Random Reshuffling
von: Yu, Hengxu, et al.
Veröffentlicht: (2023)

On Tackling High-Dimensional Nonconvex Stochastic Optimization via Stochastic First-Order Methods with Non-smooth Proximal Terms and Variance Reduction
von: Xie, Yue, et al.
Veröffentlicht: (2025)

Variational Properties of Decomposable Functions. Part I: Strict Epi-Calculus and Applications
von: Ouyang, Wenqing, et al.
Veröffentlicht: (2023)

Improving Convergence Guarantees of Random Subspace Second-order Algorithm for Nonconvex Optimization
von: Higuchi, Rei, et al.
Veröffentlicht: (2024)

Alternating minimization for square root principal component pursuit
von: Deng, Shengxiang, et al.
Veröffentlicht: (2024)

A Semismooth Newton Stochastic Proximal Point Algorithm with Variance Reduction
von: Milzarek, Andre, et al.
Veröffentlicht: (2022)

A MINRES-based Linesearch Algorithm for Nonconvex Optimization with Non-positive Curvature Detection
von: Zeng, Hanfeng, et al.
Veröffentlicht: (2026)

On convergence of a $q$-random coordinate constrained algorithm for non-convex problems
von: Ghaffari-Hadigheh, Alireza, et al.
Veröffentlicht: (2022)

Variational Properties of Decomposable Functions. Part II: Strong Second-Order Theory
von: Ouyang, Wenqing, et al.
Veröffentlicht: (2023)

A linesearch-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
von: Zeng, Hanfeng, et al.
Veröffentlicht: (2026)

Stability and convergence analysis of AdaGrad for non-convex optimization via novel stopping time-based techniques
von: Jin, Ruinan, et al.
Veröffentlicht: (2024)

Faster Accelerated First-order Methods for Convex Optimization with Strongly Convex Function Constraints
von: Lin, Zhenwei, et al.
Veröffentlicht: (2022)

Level Constrained First Order Methods for Function Constrained Optimization
von: Boob, Digvijay, et al.
Veröffentlicht: (2022)

Effectively Leveraging Momentum Terms in Stochastic Line Search Frameworks for Fast Optimization of Finite-Sum Problems
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

Effective Front-Descent Algorithms with Convergence Guarantees
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

New vector transport operators extending a Riemannian CG algorithm to generalized Stiefel manifold with low-rank applications
von: Wang, Xuejie, et al.
Veröffentlicht: (2023)

Convergence Conditions for Stochastic Line Search Based Optimization of Over-parametrized Models
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

Asymptotic Convergence and Stability of Adaptive Gradient Methods in Smooth Non-convex Optimization
von: Jin, Ruinan, et al.
Veröffentlicht: (2026)

A Projection-Free Method for Solving Convex Bilevel Optimization Problems
von: Giang-Tran, Khanh-Hung, et al.
Veröffentlicht: (2023)

Two trust region type algorithms for solving nonconvex-strongly concave minimax problems
von: Yao, Tongliang, et al.
Veröffentlicht: (2024)

Gradient Norm Regularization Second-Order Algorithms for Solving Nonconvex-Strongly Concave Minimax Problems
von: Wang, Jun-Lin, et al.
Veröffentlicht: (2024)

A Fully Parameter-Free Second-Order Algorithm for Convex-Concave Minimax Problems
von: Wang, Junlin, et al.
Veröffentlicht: (2024)

Randomized block proximal method with locally Lipschitz continuous gradient
von: Pérez-Aros, Pedro, et al.
Veröffentlicht: (2025)

A Surrogate Value Function Formulation for Bilevel Optimization
von: Xu, Mengwei, et al.
Veröffentlicht: (2025)

MoSSP: A Momentum-Based Single-Loop Stochastic Penalty Method for Nonconvex Constrained DC-Regularized Optimization
von: Li, Luxuan, et al.
Veröffentlicht: (2026)

Fast Frank--Wolfe Algorithms with Adaptive Bregman Step-Size for Weakly Convex Functions
von: Takahashi, Shota, et al.
Veröffentlicht: (2025)

PANOC-lite: A simpler and more efficient algorithm for composite minimization
von: Bodard, Alexander, et al.
Veröffentlicht: (2026)

A Globally Convergent Gradient Method with Momentum
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

Optimization over convex polyhedra via Hadamard parametrizations
von: Tang, Tianyun, et al.
Veröffentlicht: (2024)

Global Optimization of Gaussian processes
von: Schweidtmann, Artur M., et al.
Veröffentlicht: (2020)

Lagrangian Reformulation for Nonconvex Optimization: Tailoring Problems to Specialized Solvers
von: Quintero, Rodolfo A., et al.
Veröffentlicht: (2024)

Derivative-Free Bilevel Optimization with Inexact Lower-Level Solutions
von: Cesaroni, Edoardo, et al.
Veröffentlicht: (2026)