Buchumschlag

Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Agafonov, Artem, Ryspayev, Vladislav, Horváth, Samuel, Gasnikov, Alexander, Takáč, Martin, Hanzely, Slavomir
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Sketch-and-Project Meets Newton Method: Global $\mathcal O(k^{-2})$ Convergence with Low-Rank Updates
von: Hanzely, Slavomír
Veröffentlicht: (2023)

Newton Method Revisited: Global Convergence Rates up to $\mathcal {O}\left(k^{-3} \right)$ for Stepsize Schedules and Linesearch Procedures
von: Hanzely, Slavomír, et al.
Veröffentlicht: (2024)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

Loss-Transformation Invariance in the Damped Newton Method
von: Shestakov, Alexander, et al.
Veröffentlicht: (2025)

Polyak Stepsize: Estimating Optimal Functional Values Without Parameters or Prior Knowledge
von: Abdukhakimov, Farshed, et al.
Veröffentlicht: (2025)

OPTAMI: Global Superlinear Convergence of High-order Methods
von: Kamzolov, Dmitry, et al.
Veröffentlicht: (2024)

$ψ$DAG: Projected Stochastic Approximation Iteration for DAG Structure Learning
von: Ziu, Klea, et al.
Veröffentlicht: (2024)

Exploring Jacobian Inexactness in Second-Order Methods for Variational Inequalities: Lower Bounds, Optimal Algorithms and Quasi-Newton Approximations
von: Agafonov, Artem, et al.
Veröffentlicht: (2024)

Decentralized Inexact Cubic Newton Method with Consensus Procedure
von: Agafonov, Artem, et al.
Veröffentlicht: (2026)

Exploiting higher-order derivatives in convex optimization methods
von: Kamzolov, Dmitry, et al.
Veröffentlicht: (2022)

Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Federated Learning Can Find Friends That Are Advantageous
von: Tupitsa, Nazarii, et al.
Veröffentlicht: (2024)

An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
von: Orvieto, Antonio, et al.
Veröffentlicht: (2024)

Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
von: Liu, Zhuanghua, et al.
Veröffentlicht: (2024)

High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2023)

Advancing the lower bounds: An accelerated, stochastic, second-order method with optimal adaptation to inexactness
von: Agafonov, Artem, et al.
Veröffentlicht: (2023)

LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning
von: Tastan, Nurbek, et al.
Veröffentlicht: (2025)

AdaBatchGrad: Combining Adaptive Batch Size and Adaptive Step Size
von: Ostroukhov, Petr, et al.
Veröffentlicht: (2024)

Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2024)

Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization
von: Demidovich, Yury, et al.
Veröffentlicht: (2024)

A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees
von: Zhou, Yuhao, et al.
Veröffentlicht: (2025)

Linear Convergence Rate in Convex Setup is Possible! Gradient Descent Method Variants under $(L_0,L_1)$-Smoothness
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2024)

Adaptive Regularized Newton Method with Inexact Hessian
von: Shestakov, Aleksandr, et al.
Veröffentlicht: (2025)

Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Sharpened Lazy Incremental Quasi-Newton Method
von: Lahoti, Aakash, et al.
Veröffentlicht: (2023)

Constant Stepsize Q-learning: Distributional Convergence, Bias and Extrapolation
von: Zhang, Yixuan, et al.
Veröffentlicht: (2024)

Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2023)

Gradient Regularized Newton Boosting Trees with Global Convergence
von: Zozoulenko, Nikita, et al.
Veröffentlicht: (2026)

Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
von: Li, Xiang, et al.
Veröffentlicht: (2024)

Incremental Gauss--Newton Methods with Superlinear Convergence Rates
von: Zhou, Zhiling, et al.
Veröffentlicht: (2024)

Global Convergence Guarantees for Federated Policy Gradient Methods with Adversaries
von: Ganesh, Swetha, et al.
Veröffentlicht: (2024)

Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
von: Wu, Haotian
Veröffentlicht: (2025)

Exploring New Frontiers in Vertical Federated Learning: the Role of Saddle Point Reformulation
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2026)

Revisiting LocalSGD and SCAFFOLD: Improved Rates and Missing Analysis
von: Luo, Ruichen, et al.
Veröffentlicht: (2025)

Where Does Warm-Up Come From? Adaptive Scheduling for Norm-Constrained Optimizers
von: Riabinin, Artem, et al.
Veröffentlicht: (2026)

Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees
von: Xiao, Nachuan, et al.
Veröffentlicht: (2023)

Remove that Square Root: A New Efficient Scale-Invariant Version of AdaGrad
von: Choudhury, Sayantan, et al.
Veröffentlicht: (2024)

A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
von: Diouane, Youssef, et al.
Veröffentlicht: (2024)

Random-reshuffled SARAH does not need a full gradient computations
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)