Buchumschlag

Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Zhuanghua, Luo, Luo, Low, Bryan Kian Hsiang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Incremental Gauss--Newton Methods with Superlinear Convergence Rates
von: Zhou, Zhiling, et al.
Veröffentlicht: (2024)

Decentralized Sum-of-Nonconvex Optimization
von: Liu, Zhuanghua, et al.
Veröffentlicht: (2024)

Near-Optimal Decentralized Stochastic Nonconvex Optimization with Heavy-Tailed Noise
von: Wang, Menglian, et al.
Veröffentlicht: (2026)

Sharpened Lazy Incremental Quasi-Newton Method
von: Lahoti, Aakash, et al.
Veröffentlicht: (2023)

Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
von: Agafonov, Artem, et al.
Veröffentlicht: (2025)

Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Revisiting Superlinear Convergence of Proximal Newton-Like Methods to Degenerate Solutions
von: Lee, Ching-pei, et al.
Veröffentlicht: (2026)

A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
von: Diouane, Youssef, et al.
Veröffentlicht: (2024)

Last Iterate Convergence of Incremental Methods and Applications in Continual Learning
von: Cai, Xufeng, et al.
Veröffentlicht: (2024)

Incremental Gauss-Newton Descent for Machine Learning
von: Korbit, Mikalai, et al.
Veröffentlicht: (2024)

Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2023)

Faster Gradient-Free Algorithms for Nonsmooth Nonconvex Stochastic Optimization
von: Chen, Lesi, et al.
Veröffentlicht: (2023)

Convergence of Muon with Newton-Schulz
von: Kim, Gyu Yeol, et al.
Veröffentlicht: (2026)

Faster Stochastic Algorithms for Minimax Optimization under Polyak--Łojasiewicz Conditions
von: Chen, Lesi, et al.
Veröffentlicht: (2023)

Faster Newton Methods for Convex and Nonconvex Optimization in Gradient Complexity
von: Chen, Lesi, et al.
Veröffentlicht: (2025)

A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
von: Sun, Zhenyu, et al.
Veröffentlicht: (2024)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

Drop-Muon: Update Less, Converge Faster
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2025)

Faster Convergence of Local SGD for Over-Parameterized Models
von: Qin, Tiancheng, et al.
Veröffentlicht: (2022)

Quasi-Newton Compatible Actor-Critic for Deterministic Policies
von: Kordabad, Arash Bahari, et al.
Veröffentlicht: (2025)

Distributed Optimization Algorithm with Superlinear Convergence Rate
von: Xu, Yeming, et al.
Veröffentlicht: (2024)

Gradient Regularized Newton Boosting Trees with Global Convergence
von: Zozoulenko, Nikita, et al.
Veröffentlicht: (2026)

Improved Complexity for Smooth Nonconvex Optimization: A Two-Level Online Learning Approach with Quasi-Newton Methods
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

On Convergence of Incremental Gradient for Non-Convex Smooth Functions
von: Koloskova, Anastasia, et al.
Veröffentlicht: (2023)

Sketch-and-Project Meets Newton Method: Global $\mathcal O(k^{-2})$ Convergence with Low-Rank Updates
von: Hanzely, Slavomír
Veröffentlicht: (2023)

Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
von: Oowada, Kanata, et al.
Veröffentlicht: (2025)

VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence
von: Chen, Jiahe, et al.
Veröffentlicht: (2025)

Stochastic Newton Proximal Extragradient Method
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Convergence Rate Analysis of LION
von: Dong, Yiming, et al.
Veröffentlicht: (2024)

Faster Fixed-Point Methods for Multichain MDPs
von: Zurek, Matthew, et al.
Veröffentlicht: (2025)

Online Newton Method for Bandit Convex Optimisation
von: Fokkema, Hidde, et al.
Veröffentlicht: (2024)

Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization
von: Gong, Xiaochuan, et al.
Veröffentlicht: (2025)

Optimal Local Convergence Rates of Stochastic First-Order Methods under Local $α$-PL
von: Masiha, Saeed, et al.
Veröffentlicht: (2024)

Theoretical Analysis on how Learning Rate Warmup Accelerates Convergence
von: Liu, Yuxing, et al.
Veröffentlicht: (2025)

Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
von: Deng, Yichuan, et al.
Veröffentlicht: (2024)

On the Last-Iterate Convergence of Shuffling Gradient Methods
von: Liu, Zijian, et al.
Veröffentlicht: (2024)

MAP Estimation with Denoisers: Convergence Rates and Guarantees
von: Pesme, Scott, et al.
Veröffentlicht: (2025)

OPTAMI: Global Superlinear Convergence of High-order Methods
von: Kamzolov, Dmitry, et al.
Veröffentlicht: (2024)