Buchumschlag

OPTAMI: Global Superlinear Convergence of High-order Methods

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kamzolov, Dmitry, Pasechnyuk, Dmitry, Agafonov, Artem, Gasnikov, Alexander, Takáč, Martin
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Exploiting higher-order derivatives in convex optimization methods
von: Kamzolov, Dmitry, et al.
Veröffentlicht: (2022)

Cubic Regularized Newton Method with Variance Reduction for Finite-sum Non-convex Problems
von: Pasechnyuk-Vilensky, Dmitry, et al.
Veröffentlicht: (2025)

Advancing the lower bounds: An accelerated, stochastic, second-order method with optimal adaptation to inexactness
von: Agafonov, Artem, et al.
Veröffentlicht: (2023)

Decentralized Inexact Cubic Newton Method with Consensus Procedure
von: Agafonov, Artem, et al.
Veröffentlicht: (2026)

Exploring Jacobian Inexactness in Second-Order Methods for Variational Inequalities: Lower Bounds, Optimal Algorithms and Quasi-Newton Approximations
von: Agafonov, Artem, et al.
Veröffentlicht: (2024)

Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
von: Agafonov, Artem, et al.
Veröffentlicht: (2025)

Adaptive Regularized Newton Method with Inexact Hessian
von: Shestakov, Aleksandr, et al.
Veröffentlicht: (2025)

Heterogeneous-Horizon Exact-Weight Local SGD
von: Pasechnyuk-Vilensky, Dmitry, et al.
Veröffentlicht: (2026)

AdaBatchGrad: Combining Adaptive Batch Size and Adaptive Step Size
von: Ostroukhov, Petr, et al.
Veröffentlicht: (2024)

Learning Latent Graph Geometry via Fixed-Point Schrödinger-Type Activation: A Theoretical Study
von: Pasechnyuk-Vilensky, Dmitry, et al.
Veröffentlicht: (2025)

Linear Convergence Rate in Convex Setup is Possible! Gradient Descent Method Variants under $(L_0,L_1)$-Smoothness
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2024)

Ethic Duality: A Homological Framework for Primal-Dual Problems
von: Pasechnyuk-Vilensky, Dmitry, et al.
Veröffentlicht: (2025)

SANIA: Polyak-type Optimization Framework Leads to Scale Invariant Stochastic Algorithms
von: Abdukhakimov, Farshed, et al.
Veröffentlicht: (2023)

Stochastic Gradient Methods with Preconditioned Updates
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2022)

Moduli space of optimization algorithms
von: Pasechnyuk-Vilensky, Dmitry, et al.
Veröffentlicht: (2025)

$ψ$DAG: Projected Stochastic Approximation Iteration for DAG Structure Learning
von: Ziu, Klea, et al.
Veröffentlicht: (2024)

Strengthening the finite characterizations of smooth min-max games
von: Krivchenko, Valery, et al.
Veröffentlicht: (2026)

Lower and upper bounds of the convergence rate of gradient methods with composite noise in gradient
von: Vasin, Artem, et al.
Veröffentlicht: (2026)

Bregman Proximal Method for Efficient Communications under Similarity
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Newton Method Revisited: Global Convergence Rates up to $\mathcal {O}\left(k^{-3} \right)$ for Stepsize Schedules and Linesearch Procedures
von: Hanzely, Slavomír, et al.
Veröffentlicht: (2024)

Decentralized Finite-Sum Optimization over Time-Varying Networks
von: Metelev, Dmitry, et al.
Veröffentlicht: (2024)

On Solving Minimization and Min-Max Problems by First-Order Methods with Relative Error in Gradients
von: Vasin, Artem, et al.
Veröffentlicht: (2025)

Revisiting Superlinear Convergence of Proximal Newton-Like Methods to Degenerate Solutions
von: Lee, Ching-pei, et al.
Veröffentlicht: (2026)

Incremental Gauss--Newton Methods with Superlinear Convergence Rates
von: Zhou, Zhiling, et al.
Veröffentlicht: (2024)

Distributed Optimization Algorithm with Superlinear Convergence Rate
von: Xu, Yeming, et al.
Veröffentlicht: (2024)

Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks
von: Kovalev, Dmitry, et al.
Veröffentlicht: (2024)

Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
von: Liu, Zhuanghua, et al.
Veröffentlicht: (2024)

Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Decentralized Optimization with Coupled Constraints
von: Yarmoshik, Demyan, et al.
Veröffentlicht: (2024)

Accelerated Zero-Order SGD Method for Solving the Black Box Optimization Problem under "Overparametrization" Condition
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2023)

A Superlinearly Convergent Evolution Strategy
von: Glasmachers, Tobias
Veröffentlicht: (2025)

Local SGD for Near-Quadratic Problems: Improving Convergence under Unconstrained Noise Conditions
von: Sadchikov, Andrey, et al.
Veröffentlicht: (2024)

The Black-Box Optimization Problem: Zero-Order Accelerated Stochastic Method via Kernel Approximation
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2023)

Accelerated Bregman gradient methods for relatively smooth and relatively Lipschitz continuous minimization problems
von: Savchuk, O. S., et al.
Veröffentlicht: (2024)

Loss-Transformation Invariance in the Damped Newton Method
von: Shestakov, Alexander, et al.
Veröffentlicht: (2025)

Optimal Analysis of Method with Batching for Monotone Stochastic Finite-Sum Variational Inequalities
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)

The Mirror-Prox Sliding Method for Non-smooth decentralized saddle-point problems
von: Kuruzov, Ilya, et al.
Veröffentlicht: (2022)

Superlinear Optimization Algorithms
von: Wang, Hongxia, et al.
Veröffentlicht: (2024)

Accelerated Methods with Compression for Horizontal and Vertical Federated Learning
von: Stanko, Sergey, et al.
Veröffentlicht: (2024)

Power of Generalized Smoothness in Stochastic Convex Optimization: First- and Zero-Order Algorithms
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2025)