Buchumschlag

Last-Iterate Convergence of Randomized Kaczmarz and SGD with Greedy Step Size

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Dereziński, Michał, Dong, Xiaoyu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Numerical Analysis Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Randomized Kaczmarz Methods with Beyond-Krylov Convergence
von: Dereziński, Michał, et al.
Veröffentlicht: (2025)

Towards Universal Convergence of Backward Error in Linear System Solvers
von: Dereziński, Michał, et al.
Veröffentlicht: (2026)

Worth Their Weight: Randomized and Regularized Block Kaczmarz Algorithms without Preprocessing
von: Goldshlager, Gil, et al.
Veröffentlicht: (2025)

Fine-grained Analysis and Faster Algorithms for Iteratively Solving Linear Systems
von: Dereziński, Michał, et al.
Veröffentlicht: (2024)

Approaching Optimality for Solving Dense Linear Systems with Low-Rank Structure
von: Dereziński, Michał, et al.
Veröffentlicht: (2025)

Solving Dense Linear Systems Faster Than via Preconditioning
von: Dereziński, Michał, et al.
Veröffentlicht: (2023)

Faster Linear Systems and Matrix Norm Approximation via Multi-level Sketched Preconditioning
von: Dereziński, Michał, et al.
Veröffentlicht: (2024)

Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise
von: Fang, Yuchen, et al.
Veröffentlicht: (2026)

Block Matrix and Tensor Randomized Kaczmarz Methods for Linear Feasibility Problems
von: Zhang, Minxin, et al.
Veröffentlicht: (2024)

Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime
von: Attia, Amit, et al.
Veröffentlicht: (2025)

Quantitative Convergences of Lie Group Momentum Optimizers
von: Kong, Lingkai, et al.
Veröffentlicht: (2024)

Provably Faster Gradient Descent via Long Steps
von: Grimmer, Benjamin
Veröffentlicht: (2023)

Anderson Acceleration in Nonsmooth Problems: Local Convergence via Active Manifold Identification
von: Li, Kexin, et al.
Veröffentlicht: (2024)

Convergence of Adam for Non-convex Objectives: Relaxed Hyperparameters and Non-ergodic Case
von: He, Meixuan, et al.
Veröffentlicht: (2023)

Convergence of two-timescale gradient descent ascent dynamics: finite-dimensional and mean-field perspectives
von: An, Jing, et al.
Veröffentlicht: (2025)

Faster Randomized Methods for Orthogonality Constrained Problems
von: Shustin, Boris, et al.
Veröffentlicht: (2021)

On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality
von: Xia, Lu, et al.
Veröffentlicht: (2023)

Minimisation of Submodular Functions Using Gaussian Zeroth-Order Random Oracles
von: Farzin, Amir Ali, et al.
Veröffentlicht: (2025)

Random Subspace Cubic-Regularization Methods, with Applications to Low-Rank Functions
von: Cartis, Coralia, et al.
Veröffentlicht: (2025)

Fundamental Bias in Inverting Random Sampling Matrices with Application to Sub-sampled Newton
von: Niu, Chengmei, et al.
Veröffentlicht: (2025)

Dynamic image reconstruction in MPI with RESESOP-Kaczmarz
von: Nitzsche, Marius, et al.
Veröffentlicht: (2024)

Robust Kaczmarz methods for nearly singular linear systems
von: Ke, Yunying, et al.
Veröffentlicht: (2026)

Generalization Bounds for Sparse Random Feature Expansions
von: Hashemi, Abolfazl, et al.
Veröffentlicht: (2021)

ZORMS-LfD: Learning from Demonstrations with Zeroth-Order Random Matrix Search
von: Dry, Olivia, et al.
Veröffentlicht: (2025)

Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models
von: Fang, Yuchen, et al.
Veröffentlicht: (2024)

Randomized Kaczmarz in Adversarial Distributed Setting
von: Huang, Longxiu, et al.
Veröffentlicht: (2023)

Transformers Can Implement Preconditioned Richardson Iteration for In-Context Gaussian Kernel Regression
von: Yan, Mingsong, et al.
Veröffentlicht: (2026)

Dual Cone Gradient Descent for Training Physics-Informed Neural Networks
von: Hwang, Youngsik, et al.
Veröffentlicht: (2024)

The matrix-vector complexity of $Ax=b$
von: Dereziński, Michał, et al.
Veröffentlicht: (2026)

Stochastic Variance-Reduced Newton: Accelerating Finite-Sum Minimization with Large Batches
von: Dereziński, Michał
Veröffentlicht: (2022)

Iterative Refinement for $\ell_p$-norm Regression
von: Adil, Deeksha, et al.
Veröffentlicht: (2019)

Recent and Upcoming Developments in Randomized Numerical Linear Algebra for Machine Learning
von: Dereziński, Michał, et al.
Veröffentlicht: (2024)

Convergence Analysis of Fractional Gradient Descent
von: Aggarwal, Ashwani
Veröffentlicht: (2023)

Perturbed Iterate SGD for Lipschitz Continuous Loss Functions with Numerical Error and Adaptive Step Sizes
von: Metel, Michael R.
Veröffentlicht: (2022)

Langevin dynamics based algorithm e-TH$\varepsilon$O POULA for stochastic optimization problems with discontinuous stochastic gradient
von: Lim, Dong-Young, et al.
Veröffentlicht: (2022)

Muon is Not That Special: Random or Inverted Spectra Work Just as Well
von: Shumaylov, Zakhar, et al.
Veröffentlicht: (2026)

Minimisation of Quasar-Convex Functions Using Random Zeroth-Order Oracles
von: Farzin, Amir Ali, et al.
Veröffentlicht: (2025)

Dynamic Proximal Gradient Algorithms for Schatten-$p$ Quasi-Norm Regularized Problems
von: Shen, Weiping, et al.
Veröffentlicht: (2026)

Natural Riemannian gradient for learning functional tensor networks
von: Klug, Nikolas, et al.
Veröffentlicht: (2026)

State-Dependent Lyapunov Method for Rank-1 Matrix Factorization
von: Moon, Jaehong
Veröffentlicht: (2026)