Buchumschlag

Stochastic Variance-Reduced Newton: Accelerating Finite-Sum Minimization with Large Batches

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Dereziński, Michał
Format:	Preprint
Veröffentlicht:	2022
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Stochastic Newton Proximal Extragradient Method
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Second-order Information Promotes Mini-Batch Robustness in Variance-Reduced Gradients
von: Garg, Sachin, et al.
Veröffentlicht: (2024)

Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2023)

Efficient Continual Finite-Sum Minimization
von: Mavrothalassitis, Ioannis, et al.
Veröffentlicht: (2024)

Last-Iterate Convergence of Randomized Kaczmarz and SGD with Greedy Step Size
von: Dereziński, Michał, et al.
Veröffentlicht: (2026)

Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities
von: Jeong, Yungi, et al.
Veröffentlicht: (2026)

Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
von: Gao, Hongchang
Veröffentlicht: (2022)

On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization
von: Liang, Ling, et al.
Veröffentlicht: (2024)

Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
von: Umeda, Hikaru, et al.
Veröffentlicht: (2024)

Convergence Analysis of the PAGE Stochastic Algorithm for Weakly Convex Finite-Sum Optimization
von: Condat, Laurent, et al.
Veröffentlicht: (2025)

A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints
von: Wang, Lei, et al.
Veröffentlicht: (2022)

An Accelerated Variance Reduced Extra-Point Approach to Finite-Sum VI and Optimization
von: Huang, Kevin, et al.
Veröffentlicht: (2022)

Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
von: Umeda, Hikaru, et al.
Veröffentlicht: (2025)

SGD for Variational Inference: Tackling Unbounded Variance via Preconditioning and Dynamic Batching
von: Labarrière, Hippolyte, et al.
Veröffentlicht: (2026)

A Near-Optimal Single-Loop Stochastic Algorithm for Convex Finite-Sum Coupled Compositional Optimization
von: Wang, Bokun, et al.
Veröffentlicht: (2023)

Approaching Optimality for Solving Dense Linear Systems with Low-Rank Structure
von: Dereziński, Michał, et al.
Veröffentlicht: (2025)

Solving Dense Linear Systems Faster Than via Preconditioning
von: Dereziński, Michał, et al.
Veröffentlicht: (2023)

Improving Stochastic Cubic Newton with Momentum
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2024)

Fast Stochastic Composite Minimization and an Accelerated Frank-Wolfe Algorithm under Parallelization
von: Dubois-Taine, Benjamin, et al.
Veröffentlicht: (2022)

Stochastic Gradient Langevin Dynamics with Variance Reduction
von: Huang, Zhishen, et al.
Veröffentlicht: (2021)

Towards Weaker Variance Assumptions for Stochastic Optimization
von: Alacaoglu, Ahmet, et al.
Veröffentlicht: (2025)

On the Role of Batch Size in Stochastic Conditional Gradient Methods
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Turbocharging Gaussian Process Inference with Approximate Sketch-and-Project
von: Rathore, Pratik, et al.
Veröffentlicht: (2025)

Accelerating Sinkhorn Algorithm with Sparse Newton Iterations
von: Tang, Xun, et al.
Veröffentlicht: (2024)

Optimistic Online-to-Batch Conversions for Accelerated Convergence and Universality
von: Yan, Yu-Hu, et al.
Veröffentlicht: (2025)

Beyond Bounded Variance: Variance-Reduced Normalized Methods for Nonconvex Optimization under Blum-Gladyshev Noise
von: Upadhyay, Antesh, et al.
Veröffentlicht: (2026)

Decentralized Non-convex Stochastic Optimization with Heterogeneous Variance
von: Chen, Hongxu, et al.
Veröffentlicht: (2026)

Probabilistic Guarantees of Stochastic Recursive Gradient in Non-Convex Finite Sum Problems
von: Zhong, Yanjie, et al.
Veröffentlicht: (2024)

Improved Stochastic Optimization of LogSumExp
von: Gladin, Egor, et al.
Veröffentlicht: (2025)

On the Complexity of Decentralized Smooth Nonconvex Finite-Sum Optimization
von: Luo, Luo, et al.
Veröffentlicht: (2022)

Variance-Reduced Fast Krasnoselkii-Mann Methods for Finite-Sum Root-Finding Problems
von: Tran-Dinh, Quoc
Veröffentlicht: (2024)

Gradient Estimation and Variance Reduction in Stochastic and Deterministic Models
von: Keane, Ronan
Veröffentlicht: (2024)

Divergence Results and Convergence of a Variance Reduced Version of ADAM
von: Wang, Ruiqi, et al.
Veröffentlicht: (2022)

Variance-Reduced Cascade Q-learning: Algorithms and Sample Complexity
von: Boveiri, Mohammad, et al.
Veröffentlicht: (2024)

Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits
von: Di, Qiwei, et al.
Veröffentlicht: (2023)

TRSVR: An Adaptive Stochastic Trust-Region Method with Variance Reduction
von: Fang, Yuchen, et al.
Veröffentlicht: (2026)

Solving Stochastic Variational Inequalities without the Bounded Variance Assumption
von: Alacaoglu, Ahmet, et al.
Veröffentlicht: (2026)

Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions
von: Jiang, Wei, et al.
Veröffentlicht: (2024)

Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
von: Oowada, Kanata, et al.
Veröffentlicht: (2025)

Faster Stochastic Optimization with Arbitrary Delays via Asynchronous Mini-Batching
von: Attia, Amit, et al.
Veröffentlicht: (2024)