Buchumschlag

Stochastic versus Deterministic in Stochastic Gradient Descent

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Runze, Xu, Jintao, Xing, Wenxun
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Optimization and Control 90C06, 90C30, 68W20
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Stable gradient-adjusted root mean square propagation on least squares problem
von: Li, Runze, et al.
Veröffentlicht: (2024)

Distributed Computing for Huge-Scale Aggregative Convex Programming
von: Tao, Luoyi
Veröffentlicht: (2026)

The Güler-type acceleration for proximal gradient, linearized augmented Lagrangian and linearized alternating direction method of multipliers
von: Zhou, Bin, et al.
Veröffentlicht: (2025)

Riemannian Federated Learning via Averaging Gradient Streams
von: Huang, Zhenwei, et al.
Veröffentlicht: (2024)

A Heuristic Alternating Direction Method of Multipliers Framework for Distributed and Centralized Tree-Constrained Optimization: Applications to Hop-Constrained Spanning Tree Multicommodity Flow Design
von: Mokhtari, Yacine
Veröffentlicht: (2025)

Distributed Gradient-Regularized Newton Method: Scheduled Consensus and O(epsilon^{-1}) Global Iteration Complexity
von: Hu, Wei, et al.
Veröffentlicht: (2026)

Distributed Computing for Huge-Scale Linear Programming
von: Tao, Luoyi
Veröffentlicht: (2024)

On Tackling High-Dimensional Nonconvex Stochastic Optimization via Stochastic First-Order Methods with Non-smooth Proximal Terms and Variance Reduction
von: Xie, Yue, et al.
Veröffentlicht: (2025)

Convergence Conditions for Stochastic Line Search Based Optimization of Over-parametrized Models
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

Effectively Leveraging Momentum Terms in Stochastic Line Search Frameworks for Fast Optimization of Finite-Sum Problems
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

Stochastic First-Order Methods with Non-smooth and Non-Euclidean Proximal Terms for Nonconvex High-Dimensional Stochastic Optimization
von: Xie, Yue, et al.
Veröffentlicht: (2024)

CompressedScaffnew: The First Theoretical Double Acceleration of Communication from Local Training and Compression in Distributed Optimization
von: Condat, Laurent, et al.
Veröffentlicht: (2022)

Accelerating preconditioned ADMM via degenerate proximal point mappings
von: Sun, Defeng, et al.
Veröffentlicht: (2024)

Delayed Feedback in Online Non-Convex Optimization: A Non-Stationary Approach with Applications
von: Lara, Felipe, et al.
Veröffentlicht: (2024)

Have ASkotch: A Neat Solution for Large-scale Kernel Ridge Regression
von: Rathore, Pratik, et al.
Veröffentlicht: (2024)

A KL-based Analysis Framework with Applications to Non-Descent Optimization Methods
von: Qiu, Junwen, et al.
Veröffentlicht: (2024)

On Covering Euclidean Space with Q-arrangements of Cones
von: Ghorbal, Khalil, et al.
Veröffentlicht: (2022)

Similarity-based fuzzy clustering scientific articles: potentials and challenges from mathematical and computational perspectives
von: Huong, Vu Thi, et al.
Veröffentlicht: (2025)

Faster Adaptive Optimization via Expected Gradient Outer Product Reparameterization
von: DePavia, Adela, et al.
Veröffentlicht: (2025)

A Projection-Free Method for Solving Convex Bilevel Optimization Problems
von: Giang-Tran, Khanh-Hung, et al.
Veröffentlicht: (2023)

A preconditioned augmented Lagrangian method for solving semidefinite programming problems
von: Tang, Tianyun, et al.
Veröffentlicht: (2026)

Improving Convergence Guarantees of Random Subspace Second-order Algorithm for Nonconvex Optimization
von: Higuchi, Rei, et al.
Veröffentlicht: (2024)

Nonsmooth exact penalty methods for equality-constrained optimization: complexity and implementation
von: Diouane, Youssef, et al.
Veröffentlicht: (2024)

On convergence of a $q$-random coordinate constrained algorithm for non-convex problems
von: Ghaffari-Hadigheh, Alireza, et al.
Veröffentlicht: (2022)

On the fast convergence of minibatch heavy ball momentum
von: Bollapragada, Raghu, et al.
Veröffentlicht: (2022)

Randomized Subspace Nesterov Accelerated Gradient
von: Omiya, Gaku, et al.
Veröffentlicht: (2026)

SUDA-Muon: Structural Design Principles and Boundaries for Fully Decentralized Muon
von: Zhang, Hengrui, et al.
Veröffentlicht: (2026)

Shuffling the Stochastic Mirror Descent via Dual Lipschitz Continuity and Kernel Conditioning
von: Qiu, Junwen, et al.
Veröffentlicht: (2026)

Optimal Asymptotic Rates for (Stochastic) Gradient Descent under the Local PL-Condition: A Geometric Approach
von: Kassing, Sebastian, et al.
Veröffentlicht: (2026)

Federated Learning on Riemannian Manifolds with Differential Privacy
von: Huang, Zhenwei, et al.
Veröffentlicht: (2024)

Dimension-free estimators of gradients of functions with(out) non-independent variables
von: Lamboni, Matieyendou
Veröffentlicht: (2025)

Retrospective Approximation Sequential Quadratic Programming for Stochastic Optimization with General Deterministic Nonlinear Constraints
von: Berahas, Albert S., et al.
Veröffentlicht: (2025)

Bundle EXTRA for Decentralized Optimization
von: Liu, Haijuan, et al.
Veröffentlicht: (2026)

On Convergence of Regularized Barzilai-Borwein Method
von: Xu, Xin
Veröffentlicht: (2025)

A Parameterized Barzilai-Borwein Method via Interpolated Least Squares
von: Xu, Xin
Veröffentlicht: (2024)

Bilevel Learning via Inexact Stochastic Gradient Descent
von: Salehi, Mohammad Sadegh, et al.
Veröffentlicht: (2025)

RA-DCA: A Randomized Active-Set DCA for Directional Stationarity in Max-Structured DC Programs
von: Niu, Yi-Shuai
Veröffentlicht: (2026)

Communication Compression for Distributed Learning with Aggregate and Server-Guided Feedback
von: Ortega, Tomas, et al.
Veröffentlicht: (2025)

Nature-Inspired Algorithms in Optimization: Introduction, Hybridization and Insights
von: Yang, Xin-She
Veröffentlicht: (2023)

Communication Compression for Distributed Learning without Control Variates
von: Ortega, Tomas, et al.
Veröffentlicht: (2024)