Buchumschlag

On the stability of gradient descent with second order dynamics for time-varying cost functions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gibson, Travis E., Acharya, Sawal, Parashar, Anjali, Gaudio, Joseph E., Annaswamy, Anurdha M.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Regret Analysis: a control perspective
von: Gibson, Travis E., et al.
Veröffentlicht: (2025)

Long-time dynamics and universality of nonconvex gradient descent
von: Han, Qiyang
Veröffentlicht: (2025)

Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
von: Lok, Jackie, et al.
Veröffentlicht: (2024)

Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
von: Lugosi, Gabor, et al.
Veröffentlicht: (2024)

New logarithmic step size for stochastic gradient descent
von: Shamaee, M. Soheil, et al.
Veröffentlicht: (2024)

A short proof of near-linear convergence of adaptive gradient descent under fourth-order growth and convexity
von: Davis, Damek, et al.
Veröffentlicht: (2026)

On the global convergence of gradient descent for wide shallow models with bounded nonlinearities
von: Petit, Romain, et al.
Veröffentlicht: (2026)

The duality structure gradient descent algorithm: analysis and applications to neural networks
von: Flynn, Thomas
Veröffentlicht: (2017)

A stochastic gradient descent algorithm with random search directions
von: Gbaguidi, Eméric
Veröffentlicht: (2025)

Convergence of two-timescale gradient descent ascent dynamics: finite-dimensional and mean-field perspectives
von: An, Jing, et al.
Veröffentlicht: (2025)

Convergence of stochastic gradient descent under a local Lojasiewicz condition for deep neural networks
von: An, Jing, et al.
Veröffentlicht: (2023)

Physics-Informed Graph Neural Network for Dynamic Reconfiguration of Power Systems
von: Authier, Jules, et al.
Veröffentlicht: (2023)

A second-order-like optimizer with adaptive gradient scaling for deep learning
von: Bolte, Jérôme, et al.
Veröffentlicht: (2024)

Global convergence of gradient descent for phase retrieval
von: Fougereux, Théodore, et al.
Veröffentlicht: (2024)

When majority rules, minority loses: bias amplification of gradient descent
von: Bachoc, François, et al.
Veröffentlicht: (2025)

Precise gradient descent training dynamics for finite-width multi-layer neural networks
von: Han, Qiyang, et al.
Veröffentlicht: (2025)

Non-convergence to global minimizers for Adam and stochastic gradient descent optimization and constructions of local minimizers in the training of artificial neural networks
von: Jentzen, Arnulf, et al.
Veröffentlicht: (2024)

An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
von: Zhang, Huiling, et al.
Veröffentlicht: (2023)

Manifold constrained steepest descent
von: Yang, Kaiwei, et al.
Veröffentlicht: (2026)

Federated Learning Forecasting for Strengthening Grid Reliability and Enabling Markets for Resilience
von: Pereira, Lucas, et al.
Veröffentlicht: (2024)

Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance
von: Stollenwerk, Alexander, et al.
Veröffentlicht: (2024)

Convergence of flow-based generative models via proximal gradient descent in Wasserstein space
von: Cheng, Xiuyuan, et al.
Veröffentlicht: (2023)

Generalized EXTRA stochastic gradient Langevin dynamics
von: Gurbuzbalaban, Mert, et al.
Veröffentlicht: (2024)

Learning mirror maps in policy mirror descent
von: Alfano, Carlo, et al.
Veröffentlicht: (2024)

Riemannian coordinate descent algorithms on matrix manifolds
von: Han, Andi, et al.
Veröffentlicht: (2024)

Error bounds for particle gradient descent, and extensions of the log-Sobolev and Talagrand inequalities
von: Caprio, Rocco, et al.
Veröffentlicht: (2024)

Gradient descent in matrix factorization: Understanding large initialization
von: Chen, Hengchao, et al.
Veröffentlicht: (2023)

Stochastic Inverse Problem: stability, regularization and Wasserstein gradient flow
von: Li, Qin, et al.
Veröffentlicht: (2024)

Iterative regularization in classification via hinge loss diagonal descent
von: Apidopoulos, Vassilis, et al.
Veröffentlicht: (2022)

On exploration of an interior mirror descent flow for stochastic nonconvex constrained problem
von: Ding, Kuangyu, et al.
Veröffentlicht: (2025)

$\ell_1$-norm rank-one symmetric matrix factorization has no spurious second-order stationary points
von: Guan, Jiewen, et al.
Veröffentlicht: (2024)

The Mixing method: low-rank coordinate descent for semidefinite programming with diagonal constraints
von: Wang, Po-Wei, et al.
Veröffentlicht: (2017)

Fuzzy hyperparameters update in a second order optimization
von: Bensadok, Abdelaziz, et al.
Veröffentlicht: (2024)

Linear convergence of proximal descent schemes on the Wasserstein space
von: Lascu, Razvan-Andrei, et al.
Veröffentlicht: (2024)

Learning rate adaptive stochastic gradient descent optimization methods: numerical simulations for deep learning methods for partial differential equations and convergence analyses
von: Dereich, Steffen, et al.
Veröffentlicht: (2024)

The late-stage training dynamics of (stochastic) subgradient descent on homogeneous neural networks
von: Schechtman, Sholom, et al.
Veröffentlicht: (2025)

Almost sure convergence rates of stochastic gradient methods under gradient domination
von: Weissmann, Simon, et al.
Veröffentlicht: (2024)

Frugality in second-order optimization: floating-point approximations for Newton's method
von: Carrino, Giuseppe, et al.
Veröffentlicht: (2025)

A block-coordinate descent framework for non-convex composite optimization. Application to sparse precision matrix estimation
von: Lauga, Guillaume
Veröffentlicht: (2026)

Fast Spawn\&Prune (FS\&P): Global convergence of stochastic conic particle gradient descent via birth/death process
von: De Castro, Yohann, et al.
Veröffentlicht: (2026)