Buchumschlag

Non-convergence to the optimal risk for Adam and stochastic gradient descent optimization in the training of deep neural networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Do, Thang, Jentzen, Arnulf, Riekert, Adrian
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Numerical Analysis 68T07, 65K10, 60G60, 65D15 G.1.6; F.2.0; G.3
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Non-convergence to global minimizers in data driven supervised deep learning: Adam and stochastic gradient descent optimization provably fail to converge to global minimizers in the training of deep neural networks with ReLU activation
von: Do, Thang, et al.
Veröffentlicht: (2024)

Asymptotic stability properties and a priori bounds for Adam and other gradient descent optimization methods
von: Dereich, Steffen, et al.
Veröffentlicht: (2025)

Uniform a priori bounds and error analysis for the Adam stochastic gradient descent optimization method
von: Dereich, Steffen, et al.
Veröffentlicht: (2026)

Adam symmetry theorem: characterization of the convergence of the stochastic Adam optimizer
von: Dereich, Steffen, et al.
Veröffentlicht: (2025)

Non-convergence of Adam and other adaptive stochastic gradient descent optimization methods for non-vanishing learning rates
von: Dereich, Steffen, et al.
Veröffentlicht: (2024)

Neural Network Localized Orthogonal Decomposition for Numerical Homogenization of Diffusion Operators with Random Coefficients
von: Kröpfl, Fabian, et al.
Veröffentlicht: (2025)

Convergence to good non-optimal critical points in the training of neural networks: Gradient descent optimization with one random initialization overcomes all bad non-global local minima with high probability
von: Ibragimov, Shokhrukh, et al.
Veröffentlicht: (2022)

A convergent scheme for the Bayesian filtering problem based on the Fokker--Planck equation and deep splitting
von: Bågmark, Kasper, et al.
Veröffentlicht: (2024)

High-dimensional Bayesian filtering through deep density approximation
von: Bågmark, Kasper, et al.
Veröffentlicht: (2025)

Nonlinear filtering based on density approximation and deep BSDE prediction
von: Bågmark, Kasper, et al.
Veröffentlicht: (2025)

Functional SDE approximation inspired by a deep operator network architecture
von: Eigel, Martin, et al.
Veröffentlicht: (2024)

Error analysis for learning fractional stochastic differential equations with applications in neural approximations
von: Dehshiri, Mahdi, et al.
Veröffentlicht: (2026)

Affine models with path-dependence under parameter uncertainty and their application in finance
von: Geuchen, Benedikt, et al.
Veröffentlicht: (2022)

Random neural networks for rough volatility
von: Jacquier, Antoine, et al.
Veröffentlicht: (2023)

Uniform in time convergence of numerical schemes for stochastic differential equations via Strong Exponential stability: Euler methods, Split-Step and Tamed Schemes
von: Angeli, Letizia, et al.
Veröffentlicht: (2023)

Deep Operator BSDE: a Numerical Scheme to Approximate Solution Operators
von: Lozano, Pere Díaz, et al.
Veröffentlicht: (2024)

Error analysis for the deep Kolmogorov method
von: Cîmpean, Iulian, et al.
Veröffentlicht: (2025)

A forward differential deep learning-based algorithm for solving high-dimensional nonlinear backward stochastic differential equations
von: Kapllani, Lorenc, et al.
Veröffentlicht: (2024)

A backward differential deep learning-based algorithm for solving high-dimensional nonlinear backward stochastic differential equations
von: Kapllani, Lorenc, et al.
Veröffentlicht: (2024)

A deep implicit-explicit minimizing movement method for option pricing in jump-diffusion models
von: Georgoulis, Emmanuil H., et al.
Veröffentlicht: (2024)

Large deviation principles and functional limit theorems in the deep limit of wide random neural networks
von: Di Lillo, Simmaco, et al.
Veröffentlicht: (2026)

A new architecture of high-order deep neural networks that learn martingales
von: Ninomiya, Syoiti, et al.
Veröffentlicht: (2025)

Efficient implicit-explicit sparse stochastic method for high dimensional semi-linear nonlocal diffusion equations
von: Sheng, Changtao, et al.
Veröffentlicht: (2025)

Mixed-Precision Paterson--Stockmeyer Method for Evaluating Polynomials of Matrices
von: Liu, Xiaobo
Veröffentlicht: (2023)

Near-optimal estimates for the $\ell^p$-Lipschitz constants of deep random ReLU neural networks
von: Dirksen, Sjoerd, et al.
Veröffentlicht: (2025)

Cover times with stochastic resetting
von: Linn, Samantha, et al.
Veröffentlicht: (2024)

Data-induced multiscale losses and efficient multirate gradient descent schemes
von: He, Juncai, et al.
Veröffentlicht: (2024)

Discontinuous Galerkin finite element operator network for solving non-smooth PDEs
von: Chawla, Kapil, et al.
Veröffentlicht: (2026)

The Compound BSDE Method: A Fully Forward Method for Option Pricing and Optimal Stopping Problems in Finance
von: Huang, Zhipeng, et al.
Veröffentlicht: (2026)

Certified and accurate computation of function space norms of deep neural networks
von: Gründler, Johannes, et al.
Veröffentlicht: (2026)

An energy-based deep splitting method for the nonlinear filtering problem
von: Bågmark, Kasper, et al.
Veröffentlicht: (2022)

A forward scheme with machine learning for forward-backward SDEs with jumps by decoupling jumps
von: Kawai, Reiichiro, et al.
Veröffentlicht: (2024)

Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for space-time solutions of semilinear partial differential equations
von: Ackermann, Julia, et al.
Veröffentlicht: (2024)

Convergence rates of non-stationary and deep Gaussian process regression
von: Osborne, Conor, et al.
Veröffentlicht: (2023)

An Euler scheme for BSDEs via the Wiener chaos decomposition
von: Lozano, Pere Díaz, et al.
Veröffentlicht: (2025)

Nested Optimal Transport Distances
von: Bontorno, Ruben, et al.
Veröffentlicht: (2025)

Non-asymptotic uniform in time error bounds for new and old numerical schemes for SPDEs
von: Huang, Can, et al.
Veröffentlicht: (2026)

A neural network method for scalar conservation laws with convergence rates for shock-wave solutions
von: Cao, Jiachuan, et al.
Veröffentlicht: (2026)

Subgradient Langevin Methods for Sampling from Non-smooth Potentials
von: Habring, Andreas, et al.
Veröffentlicht: (2023)

Error estimates and adaptivity for a least-squares method applied to the Monge-Ampère equation
von: Caboussat, Alexandre, et al.
Veröffentlicht: (2025)