Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for space-time solutions of semilinear partial differential equations
Fuente:
arXiv
Gespeichert in:
| Hauptverfasser: | Ackermann, Julia, Jentzen, Arnulf, Kuckuck, Benno, Padgett, Joshua Lee |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2024
|
| Schlagworte: | |
| Online-Zugang: | |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for Kolmogorov partial differential equations with Lipschitz nonlinearities in the $L^p$-sense
von: Ackermann, Julia, et al.
Veröffentlicht: (2023)
von: Ackermann, Julia, et al.
Veröffentlicht: (2023)
Multilevel Picard approximations and deep neural networks with ReLU, leaky ReLU, and softplus activation overcome the curse of dimensionality when approximating semilinear parabolic partial differential equations in $L^p$-sense
von: Neufeld, Ariel, et al.
Veröffentlicht: (2024)
von: Neufeld, Ariel, et al.
Veröffentlicht: (2024)
Non-convergence to global minimizers in data driven supervised deep learning: Adam and stochastic gradient descent optimization provably fail to converge to global minimizers in the training of deep neural networks with ReLU activation
von: Do, Thang, et al.
Veröffentlicht: (2024)
von: Do, Thang, et al.
Veröffentlicht: (2024)
On the growth of the parameters of approximating ReLU neural networks
von: Morina, Erion, et al.
Veröffentlicht: (2024)
von: Morina, Erion, et al.
Veröffentlicht: (2024)
An extrapolated and provably convergent algorithm for nonlinear matrix decomposition with the ReLU function
von: Gillis, Nicolas, et al.
Veröffentlicht: (2025)
von: Gillis, Nicolas, et al.
Veröffentlicht: (2025)
On the algorithmic construction of deep ReLU networks
von: Huybrechs, Daan
Veröffentlicht: (2025)
von: Huybrechs, Daan
Veröffentlicht: (2025)
Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal Approximation
von: Li, Li'ang, et al.
Veröffentlicht: (2023)
von: Li, Li'ang, et al.
Veröffentlicht: (2023)
Deep ReLU neural networks overcome the curse of dimensionality when approximating semilinear partial integro-differential equations
von: Neufeld, Ariel, et al.
Veröffentlicht: (2023)
von: Neufeld, Ariel, et al.
Veröffentlicht: (2023)
Gradient descent provably escapes saddle points in the training of shallow ReLU networks
von: Cheridito, Patrick, et al.
Veröffentlicht: (2022)
von: Cheridito, Patrick, et al.
Veröffentlicht: (2022)
Topological obstruction to the training of shallow ReLU neural networks
von: Nurisso, Marco, et al.
Veröffentlicht: (2024)
von: Nurisso, Marco, et al.
Veröffentlicht: (2024)
A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network
von: Cai, Zhiqiang, et al.
Veröffentlicht: (2024)
von: Cai, Zhiqiang, et al.
Veröffentlicht: (2024)
Equidistribution-based training of Free Knot Splines and ReLU Neural Networks
von: Appella, Simone, et al.
Veröffentlicht: (2024)
von: Appella, Simone, et al.
Veröffentlicht: (2024)
On the existence of minimizers in shallow residual ReLU neural network optimization landscapes
von: Dereich, Steffen, et al.
Veröffentlicht: (2023)
von: Dereich, Steffen, et al.
Veröffentlicht: (2023)
Deep neural networks can provably solve Bellman equations for Markov decision processes without the curse of dimensionality
von: Jentzen, Arnulf, et al.
Veröffentlicht: (2025)
von: Jentzen, Arnulf, et al.
Veröffentlicht: (2025)
Error analysis for empirical risk minimization over clipped ReLU networks in solving linear Kolmogorov partial differential equations
von: Xiao, Jichang, et al.
Veröffentlicht: (2023)
von: Xiao, Jichang, et al.
Veröffentlicht: (2023)
Exponential Expressivity of ReLU$^k$ Neural Networks on Gevrey Classes with Point Singularities
von: Opschoor, Joost A. A., et al.
Veröffentlicht: (2024)
von: Opschoor, Joost A. A., et al.
Veröffentlicht: (2024)
Convergence to good non-optimal critical points in the training of neural networks: Gradient descent optimization with one random initialization overcomes all bad non-global local minima with high probability
von: Ibragimov, Shokhrukh, et al.
Veröffentlicht: (2022)
von: Ibragimov, Shokhrukh, et al.
Veröffentlicht: (2022)
On bounds for norms of reparameterized ReLU artificial neural network parameters: sums of fractional powers of the Lipschitz norm control the network parameter vector
von: Jentzen, Arnulf, et al.
Veröffentlicht: (2022)
von: Jentzen, Arnulf, et al.
Veröffentlicht: (2022)
Topology and Geometry of the Learning Space of ReLU Networks: Connectivity and Singularities
von: Nurisso, Marco, et al.
Veröffentlicht: (2026)
von: Nurisso, Marco, et al.
Veröffentlicht: (2026)
Deep ReLU networks and high-order finite element methods II: Chebyshev emulation
von: Opschoor, Joost A. A., et al.
Veröffentlicht: (2023)
von: Opschoor, Joost A. A., et al.
Veröffentlicht: (2023)
Sharp Lower Bounds on Interpolation by Deep ReLU Neural Networks at Irregularly Spaced Data
von: Siegel, Jonathan W.
Veröffentlicht: (2023)
von: Siegel, Jonathan W.
Veröffentlicht: (2023)
Benign overfitting in leaky ReLU networks with moderate input dimension
von: Karhadkar, Kedar, et al.
Veröffentlicht: (2024)
von: Karhadkar, Kedar, et al.
Veröffentlicht: (2024)
Constraining the outputs of ReLU neural networks
von: Alexandr, Yulia, et al.
Veröffentlicht: (2025)
von: Alexandr, Yulia, et al.
Veröffentlicht: (2025)
Toric geometry of ReLU neural networks
von: Fu, Yaoying
Veröffentlicht: (2025)
von: Fu, Yaoying
Veröffentlicht: (2025)
N-ReLU: Zero-Mean Stochastic Extension of ReLU
von: Manik, Md Motaleb Hossen, et al.
Veröffentlicht: (2025)
von: Manik, Md Motaleb Hossen, et al.
Veröffentlicht: (2025)
The Geometry of ReLU Networks through the ReLU Transition Graph
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)
On Bounds for Norms of Reparameterized ReLU Artificial Neural Network Parameters: Sums of Fractional Powers of the Lipschitz Norm Control the Network Parameter Vector
von: Arnulf Jentzen, et al.
Veröffentlicht: (2025)
von: Arnulf Jentzen, et al.
Veröffentlicht: (2025)
The Resurrection of the ReLU
von: Horuz, Coşku Can, et al.
Veröffentlicht: (2025)
von: Horuz, Coşku Can, et al.
Veröffentlicht: (2025)
Non-convergence to the optimal risk for Adam and stochastic gradient descent optimization in the training of deep neural networks
von: Do, Thang, et al.
Veröffentlicht: (2025)
von: Do, Thang, et al.
Veröffentlicht: (2025)
Discontinuous hybrid neural networks for the one-dimensional partial differential equations
von: Wang, Xiaoyu, et al.
Veröffentlicht: (2025)
von: Wang, Xiaoyu, et al.
Veröffentlicht: (2025)
Functional dimension of feedforward ReLU neural networks
von: Grigsby, J. Elisenda, et al.
Veröffentlicht: (2022)
von: Grigsby, J. Elisenda, et al.
Veröffentlicht: (2022)
Stably unactivated neurons in ReLU neural networks
von: Brownlowe, Natalie, et al.
Veröffentlicht: (2024)
von: Brownlowe, Natalie, et al.
Veröffentlicht: (2024)
Randomized LU-Householder CholeskyQR
von: Guan, Haoran, et al.
Veröffentlicht: (2024)
von: Guan, Haoran, et al.
Veröffentlicht: (2024)
Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)
Is ReLU Adversarially Robust?
von: Sooksatra, Korn, et al.
Veröffentlicht: (2024)
von: Sooksatra, Korn, et al.
Veröffentlicht: (2024)
An analysis of optimization problems involving ReLU neural networks
von: Plate, Christoph, et al.
Veröffentlicht: (2025)
von: Plate, Christoph, et al.
Veröffentlicht: (2025)
ReLU neural network approximation to piecewise constant functions
von: Cai, Zhiqiang, et al.
Veröffentlicht: (2024)
von: Cai, Zhiqiang, et al.
Veröffentlicht: (2024)
Recursive sparse LU decomposition based on nested dissection and low rank approximations
von: Xuanru, Zhu, et al.
Veröffentlicht: (2024)
von: Xuanru, Zhu, et al.
Veröffentlicht: (2024)
Weighted variation spaces and approximation by shallow ReLU networks
von: DeVore, Ronald, et al.
Veröffentlicht: (2023)
von: DeVore, Ronald, et al.
Veröffentlicht: (2023)
On the existence of optimal shallow feedforward networks with ReLU activation
von: Dereich, Steffen, et al.
Veröffentlicht: (2023)
von: Dereich, Steffen, et al.
Veröffentlicht: (2023)
Ähnliche Einträge
-
Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for Kolmogorov partial differential equations with Lipschitz nonlinearities in the $L^p$-sense
von: Ackermann, Julia, et al.
Veröffentlicht: (2023) -
Multilevel Picard approximations and deep neural networks with ReLU, leaky ReLU, and softplus activation overcome the curse of dimensionality when approximating semilinear parabolic partial differential equations in $L^p$-sense
von: Neufeld, Ariel, et al.
Veröffentlicht: (2024) -
Non-convergence to global minimizers in data driven supervised deep learning: Adam and stochastic gradient descent optimization provably fail to converge to global minimizers in the training of deep neural networks with ReLU activation
von: Do, Thang, et al.
Veröffentlicht: (2024) -
On the growth of the parameters of approximating ReLU neural networks
von: Morina, Erion, et al.
Veröffentlicht: (2024) -
An extrapolated and provably convergent algorithm for nonlinear matrix decomposition with the ReLU function
von: Gillis, Nicolas, et al.
Veröffentlicht: (2025)