Buchumschlag

Loss Landscape of Shallow ReLU-like Neural Networks: Stationary Points, Saddle Escape, and Network Embedding

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Frank Zhengqing, Simsek, Berfin, Ged, Francois Gaston
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Saddle-To-Saddle Dynamics in Deep ReLU Networks: Low-Rank Bias in the First Saddle Escape
von: Bantzis, Ioannis, et al.
Veröffentlicht: (2025)

Nonlinear Dynamics In Optimization Landscape of Shallow Neural Networks with Tunable Leaky ReLU
von: Liu, Jingzhou
Veröffentlicht: (2025)

Noisy Interpolation Learning with Shallow Univariate ReLU Networks
von: Joshi, Nirmit, et al.
Veröffentlicht: (2023)

Mildly Overparameterized ReLU Networks Have a Favorable Loss Landscape
von: Karhadkar, Kedar, et al.
Veröffentlicht: (2023)

Convergence of Shallow ReLU Networks on Weakly Interacting Data
von: Dana, Léo, et al.
Veröffentlicht: (2025)

Asymptotic Smoothing of the Lipschitz Loss Landscape in Overparameterized One-Hidden-Layer ReLU Networks
von: Baturin, Saveliy
Veröffentlicht: (2026)

Geometry-induced Regularization in Deep ReLU Neural Networks
von: Bona-Pellissier, Joachim, et al.
Veröffentlicht: (2024)

Pathwise Explanation of ReLU Neural Networks
von: Lim, Seongwoo, et al.
Veröffentlicht: (2025)

Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data
von: Min, Hancheng, et al.
Veröffentlicht: (2025)

Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

Convexity in ReLU Neural Networks: beyond ICNNs?
von: Gagneux, Anne, et al.
Veröffentlicht: (2025)

Stochastic Bandits with ReLU Neural Networks
von: Xu, Kan, et al.
Veröffentlicht: (2024)

On Space Folds of ReLU Neural Networks
von: Lewandowski, Michal, et al.
Veröffentlicht: (2025)

The Geometry of ReLU Networks through the ReLU Transition Graph
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

Topological Expressivity of ReLU Neural Networks
von: Ergen, Ekin, et al.
Veröffentlicht: (2023)

A Complete Symmetry Classification of Shallow ReLU Networks
von: Ramakrishnan, Pranavkrishnan
Veröffentlicht: (2026)

A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network
von: Cai, Zhiqiang, et al.
Veröffentlicht: (2024)

Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient
von: Dinh, Vu C., et al.
Veröffentlicht: (2024)

Function Gradient Approximation with Random Shallow ReLU Networks with Control Applications
von: Lamperski, Andrew, et al.
Veröffentlicht: (2024)

Random ReLU Neural Networks as Non-Gaussian Processes
von: Parhi, Rahul, et al.
Veröffentlicht: (2024)

Complexity of Injectivity and Verification of ReLU Neural Networks
von: Froese, Vincent, et al.
Veröffentlicht: (2024)

ConquerNet: Convolution-Smoothed Quantile ReLU Neural Networks with Minimax Guarantees
von: Luo, Tianpai, et al.
Veröffentlicht: (2026)

Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control
von: Lamperski, Andrew, et al.
Veröffentlicht: (2024)

Dense ReLU Neural Networks for Temporal-spatial Model
von: Padilla, Carlos Misael Madrid, et al.
Veröffentlicht: (2024)

On the Expressiveness of Rational ReLU Neural Networks With Bounded Depth
von: Averkov, Gennadiy, et al.
Veröffentlicht: (2025)

The Effects of Multi-Task Learning on ReLU Neural Network Functions
von: Nakhleh, Julia, et al.
Veröffentlicht: (2024)

Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks
von: Chen, Wenlin, et al.
Veröffentlicht: (2023)

Flat Channels to Infinity in Neural Loss Landscapes
von: Martinelli, Flavio, et al.
Veröffentlicht: (2025)

On the Depth of Monotone ReLU Neural Networks and ICNNs
von: Bakaev, Egor, et al.
Veröffentlicht: (2025)

From Tempered to Benign Overfitting in ReLU Neural Networks
von: Kornowski, Guy, et al.
Veröffentlicht: (2023)

Optimal Sets and Solution Paths of ReLU Networks
von: Mishkin, Aaron, et al.
Veröffentlicht: (2023)

On Size-Independent Sample Complexity of ReLU Networks
von: Sellke, Mark
Veröffentlicht: (2023)

Online Realizable Regression and Applications for ReLU Networks
von: Doron-Arad, Ilan, et al.
Veröffentlicht: (2026)

Convex Formulations for Training Two-Layer ReLU Neural Networks
von: Prakhya, Karthik, et al.
Veröffentlicht: (2024)

Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks
von: Lee, Hyungu, et al.
Veröffentlicht: (2025)

Some Super-approximation Rates of ReLU Neural Networks for Korobov Functions
von: Li, Yuwen, et al.
Veröffentlicht: (2025)

Expressive Power of ReLU and Step Networks under Floating-Point Operations
von: Park, Yeachan, et al.
Veröffentlicht: (2024)

SurvReLU: Inherently Interpretable Survival Analysis via Deep ReLU Networks
von: Sun, Xiaotong, et al.
Veröffentlicht: (2024)

Three Quantization Regimes for ReLU Networks
von: Ou, Weigutian, et al.
Veröffentlicht: (2024)

N-ReLU: Zero-Mean Stochastic Extension of ReLU
von: Manik, Md Motaleb Hossen, et al.
Veröffentlicht: (2025)