Copertina

Mildly Overparameterized ReLU Networks Have a Favorable Loss Landscape

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Karhadkar, Kedar, Murray, Michael, Tseran, Hanna, Montúfar, Guido
Natura:	Preprint
Pubblicazione:	2023
Soggetti:	Machine Learning Combinatorics
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Benign overfitting in leaky ReLU networks with moderate input dimension
di: Karhadkar, Kedar, et al.
Pubblicazione: (2024)

The Symmetries of Three-Layer ReLU Networks
di: Gegenfurtner, Johanna Marie, et al.
Pubblicazione: (2026)

Bounds for the smallest eigenvalue of the NTK for arbitrary spherical data of arbitrary dimension
di: Karhadkar, Kedar, et al.
Pubblicazione: (2024)

On the Local Complexity of Linear Regions in Deep ReLU Networks
di: Patel, Niket, et al.
Pubblicazione: (2024)

Constraining the outputs of ReLU neural networks
di: Alexandr, Yulia, et al.
Pubblicazione: (2025)

Asymptotic Smoothing of the Lipschitz Loss Landscape in Overparameterized One-Hidden-Layer ReLU Networks
di: Baturin, Saveliy
Pubblicazione: (2026)

Mildly Overparameterized ReLU Networks on Orthogonal Data: Incremental Learning and Implicit Bias
di: Town, James, et al.
Pubblicazione: (2026)

Zero-Shot Context Generalization in Reinforcement Learning from Few Training Contexts
di: Chapman, James, et al.
Pubblicazione: (2025)

Harmful Overfitting in Sobolev Spaces
di: Karhadkar, Kedar, et al.
Pubblicazione: (2026)

On the Depth of Monotone ReLU Neural Networks and ICNNs
di: Bakaev, Egor, et al.
Pubblicazione: (2025)

Towards Lower Bounds on the Depth of ReLU Neural Networks
di: Hertrich, Christoph, et al.
Pubblicazione: (2021)

The Computational Complexity of Counting Linear Regions in ReLU Neural Networks
di: Stargalla, Moritz, et al.
Pubblicazione: (2025)

A Complete Symmetry Classification of Shallow ReLU Networks
di: Ramakrishnan, Pranavkrishnan
Pubblicazione: (2026)

Approximation Rates and VC-Dimension Bounds for (P)ReLU MLP Mixture of Experts
di: Kratsios, Anastasis, et al.
Pubblicazione: (2024)

Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs
di: Dhayalkar, Sahil Rajesh
Pubblicazione: (2025)

Loss Landscape of Shallow ReLU-like Neural Networks: Stationary Points, Saddle Escape, and Network Embedding
di: Wu, Frank Zhengqing, et al.
Pubblicazione: (2024)

The Geometry of ReLU Networks through the ReLU Transition Graph
di: Dhayalkar, Sahil Rajesh
Pubblicazione: (2025)

Deep ReLU Networks Have Surprisingly Simple Polytopes
di: Fan, Feng-Lei, et al.
Pubblicazione: (2023)

N-ReLU: Zero-Mean Stochastic Extension of ReLU
di: Manik, Md Motaleb Hossen, et al.
Pubblicazione: (2025)

The Resurrection of the ReLU
di: Horuz, Coşku Can, et al.
Pubblicazione: (2025)

Pathwise Explanation of ReLU Neural Networks
di: Lim, Seongwoo, et al.
Pubblicazione: (2025)

Optimal Sets and Solution Paths of ReLU Networks
di: Mishkin, Aaron, et al.
Pubblicazione: (2023)

On Size-Independent Sample Complexity of ReLU Networks
di: Sellke, Mark
Pubblicazione: (2023)

Online Realizable Regression and Applications for ReLU Networks
di: Doron-Arad, Ilan, et al.
Pubblicazione: (2026)

Convexity in ReLU Neural Networks: beyond ICNNs?
di: Gagneux, Anne, et al.
Pubblicazione: (2025)

SurvReLU: Inherently Interpretable Survival Analysis via Deep ReLU Networks
di: Sun, Xiaotong, et al.
Pubblicazione: (2024)

Random ReLU Neural Networks as Non-Gaussian Processes
di: Parhi, Rahul, et al.
Pubblicazione: (2024)

Training a Two Layer ReLU Network Analytically
di: Barbu, Adrian
Pubblicazione: (2023)

Stochastic Bandits with ReLU Neural Networks
di: Xu, Kan, et al.
Pubblicazione: (2024)

On Space Folds of ReLU Neural Networks
di: Lewandowski, Michal, et al.
Pubblicazione: (2025)

Nonlinear Dynamics In Optimization Landscape of Shallow Neural Networks with Tunable Leaky ReLU
di: Liu, Jingzhou
Pubblicazione: (2025)

ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU
di: Qiu, Qi, et al.
Pubblicazione: (2024)

Topological Expressivity of ReLU Neural Networks
di: Ergen, Ekin, et al.
Pubblicazione: (2023)

Three Quantization Regimes for ReLU Networks
di: Ou, Weigutian, et al.
Pubblicazione: (2024)

Brownian ReLU(Br-ReLU): A New Activation Function for a Long-Short Term Memory (LSTM) Network
di: Awiakye-Marfo, George, et al.
Pubblicazione: (2026)

Hidden Minima in Two-Layer ReLU Networks
di: Arjevani, Yossi
Pubblicazione: (2023)

Noisy Interpolation Learning with Shallow Univariate ReLU Networks
di: Joshi, Nirmit, et al.
Pubblicazione: (2023)

ReLU Networks as Random Functions: Their Distribution in Probability Space
di: Chaudhari, Shreyas, et al.
Pubblicazione: (2025)

Implicit Hypersurface Approximation Capacity in Deep ReLU Networks
di: Vallin, Jonatan, et al.
Pubblicazione: (2024)

Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient
di: Dinh, Vu C., et al.
Pubblicazione: (2024)