Buchumschlag

Sharp description of local minima in the loss landscape of high-dimensional two-layer ReLU neural networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Huang, Jie, Loureiro, Bruno, Mannelli, Stefano Sarao
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Disordered Systems and Neural Networks
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Why Do Animals Need Shaping? A Theory of Task Composition and Curriculum Learning
von: Lee, Jin Hwa, et al.
Veröffentlicht: (2024)

Optimal Protocols for Continual Learning via Statistical Physics and Control Theory
von: Mori, Francesco, et al.
Veröffentlicht: (2024)

Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training
von: Jain, Anchit, et al.
Veröffentlicht: (2024)

Bias-inducing geometries: an exactly solvable data model with fairness implications
von: Mannelli, Stefano Sarao, et al.
Veröffentlicht: (2022)

Continuous Specialization Transition in the Soft Committee Machine with ReLU Activation
von: Afanah, Assem, et al.
Veröffentlicht: (2026)

Injectivity of ReLU networks: perspectives from statistical physics
von: Maillard, Antoine, et al.
Veröffentlicht: (2023)

The RL Perceptron: Generalisation Dynamics of Policy Learning in High Dimensions
von: Patel, Nishil, et al.
Veröffentlicht: (2023)

The Interplay of Data Structure and Imbalance in the Learning Dynamics of Diffusion Models
von: Nicoletti, Flavio, et al.
Veröffentlicht: (2026)

Deep ReLU networks -- injectivity capacity upper bounds
von: Stojnic, Mihailo
Veröffentlicht: (2024)

Tilting the Odds at the Lottery: the Interplay of Overparameterisation and Curricula in Neural Networks
von: Mannelli, Stefano Sarao, et al.
Veröffentlicht: (2024)

Injectivity capacity of ReLU gates
von: Stojnic, Mihailo
Veröffentlicht: (2024)

Triplets of local minima in a high-dimensional random landscape: Correlations, clustering, and memoryless activated jumps
von: Pacco, Alessandro, et al.
Veröffentlicht: (2024)

Asymptotics of feature learning in two-layer networks after one gradient-step
von: Cui, Hugo, et al.
Veröffentlicht: (2024)

On the existence of consistent adversarial attacks in high-dimensional linear classification
von: Vilucchio, Matteo, et al.
Veröffentlicht: (2025)

Statistical physics of complex systems: glasses, spin glasses, continuous constraint satisfaction problems, high-dimensional inference and neural networks
von: Urbani, Pierfrancesco
Veröffentlicht: (2024)

Transparency versus Anderson localization in one-dimensional disordered stealthy hyperuniform layered media
von: Klatt, Michael A., et al.
Veröffentlicht: (2025)

Arrangement of nearby minima and saddles in the mixed spherical energy landscapes
von: Kent-Dobias, Jaron
Veröffentlicht: (2023)

Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions
von: Nishiyama, Sota, et al.
Veröffentlicht: (2024)

Tree tensor networks for many-body localization in two dimensions
von: Humpert, Lars, et al.
Veröffentlicht: (2025)

Exploring high-dimensional random landscapes: from spin glasses to random matrices, passing through simple chaotic systems
von: Pacco, Alessandro
Veröffentlicht: (2025)

Berezinskii-Kosterlitz-Thouless localization-localization transitions in disordered two-dimensional quantized quadrupole insulators
von: Wang, C., et al.
Veröffentlicht: (2023)

High-dimensional learning of narrow neural networks
von: Cui, Hugo
Veröffentlicht: (2024)

Exact full-RSB SAT/UNSAT transition in infinitely wide two-layer neural networks
von: Annesi, Brandon L., et al.
Veröffentlicht: (2024)

Disorder free many-body localization transition in two quasiperiodically coupled Heisenberg spin chains
von: Gunawardana, K. G. S. H., et al.
Veröffentlicht: (2024)

Generalized hetero-associative neural networks
von: Agliari, Elena, et al.
Veröffentlicht: (2024)

Application of deep neural networks for computing the renormalization group flow of the two-dimensional phi^4 field theory
von: Zhao, Yueqi, et al.
Veröffentlicht: (2025)

Critical feature learning in deep neural networks
von: Fischer, Kirsten, et al.
Veröffentlicht: (2024)

Improving deep neural network performance through sampling
von: Ghantasala, Lakshmi A., et al.
Veröffentlicht: (2025)

Partial annealing and pattern decorrelation in associative neural networks
von: Albanese, Linda, et al.
Veröffentlicht: (2026)

Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression
von: Clarté, Lucas, et al.
Veröffentlicht: (2024)

Instant prediction of relaxation in moiré superlattices using neural networks
von: Belonovskii, Aleksei V., et al.
Veröffentlicht: (2025)

Arbitrage equilibrium and the emergence of universal microstructure in deep neural networks
von: Venkatasubramanian, Venkat, et al.
Veröffentlicht: (2024)

Fundamental computational limits of weak learnability in high-dimensional multi-index models
von: Troiani, Emanuele, et al.
Veröffentlicht: (2024)

Investigation of reentrant localization transition in one-dimensional quasi-periodic lattice with long-range hopping
von: Chang, Pei-Jie, et al.
Veröffentlicht: (2024)

Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations
von: Baldassi, Carlo, et al.
Veröffentlicht: (2019)

Saddles-to-minima topological crossover and glassiness in the Rubik's Cube
von: Gower, Alex, et al.
Veröffentlicht: (2024)

Renormalization group for deep neural networks: Universality of learning and scaling laws
von: Coppola, Gorka Peraza, et al.
Veröffentlicht: (2025)

Programmable polyaniline nano neural network. A simple physical model
von: Langer, Jerzy J.
Veröffentlicht: (2024)

Phase transitions from linear to nonlinear information processing in neural networks
von: Matsumura, Masaya, et al.
Veröffentlicht: (2025)

Topological mechanical neural networks as classifiers through in situ backpropagation learning
von: Li, Shuaifeng, et al.
Veröffentlicht: (2025)