Buchumschlag

Asymptotics of feature learning in two-layer networks after one gradient-step

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cui, Hugo, Pesce, Luca, Dandi, Yatin, Krzakala, Florent, Lu, Yue M., Zdeborová, Lenka, Loureiro, Bruno
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Disordered Systems and Neural Networks
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fundamental limits of learning in sequence multi-index models and deep attention networks: High-dimensional asymptotics and sharp thresholds
von: Troiani, Emanuele, et al.
Veröffentlicht: (2025)

Sampling with flows, diffusion and autoregressive neural networks: A spin-glass perspective
von: Ghio, Davide, et al.
Veröffentlicht: (2023)

Fundamental computational limits of weak learnability in high-dimensional multi-index models
von: Troiani, Emanuele, et al.
Veröffentlicht: (2024)

Asymptotics of SGD in Sequence-Single Index Models and Single-Layer Attention Networks
von: Arnaboldi, Luca, et al.
Veröffentlicht: (2025)

Rigorous Asymptotics for First-Order Algorithms Through the Dynamical Cavity Method
von: Dandi, Yatin, et al.
Veröffentlicht: (2026)

Optimal Spectral Transitions in High-Dimensional Multi-Index Models
von: Defilippis, Leonardo, et al.
Veröffentlicht: (2025)

Learning with Restricted Boltzmann Machines: Asymptotics of AMP and GD in High Dimensions
von: Xu, Yizhou, et al.
Veröffentlicht: (2025)

Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning
von: Dandi, Yatin, et al.
Veröffentlicht: (2026)

Sequential Dynamics in Ising Spin Glasses
von: Dandi, Yatin, et al.
Veröffentlicht: (2025)

Computational Thresholds in Multi-Modal Learning via the Spiked Matrix-Tensor Model
von: Tabanelli, Hugo, et al.
Veröffentlicht: (2025)

The committee machine: Computational to statistical gaps in learning a two-layers neural network
von: Aubin, Benjamin, et al.
Veröffentlicht: (2018)

The Nuclear Route: Sharp Asymptotics of ERM in Overparameterized Quadratic Networks
von: Erba, Vittorio, et al.
Veröffentlicht: (2025)

High-dimensional Asymptotics of Denoising Autoencoders
von: Cui, Hugo, et al.
Veröffentlicht: (2023)

Quenches in the Sherrington-Kirkpatrick model
von: Erba, Vittorio, et al.
Veröffentlicht: (2024)

Fundamental Limits of Matrix Sensing: Exact Asymptotics, Universality, and Applications
von: Xu, Yizhou, et al.
Veröffentlicht: (2025)

Gaussian Universality of Perceptrons with Random Labels
von: Gerace, Federica, et al.
Veröffentlicht: (2022)

Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression
von: Clarté, Lucas, et al.
Veröffentlicht: (2024)

Statistical mechanics of the maximum-average submatrix problem
von: Erba, Vittorio, et al.
Veröffentlicht: (2023)

The phase diagram of compressed sensing with $\ell_0$-norm regularization
von: Barbier, Damien, et al.
Veröffentlicht: (2024)

Bayes-optimal learning of an extensive-width neural network from quadratically many samples
von: Maillard, Antoine, et al.
Veröffentlicht: (2024)

On the Atypical Solutions of the Symmetric Binary Perceptron
von: Barbier, Damien, et al.
Veröffentlicht: (2023)

Low-rank Matrix Estimation with Inhomogeneous Noise
von: Guionnet, Alice, et al.
Veröffentlicht: (2022)

The Computational Advantage of Depth: Learning High-Dimensional Hierarchical Functions with Gradient Descent
von: Dandi, Yatin, et al.
Veröffentlicht: (2025)

Scaling Laws and Spectra of Shallow Neural Networks in the Feature Learning Regime
von: Defilippis, Leonardo, et al.
Veröffentlicht: (2025)

On the existence of consistent adversarial attacks in high-dimensional linear classification
von: Vilucchio, Matteo, et al.
Veröffentlicht: (2025)

Asymptotic generalization error of a single-layer graph convolutional network
von: Duranthon, O., et al.
Veröffentlicht: (2024)

A High Dimensional Statistical Model for Adversarial Training: Geometry and Trade-Offs
von: Tanner, Kasimir, et al.
Veröffentlicht: (2024)

Single-Head Attention in High Dimensions: A Theory of Generalization, Weights Spectra, and Scaling Laws
von: Boncoraglio, Fabrizio, et al.
Veröffentlicht: (2025)

Optimal thresholds and algorithms for a model of multi-modal learning in high dimensions
von: Keup, Christian, et al.
Veröffentlicht: (2024)

A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities
von: Dandi, Yatin, et al.
Veröffentlicht: (2024)

Universality laws for Gaussian mixtures in generalized linear models
von: Dandi, Yatin, et al.
Veröffentlicht: (2023)

Building Conformal Prediction Intervals with Approximate Message Passing
von: Clarté, Lucas, et al.
Veröffentlicht: (2024)

Dynamical Cavity Method for Hypergraphs and its Application to Quenches in the k-XOR-SAT Problem
von: Maier, Aude, et al.
Veröffentlicht: (2024)

Dynamical Phase Transitions in Graph Cellular Automata
von: Behrens, Freya, et al.
Veröffentlicht: (2023)

The Benefits of Reusing Batches for Gradient Descent in Two-Layer Networks: Breaking the Curse of Information and Leap Exponents
von: Dandi, Yatin, et al.
Veröffentlicht: (2024)

Minority Takeover in Majority Dynamics: Searching for Rare Initializations via the History Passing Algorithm
von: Jankola, Marek, et al.
Veröffentlicht: (2025)

Spectral Thresholds in Correlated Spiked Models and Fundamental Limits of Partial Least Squares
von: Mergny, Pierre, et al.
Veröffentlicht: (2025)

Asymptotics of Learning with Deep Structured (Random) Features
von: Schröder, Dominik, et al.
Veröffentlicht: (2024)

Sharp description of local minima in the loss landscape of high-dimensional two-layer ReLU neural networks
von: Huang, Jie, et al.
Veröffentlicht: (2026)

Counting and Hardness-of-Finding Fixed Points in Cellular Automata on Random Graphs
von: Koller, Cédric, et al.
Veröffentlicht: (2024)