Buchumschlag

Depth Separation in Norm-Bounded Infinite-Width Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Parkinson, Suzanna, Ongie, Greg, Willett, Rebecca, Shamir, Ohad, Srebro, Nathan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models
von: Parkinson, Suzanna, et al.
Veröffentlicht: (2023)

Solving Inverse Problems with Deep Linear Neural Networks: Global Convergence Guarantees for Gradient Descent with Weight Decay
von: Laus, Hannah, et al.
Veröffentlicht: (2025)

Logarithmic Width Suffices for Robust Memorization
von: Egosi, Amitsour, et al.
Veröffentlicht: (2025)

Hardness of Learning Fixed Parities with Neural Networks
von: Shoshani, Itamar, et al.
Veröffentlicht: (2025)

Simple Relative Deviation Bounds for Covariance and Gram Matrices
von: Barzilai, Daniel, et al.
Veröffentlicht: (2024)

When Diffusion Models Memorize: Inductive Biases in Probability Flow of Minimum-Norm Shallow Neural Nets
von: Zeno, Chen, et al.
Veröffentlicht: (2025)

How do Minimum-Norm Shallow Denoisers Look in Function Space?
von: Zeno, Chen, et al.
Veröffentlicht: (2023)

From Tempered to Benign Overfitting in ReLU Neural Networks
von: Kornowski, Guy, et al.
Veröffentlicht: (2023)

Flexible Infinite-Width Graph Convolutional Neural Networks
von: Anson, Ben, et al.
Veröffentlicht: (2024)

Infinite Width Limits of Self Supervised Neural Networks
von: Fleissner, Maximilian, et al.
Veröffentlicht: (2024)

When Models Don't Collapse: On the Consistency of Iterative MLE
von: Barzilai, Daniel, et al.
Veröffentlicht: (2025)

Limitations of SGD for Multi-Index Models Beyond Statistical Queries
von: Barzilai, Daniel, et al.
Veröffentlicht: (2026)

Implicit Regularization Towards Rank Minimization in ReLU Networks
von: Timor, Nadav, et al.
Veröffentlicht: (2022)

On the Infinite Width and Depth Limits of Predictive Coding Networks
von: Innocenti, Francesco, et al.
Veröffentlicht: (2026)

Open Problem: Anytime Convergence Rate of Gradient Descent
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

An Algorithm with Optimal Dimension-Dependence for Zero-Order Nonsmooth Nonconvex Stochastic Optimization
von: Kornowski, Guy, et al.
Veröffentlicht: (2023)

Gradient Descent's Last Iterate is Often (slightly) Suboptimal
von: Kornowski, Guy, et al.
Veröffentlicht: (2026)

Generalization in Kernel Regression Under Realistic Assumptions
von: Barzilai, Daniel, et al.
Veröffentlicht: (2023)

On the Complexity of Finding Small Subgradients in Nonsmooth Optimization
von: Kornowski, Guy, et al.
Veröffentlicht: (2022)

An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network
von: Kim, Taeyoung, et al.
Veröffentlicht: (2023)

Noisy Interpolation Learning with Shallow Univariate ReLU Networks
von: Joshi, Nirmit, et al.
Veröffentlicht: (2023)

Tight Bounds on the Binomial CDF, and the Minimum of i.i.d Binomials, in terms of KL-Divergence
von: Zhu, Xiaohan, et al.
Veröffentlicht: (2025)

Quantifying Overfitting along the Regularization Path for Two-Part-Code MDL in Supervised Classification
von: Zhu, Xiaohan, et al.
Veröffentlicht: (2025)

Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization
von: Chen, Zixiang, et al.
Veröffentlicht: (2025)

Channel Estimation by Infinite Width Convolutional Networks
von: Mallik, Mohammed, et al.
Veröffentlicht: (2025)

The Implicit Bias of Gradient Descent on Separable Data
von: Soudry, Daniel, et al.
Veröffentlicht: (2017)

The Oracle Complexity of Simplex-based Matrix Games
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

Beyond Benign Overfitting in Nadaraya-Watson Interpolators
von: Barzilai, Daniel, et al.
Veröffentlicht: (2025)

Are Convex Optimization Curves Convex?
von: Barzilai, Guy, et al.
Veröffentlicht: (2025)

Depth Separations in Neural Networks: Separating the Dimension from the Accuracy
von: Safran, Itay, et al.
Veröffentlicht: (2024)

The Graphon Limit Hypothesis: Understanding Neural Network Pruning via Infinite Width Analysis
von: Pham, Hoang, et al.
Veröffentlicht: (2025)

Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality
von: Medvedev, Marko, et al.
Veröffentlicht: (2024)

Homotopy Relaxation Training Algorithms for Infinite-Width Two-Layer ReLU Neural Networks
von: Yang, Yahong, et al.
Veröffentlicht: (2023)

Feature Learning Dynamics in Infinite-Depth Neural Networks
von: Yao, Zihan, et al.
Veröffentlicht: (2025)

Sketch-Augmented Features Improve Learning Long-Range Dependencies in Graph Neural Networks
von: Hosseini, Ryien, et al.
Veröffentlicht: (2025)

How Uniform Random Weights Induce Non-uniform Bias: Typical Interpolating Neural Networks Generalize with Narrow Teachers
von: Buzaglo, Gon, et al.
Veröffentlicht: (2024)

Transfer Learning in Infinite Width Feature Learning Networks
von: Lauditi, Clarissa, et al.
Veröffentlicht: (2025)

REED-VAE: RE-Encode Decode Training for Iterative Image Editing with Diffusion Models
von: Almog, Gal, et al.
Veröffentlicht: (2025)

Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification
von: Zhu, Xiaohan, et al.
Veröffentlicht: (2026)