Buchumschlag

How Uniform Random Weights Induce Non-uniform Bias: Typical Interpolating Neural Networks Generalize with Narrow Teachers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Buzaglo, Gon, Harel, Itamar, Nacson, Mor Shpigel, Brutzkus, Alon, Srebro, Nathan, Soudry, Daniel
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Implicit Bias of Gradient Descent on Separable Data
von: Soudry, Daniel, et al.
Veröffentlicht: (2017)

Provable Tempered Overfitting of Minimal Nets and Typical Nets
von: Harel, Itamar, et al.
Veröffentlicht: (2024)

Temperature is All You Need for Generalization in Langevin Dynamics and other Markov Processes
von: Harel, Itamar, et al.
Veröffentlicht: (2025)

Noisy Interpolation Learning with Shallow Univariate ReLU Networks
von: Joshi, Nirmit, et al.
Veröffentlicht: (2023)

DocVLM: Make Your VLM an Efficient Reader
von: Nacson, Mor Shpigel, et al.
Veröffentlicht: (2024)

The Hidden Game Problem
von: Buzaglo, Gon, et al.
Veröffentlicht: (2025)

The relative Brauer group of $K(1)$-local spectra
von: Mor, Itamar
Veröffentlicht: (2023)

A New Approach to Controlling Linear Dynamical Systems
von: Brahmbhatt, Anand, et al.
Veröffentlicht: (2025)

Efficient Spectral Control of Partially Observed Linear Dynamical Systems
von: Brahmbhatt, Anand, et al.
Veröffentlicht: (2025)

The Price of Implicit Bias in Adversarially Robust Generalization
von: Tsilivis, Nikolaos, et al.
Veröffentlicht: (2024)

From Continual Learning to SGD and Back: Better Rates for Continual Linear Models
von: Evron, Itay, et al.
Veröffentlicht: (2025)

Quantifying Overfitting along the Regularization Path for Two-Part-Code MDL in Supervised Classification
von: Zhu, Xiaohan, et al.
Veröffentlicht: (2025)

Neural Network Ground State from the Neural Tangent Kernel Perspective: The Sign Bias
von: Kol-Namer, Harel, et al.
Veröffentlicht: (2024)

Retention of teachers in special education schools and special education classes: The importance of social support and psychological empowerment
von: Raaya Alon, et al.
Veröffentlicht: (2024)

Connections between hyperlinearity, stability and character rigidity for higher rank lattices
von: Dogon, Alon, et al.
Veröffentlicht: (2025)

Testing Dependency of Weighted Random Graphs
von: Oren, Mor, et al.
Veröffentlicht: (2024)

Uniform Interpolation
von: van Gool, Sam
Veröffentlicht: (2025)

Recursive Models for Long-Horizon Reasoning
von: Yang, Chenxiao, et al.
Veröffentlicht: (2026)

On the Complexity of Learning Sparse Functions with Statistical and Gradient Queries
von: Joshi, Nirmit, et al.
Veröffentlicht: (2024)

Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality
von: Medvedev, Marko, et al.
Veröffentlicht: (2024)

Depth Separation in Norm-Bounded Infinite-Width Neural Networks
von: Parkinson, Suzanna, et al.
Veröffentlicht: (2024)

Weak-to-Strong Generalization Even in Random Feature Networks, Provably
von: Medvedev, Marko, et al.
Veröffentlicht: (2025)

First-order equivalent static loads for dynamic response structural optimization
von: Buzaglo, Mordechay, et al.
Veröffentlicht: (2025)

Maximal dimensional subalgebras of general Cartan type Lie algebras
von: Bell, Jason, et al.
Veröffentlicht: (2023)

Enveloping algebras of derivations of commutative and noncommutative algebras
von: Bell, Jason, et al.
Veröffentlicht: (2024)

Central extensions, derivations, and automorphisms of semi-direct sums of the Witt algebra with its intermediate series modules
von: Buzaglo, Lucas, et al.
Veröffentlicht: (2024)

Maximal dimensional subalgebras of general Cartan‐type Lie algebras
von: Jason Bell, et al.
Veröffentlicht: (2024)

Wetting Transition on Trees I: Percolation With Clustering
von: Cortines, Aser, et al.
Veröffentlicht: (2024)

The Implicit Bias of Gradient Descent on Separable Multiclass Data
von: Ravi, Hrithik, et al.
Veröffentlicht: (2024)

Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification
von: Zhu, Xiaohan, et al.
Veröffentlicht: (2026)

Tight Bounds on the Binomial CDF, and the Minimum of i.i.d Binomials, in terms of KL-Divergence
von: Zhu, Xiaohan, et al.
Veröffentlicht: (2025)

Research Program: Theory of Learning in Dynamical Systems
von: Hazan, Elad, et al.
Veröffentlicht: (2025)

Non-uniform higher-rank lattices are character rigid
von: Dogon, Alon, et al.
Veröffentlicht: (2025)

Characters of diagonal products and Hilbert-Schmidt stability
von: Dogon, Alon, et al.
Veröffentlicht: (2024)

Faithfulness Serum: Mitigating the Faithfulness Gap in Textual Explanations of LLM Decisions via Attribution Guidance
von: Alon, Bar, et al.
Veröffentlicht: (2026)

Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights
von: Balasubramanian, Krishnakumar, et al.
Veröffentlicht: (2025)

Accelerating the Global Aggregation of Local Explanations
von: Mor, Alon, et al.
Veröffentlicht: (2023)

The Minimax Risk in Testing Uniformity over Large Alphabets under Missing-Ball Alternatives
von: Kipnis, Alon
Veröffentlicht: (2023)

On the Hardness of Learning Regular Expressions
von: Attias, Idan, et al.
Veröffentlicht: (2025)

Learning single-index models via harmonic decomposition
von: Joshi, Nirmit, et al.
Veröffentlicht: (2025)