Buchumschlag

A unified theory of feature learning in RNNs and DNNs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bauer, Jan P., Fischer, Kirsten, Helias, Moritz, Palmigiano, Agostina
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Disordered Systems and Neural Networks
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Field theory for optimal signal propagation in ResNets
von: Fischer, Kirsten, et al.
Veröffentlicht: (2023)

Critical feature learning in deep neural networks
von: Fischer, Kirsten, et al.
Veröffentlicht: (2024)

From Kernels to Features: A Multi-Scale Adaptive Theory of Feature Learning
von: Rubin, Noa, et al.
Veröffentlicht: (2025)

Lecture notes: From Gaussian processes to feature learning
von: Helias, Moritz, et al.
Veröffentlicht: (2026)

Graph Neural Networks Do Not Always Oversmooth
von: Epping, Bastian, et al.
Veröffentlicht: (2024)

Dynamics of neural scaling laws in random feature regression with powerlaw-distributed kernel eigenvalues
von: Kramp, Jakob, et al.
Veröffentlicht: (2026)

Renormalization group for deep neural networks: Universality of learning and scaling laws
von: Coppola, Gorka Peraza, et al.
Veröffentlicht: (2025)

Applications of Statistical Field Theory in Deep Learning
von: Ringel, Zohar, et al.
Veröffentlicht: (2025)

Linking Network and Neuron-level Correlations by Renormalized Field Theory
von: Dick, Michael, et al.
Veröffentlicht: (2023)

Applying statistical learning theory to deep learning
von: Gerbelot, Cédric, et al.
Veröffentlicht: (2023)

Learning curves theory for hierarchically compositional data with power-law distributed features
von: Cagnetta, Francesco, et al.
Veröffentlicht: (2025)

Spring-block theory of feature learning in deep neural networks
von: Shi, Cheng, et al.
Veröffentlicht: (2024)

Asymptotics of feature learning in two-layer networks after one gradient-step
von: Cui, Hugo, et al.
Veröffentlicht: (2024)

Adaptive kernel predictors from feature-learning infinite limits of neural networks
von: Lauditi, Clarissa, et al.
Veröffentlicht: (2025)

A solvable model of learning generative diffusion: theory and insights
von: Cui, Hugo, et al.
Veröffentlicht: (2025)

Effect of Synaptic Heterogeneity on Neuronal Coordination
von: Layer, Moritz, et al.
Veröffentlicht: (2023)

Asymptotic theory of in-context learning by linear attention
von: Lu, Yue M., et al.
Veröffentlicht: (2024)

Reduction of interaction order in hard combinatorial optimization via conditionally independent degrees of freedom
von: Ciobanu, Alexandru, et al.
Veröffentlicht: (2025)

Random features and polynomial rules
von: Aguirre-López, Fabián, et al.
Veröffentlicht: (2024)

Dimension-free deterministic equivalents and scaling laws for random feature regression
von: Defilippis, Leonardo, et al.
Veröffentlicht: (2024)

Two failure modes of deep transformers and how to avoid them: a unified theory of signal propagation at initialisation
von: Giorlandino, Alessio, et al.
Veröffentlicht: (2025)

Machine learning for sustainable geoenergy: uncertainty, physics and decision-ready inference
von: Menke, Hannah P., et al.
Veröffentlicht: (2026)

When resampling/reweighting improves feature learning in imbalanced classification?: A toy-model study
von: Obuchi, Tomoyuki, et al.
Veröffentlicht: (2024)

Deep neural networks from the perspective of ergodic theory
von: Zhang, Fan
Veröffentlicht: (2023)

High-dimensional learning of narrow neural networks
von: Cui, Hugo
Veröffentlicht: (2024)

Dynamics of Meta-learning Representation in the Teacher-student Scenario
von: Wang, Hui, et al.
Veröffentlicht: (2024)

Optimal thresholds and algorithms for a model of multi-modal learning in high dimensions
von: Keup, Christian, et al.
Veröffentlicht: (2024)

Beyond-mean-field fluctuations for the solution of constraint satisfaction problems
von: Foos, Niklas, et al.
Veröffentlicht: (2025)

Transient learning dynamics drive escape from sharp valleys in Stochastic Gradient Descent
von: Yang, Ning, et al.
Veröffentlicht: (2026)

A solvable high-dimensional model where nonlinear autoencoders learn structure invisible to PCA while test loss misaligns with generalization
von: Mendes, Vicente Conde, et al.
Veröffentlicht: (2026)

Implicit bias produces neural scaling laws in learning curves, from perceptrons to deep networks
von: D'Amico, Francesco, et al.
Veröffentlicht: (2025)

Fundamental limits of learning in sequence multi-index models and deep attention networks: High-dimensional asymptotics and sharp thresholds
von: Troiani, Emanuele, et al.
Veröffentlicht: (2025)

Statistical Advantage of Softmax Attention: Insights from Single-Location Regression
von: Duranthon, O., et al.
Veröffentlicht: (2025)

Class Imbalance in Anomaly Detection: Learning from an Exactly Solvable Model
von: Pezzicoli, F. S., et al.
Veröffentlicht: (2025)

Cell reprogramming design by transfer learning of functional transcriptional networks
von: Wytock, Thomas P., et al.
Veröffentlicht: (2024)

On the role of non-linear latent features in bipartite generative neural networks
von: Bonnaire, Tony, et al.
Veröffentlicht: (2025)

Universal characteristics of deep neural network loss surfaces from random matrix theory
von: Baskerville, Nicholas P, et al.
Veröffentlicht: (2022)

The Training Process of Many Deep Networks Explores the Same Low-Dimensional Manifold
von: Mao, Jialin, et al.
Veröffentlicht: (2023)

A Generative Diffusion Model for Amorphous Materials
von: Yang, Kai, et al.
Veröffentlicht: (2025)

A Dynamical Model of Neural Scaling Laws
von: Bordelon, Blake, et al.
Veröffentlicht: (2024)