Buchumschlag

Dynamics of neural scaling laws in random feature regression with powerlaw-distributed kernel eigenvalues

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kramp, Jakob, Lindner, Javed, Helias, Moritz
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Disordered Systems and Neural Networks
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Critical feature learning in deep neural networks
von: Fischer, Kirsten, et al.
Veröffentlicht: (2024)

Lecture notes: From Gaussian processes to feature learning
von: Helias, Moritz, et al.
Veröffentlicht: (2026)

Renormalization group for deep neural networks: Universality of learning and scaling laws
von: Coppola, Gorka Peraza, et al.
Veröffentlicht: (2025)

Dimension-free deterministic equivalents and scaling laws for random feature regression
von: Defilippis, Leonardo, et al.
Veröffentlicht: (2024)

A unified theory of feature learning in RNNs and DNNs
von: Bauer, Jan P., et al.
Veröffentlicht: (2026)

Linking Network and Neuron-level Correlations by Renormalized Field Theory
von: Dick, Michael, et al.
Veröffentlicht: (2023)

From Kernels to Features: A Multi-Scale Adaptive Theory of Feature Learning
von: Rubin, Noa, et al.
Veröffentlicht: (2025)

Effect of Synaptic Heterogeneity on Neuronal Coordination
von: Layer, Moritz, et al.
Veröffentlicht: (2023)

Reduction of interaction order in hard combinatorial optimization via conditionally independent degrees of freedom
von: Ciobanu, Alexandru, et al.
Veröffentlicht: (2025)

Field theory for optimal signal propagation in ResNets
von: Fischer, Kirsten, et al.
Veröffentlicht: (2023)

Graph Neural Networks Do Not Always Oversmooth
von: Epping, Bastian, et al.
Veröffentlicht: (2024)

Adaptive kernel predictors from feature-learning infinite limits of neural networks
von: Lauditi, Clarissa, et al.
Veröffentlicht: (2025)

Beyond-mean-field fluctuations for the solution of constraint satisfaction problems
von: Foos, Niklas, et al.
Veröffentlicht: (2025)

Banded non-Hermitian random matrices, neural networks, and eigenvalue degeneracies
von: Huang, Richard, et al.
Veröffentlicht: (2026)

On the origin of neural scaling laws: from random graphs to natural language
von: Barkeshli, Maissam, et al.
Veröffentlicht: (2026)

Furutsu-Novikov--like cross-correlation--response relations for systems driven by shot noise
von: Stubenrauch, Jakob, et al.
Veröffentlicht: (2024)

Impact of heavy-tailed synaptic strength distributions on self-sustained activity in networks of spiking neurons
von: Tönjes, Ralf, et al.
Veröffentlicht: (2026)

Generative random latent features models and statistics of natural images
von: Fleig, Philipp, et al.
Veröffentlicht: (2022)

Learning curves theory for hierarchically compositional data with power-law distributed features
von: Cagnetta, Francesco, et al.
Veröffentlicht: (2025)

Classes of non-Gaussian random matrices: long-range eigenvalue correlations and non-ergodic extended eigenvectors
von: Baron, Joseph W.
Veröffentlicht: (2025)

Implicit bias produces neural scaling laws in learning curves, from perceptrons to deep networks
von: D'Amico, Francesco, et al.
Veröffentlicht: (2025)

On the synaptic matrix eigenvalues of sparsely connected neural networks
von: Ansari, Mohd. Gayas, et al.
Veröffentlicht: (2026)

Applications of Statistical Field Theory in Deep Learning
von: Ringel, Zohar, et al.
Veröffentlicht: (2025)

Graphicality of power-law and double power-law degree sequences
von: Valigi, Pietro, et al.
Veröffentlicht: (2025)

Dynamical fluctuations of random walks in higher-order networks
von: Di Gaetano, Leonardo, et al.
Veröffentlicht: (2023)

Nadaraya-Watson kernel smoothing as a random energy model
von: Zavatone-Veth, Jacob A., et al.
Veröffentlicht: (2024)

Microscopic and collective signatures of feature learning in neural networks
von: Corti, Andrea, et al.
Veröffentlicht: (2025)

Sharp feature-learning transitions and Bayes-optimal neural scaling laws in extensive-width networks
von: Nguyen, Minh-Toan, et al.
Veröffentlicht: (2026)

Topological marker in three dimensions based on kernel polynomial method
von: Roy, Ranadeep, et al.
Veröffentlicht: (2025)

A universal compression theory for lottery ticket hypothesis and neural scaling laws
von: Wang, Hong-Yi, et al.
Veröffentlicht: (2025)

Generalized hetero-associative neural networks
von: Agliari, Elena, et al.
Veröffentlicht: (2024)

Multifractality in critical neural field dynamics
von: Dumeur, Merlin, et al.
Veröffentlicht: (2023)

Dynamical scaling behavior of the two-dimensional random singlet state in the random $Q$ model
von: Peng, Chen, et al.
Veröffentlicht: (2024)

Anomalous random networks
von: Zhang, Hong, et al.
Veröffentlicht: (2024)

Generalized Aubry-André-Harper model with power-law quasiperiodic potentials
von: Wang, Ya-Nan, et al.
Veröffentlicht: (2025)

Renormalization group analysis of noisy neural field
von: Zang, Jie, et al.
Veröffentlicht: (2025)

Partial annealing and pattern decorrelation in associative neural networks
von: Albanese, Linda, et al.
Veröffentlicht: (2026)

Improving deep neural network performance through sampling
von: Ghantasala, Lakshmi A., et al.
Veröffentlicht: (2025)

An exactly solvable model for emergence and scaling laws in the multitask sparse parity problem
von: Nam, Yoonsoo, et al.
Veröffentlicht: (2024)

Low-resolution descriptions of model neural activity reveal hidden features and underlying system properties
von: Aldrigo, Riccardo, et al.
Veröffentlicht: (2024)