Buchumschlag

Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bordelon, Blake, Pehlevan, Cengiz
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Disordered Systems and Neural Networks Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Deep Linear Network Training Dynamics from Random Initialization: Data, Width, Depth, and Hyperparameter Transfer
von: Bordelon, Blake, et al.
Veröffentlicht: (2025)

A Dynamical Model of Neural Scaling Laws
von: Bordelon, Blake, et al.
Veröffentlicht: (2024)

Transfer Learning in Infinite Width Feature Learning Networks
von: Lauditi, Clarissa, et al.
Veröffentlicht: (2025)

How Feature Learning Can Improve Neural Scaling Laws
von: Bordelon, Blake, et al.
Veröffentlicht: (2024)

Infinite Limits of Multi-head Transformer Dynamics
von: Bordelon, Blake, et al.
Veröffentlicht: (2024)

Spectral Dynamics in Deep Networks: Feature Learning, Outlier Escape, and Learning Rate Transfer
von: Lauditi, Clarissa, et al.
Veröffentlicht: (2026)

Adaptive kernel predictors from feature-learning infinite limits of neural networks
von: Lauditi, Clarissa, et al.
Veröffentlicht: (2025)

Theory of Scaling Laws for In-Context Regression: Depth, Width, Context and Time
von: Bordelon, Blake, et al.
Veröffentlicht: (2025)

Grokking as the Transition from Lazy to Rich Training Dynamics
von: Kumar, Tanishq, et al.
Veröffentlicht: (2023)

Dynamically Learning to Integrate in Recurrent Neural Networks
von: Bordelon, Blake, et al.
Veröffentlicht: (2025)

Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models
von: Atanasov, Alexander, et al.
Veröffentlicht: (2025)

Theory of Optimal Learning Rate Schedules and Scaling Laws for a Random Feature Model
von: Bordelon, Blake, et al.
Veröffentlicht: (2026)

Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles
von: Ruben, Benjamin S., et al.
Veröffentlicht: (2023)

Nadaraya-Watson kernel smoothing as a random energy model
von: Zavatone-Veth, Jacob A., et al.
Veröffentlicht: (2024)

No Free Lunch From Random Feature Ensembles: Scaling Laws and Near-Optimality Conditions
von: Ruben, Benjamin S., et al.
Veröffentlicht: (2024)

A solvable model of learning generative diffusion: theory and insights
von: Cui, Hugo, et al.
Veröffentlicht: (2025)

Risk and cross validation in ridge regression with correlated samples
von: Atanasov, Alexander, et al.
Veröffentlicht: (2024)

Scaling and renormalization in high-dimensional regression
von: Atanasov, Alexander, et al.
Veröffentlicht: (2024)

How does training shape the Riemannian geometry of neural network representations?
von: Zavatone-Veth, Jacob A., et al.
Veröffentlicht: (2023)

Asymptotic theory of in-context learning by linear attention
von: Lu, Yue M., et al.
Veröffentlicht: (2024)

Learning with Restricted Boltzmann Machines: Asymptotics of AMP and GD in High Dimensions
von: Xu, Yizhou, et al.
Veröffentlicht: (2025)

The RL Perceptron: Generalisation Dynamics of Policy Learning in High Dimensions
von: Patel, Nishil, et al.
Veröffentlicht: (2023)

A note on the dynamics of extended-context disordered kinetic spin models
von: Zavatone-Veth, Jacob A., et al.
Veröffentlicht: (2025)

Training Dynamics of Nonlinear Contrastive Learning Model in the High Dimensional Limit
von: Meng, Lineghuan, et al.
Veröffentlicht: (2024)

The effect of priors on Learning with Restricted Boltzmann Machines
von: Manzan, Gianluca, et al.
Veröffentlicht: (2024)

Dimension-free deterministic equivalents and scaling laws for random feature regression
von: Defilippis, Leonardo, et al.
Veröffentlicht: (2024)

How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model
von: Tomasini, Umberto, et al.
Veröffentlicht: (2024)

Beyond Disorder: Unveiling Cooperativeness in Multidirectional Associative Memories
von: Alessandrelli, Andrea, et al.
Veröffentlicht: (2025)

Modeling Structured Data Learning with Restricted Boltzmann Machines in the Teacher-Student Setting
von: Thériault, Robin, et al.
Veröffentlicht: (2024)

Random features and polynomial rules
von: Aguirre-López, Fabián, et al.
Veröffentlicht: (2024)

High-Dimensional Limit of Stochastic Gradient Flow via Dynamical Mean-Field Theory
von: Nishiyama, Sota, et al.
Veröffentlicht: (2026)

The Interplay of Data Structure and Imbalance in the Learning Dynamics of Diffusion Models
von: Nicoletti, Flavio, et al.
Veröffentlicht: (2026)

Exact Learning Dynamics of In-Context Learning in Linear Transformers and Its Application to Non-Linear Transformers
von: Mainali, Nischal, et al.
Veröffentlicht: (2025)

Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics
von: Avidan, Yehonatan, et al.
Veröffentlicht: (2023)

A Random-Matrix Criterion for Initializing Gated Recurrent Neural Networks
von: Fioratti, Tommaso, et al.
Veröffentlicht: (2026)

EB-RANSAC: Random Sample Consensus based on Energy-Based Model
von: Yasuda, Muneki, et al.
Veröffentlicht: (2026)

Small Singular Values Matter: A Random Matrix Analysis of Transformer Models
von: Staats, Max, et al.
Veröffentlicht: (2024)

Bilinear Sequence Regression: A Model for Learning from Long Sequences of High-dimensional Tokens
von: Erba, Vittorio, et al.
Veröffentlicht: (2024)

Dataset-Free Weight-Initialization on Restricted Boltzmann Machine
von: Yasuda, Muneki, et al.
Veröffentlicht: (2024)

Classification of Heavy-tailed Features in High Dimensions: a Superstatistical Approach
von: Adomaityte, Urte, et al.
Veröffentlicht: (2023)