Buchumschlag

Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Atanasov, Alexander, Bordelon, Blake, Zavatone-Veth, Jacob A., Paquette, Courtney, Pehlevan, Cengiz
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Disordered Systems and Neural Networks Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Risk and cross validation in ridge regression with correlated samples
von: Atanasov, Alexander, et al.
Veröffentlicht: (2024)

Scaling and renormalization in high-dimensional regression
von: Atanasov, Alexander, et al.
Veröffentlicht: (2024)

A Dynamical Model of Neural Scaling Laws
von: Bordelon, Blake, et al.
Veröffentlicht: (2024)

Dynamically Learning to Integrate in Recurrent Neural Networks
von: Bordelon, Blake, et al.
Veröffentlicht: (2025)

How Feature Learning Can Improve Neural Scaling Laws
von: Bordelon, Blake, et al.
Veröffentlicht: (2024)

Nadaraya-Watson kernel smoothing as a random energy model
von: Zavatone-Veth, Jacob A., et al.
Veröffentlicht: (2024)

Deep Linear Network Training Dynamics from Random Initialization: Data, Width, Depth, and Hyperparameter Transfer
von: Bordelon, Blake, et al.
Veröffentlicht: (2025)

A note on the dynamics of extended-context disordered kinetic spin models
von: Zavatone-Veth, Jacob A., et al.
Veröffentlicht: (2025)

Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning
von: Bordelon, Blake, et al.
Veröffentlicht: (2026)

Infinite Limits of Multi-head Transformer Dynamics
von: Bordelon, Blake, et al.
Veröffentlicht: (2024)

How does training shape the Riemannian geometry of neural network representations?
von: Zavatone-Veth, Jacob A., et al.
Veröffentlicht: (2023)

Adaptive kernel predictors from feature-learning infinite limits of neural networks
von: Lauditi, Clarissa, et al.
Veröffentlicht: (2025)

Transfer Learning in Infinite Width Feature Learning Networks
von: Lauditi, Clarissa, et al.
Veröffentlicht: (2025)

Spectral Dynamics in Deep Networks: Feature Learning, Outlier Escape, and Learning Rate Transfer
von: Lauditi, Clarissa, et al.
Veröffentlicht: (2026)

Theory of Scaling Laws for In-Context Regression: Depth, Width, Context and Time
von: Bordelon, Blake, et al.
Veröffentlicht: (2025)

Grokking as the Transition from Lazy to Rich Training Dynamics
von: Kumar, Tanishq, et al.
Veröffentlicht: (2023)

Asymptotic theory of in-context learning by linear attention
von: Lu, Yue M., et al.
Veröffentlicht: (2024)

Theory of Optimal Learning Rate Schedules and Scaling Laws for a Random Feature Model
von: Bordelon, Blake, et al.
Veröffentlicht: (2026)

Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles
von: Ruben, Benjamin S., et al.
Veröffentlicht: (2023)

A solvable model of learning generative diffusion: theory and insights
von: Cui, Hugo, et al.
Veröffentlicht: (2025)

No Free Lunch From Random Feature Ensembles: Scaling Laws and Near-Optimality Conditions
von: Ruben, Benjamin S., et al.
Veröffentlicht: (2024)

Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features
von: Veiga, Rodrigo, et al.
Veröffentlicht: (2024)

High-Dimensional Limit of Stochastic Gradient Flow via Dynamical Mean-Field Theory
von: Nishiyama, Sota, et al.
Veröffentlicht: (2026)

On the different regimes of Stochastic Gradient Descent
von: Sclocchi, Antonio, et al.
Veröffentlicht: (2023)

Transient learning dynamics drive escape from sharp valleys in Stochastic Gradient Descent
von: Yang, Ning, et al.
Veröffentlicht: (2026)

Anti-Correlated Noise in Epoch-Based Stochastic Gradient Descent: Implications for Weight Variances in Flat Directions
von: Kühn, Marcel, et al.
Veröffentlicht: (2023)

Growing Neural Networks: Dynamic Evolution through Gradient Descent
von: Radhakrishnan, Anil, et al.
Veröffentlicht: (2025)

Exact Learning Dynamics of In-Context Learning in Linear Transformers and Its Application to Non-Linear Transformers
von: Mainali, Nischal, et al.
Veröffentlicht: (2025)

Precise Dynamics of Diagonal Linear Networks: A Unifying Analysis by Dynamical Mean-Field Theory
von: Nishiyama, Sota, et al.
Veröffentlicht: (2025)

Dynamical Decoupling of Generalization and Overfitting in Large Two-Layer Networks
von: Montanari, Andrea, et al.
Veröffentlicht: (2025)

Kernel Renormalization in Bayesian Deep Neural Networks: the Equivalent Wishart Ansatz in the Proportional Regime
von: Baglioni, Paolo, et al.
Veröffentlicht: (2026)

Generalization Dynamics of Linear Diffusion Models
von: Merger, Claudia, et al.
Veröffentlicht: (2025)

Dynamical Regimes of Multimodal Diffusion Models
von: Albrychiewicz, Emil, et al.
Veröffentlicht: (2026)

Stochastic Dynamics of Skyrmions on a Racetrack: Impact of Equilibrium and Nonequilibrium Noise
von: Hlushchenko, Anton V., et al.
Veröffentlicht: (2025)

Deterministic roughening in the dc-driven precessional regime of domain walls
von: Pusiol, E. F., et al.
Veröffentlicht: (2025)

Learning Linear Regression with Low-Rank Tasks in-Context
von: Takanami, Kaito, et al.
Veröffentlicht: (2025)

Stochastic Dynamics of Domain Wall on a Racetrack: Impact of Line-Edge Roughness
von: Hlushchenko, Anton V., et al.
Veröffentlicht: (2026)

The Interplay of Data Structure and Imbalance in the Learning Dynamics of Diffusion Models
von: Nicoletti, Flavio, et al.
Veröffentlicht: (2026)

Exact Fixed-Point Constraints in Neural-ODEs with Provable Universality
von: Pacifico, Feliciano Giuseppe, et al.
Veröffentlicht: (2026)

Convergence Acceleration of Markov Chain Monte Carlo-based Gradient Descent by Deep Unfolding
von: Hagiwara, Ryo, et al.
Veröffentlicht: (2024)