Buchumschlag

High-Dimensional Limit of Stochastic Gradient Flow via Dynamical Mean-Field Theory

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Nishiyama, Sota, Imaizumi, Masaaki
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Disordered Systems and Neural Networks
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Precise Dynamics of Diagonal Linear Networks: A Unifying Analysis by Dynamical Mean-Field Theory
von: Nishiyama, Sota, et al.
Veröffentlicht: (2025)

Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions
von: Nishiyama, Sota, et al.
Veröffentlicht: (2024)

Dynamical Mean-Field Theory of Self-Attention Neural Networks
von: Poc-López, Ángel, et al.
Veröffentlicht: (2024)

Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features
von: Veiga, Rodrigo, et al.
Veröffentlicht: (2024)

Training Dynamics of Nonlinear Contrastive Learning Model in the High Dimensional Limit
von: Meng, Lineghuan, et al.
Veröffentlicht: (2024)

Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models
von: Atanasov, Alexander, et al.
Veröffentlicht: (2025)

On the different regimes of Stochastic Gradient Descent
von: Sclocchi, Antonio, et al.
Veröffentlicht: (2023)

High-Dimensional Analysis of Gradient Flow for Extensive-Width Quadratic Neural Networks
von: Martin, Simon, et al.
Veröffentlicht: (2026)

Transient learning dynamics drive escape from sharp valleys in Stochastic Gradient Descent
von: Yang, Ning, et al.
Veröffentlicht: (2026)

Infinite Limits of Multi-head Transformer Dynamics
von: Bordelon, Blake, et al.
Veröffentlicht: (2024)

Anti-Correlated Noise in Epoch-Based Stochastic Gradient Descent: Implications for Weight Variances in Flat Directions
von: Kühn, Marcel, et al.
Veröffentlicht: (2023)

Growing Neural Networks: Dynamic Evolution through Gradient Descent
von: Radhakrishnan, Anil, et al.
Veröffentlicht: (2025)

Emergence of Distortions in High-Dimensional Guided Diffusion Models
von: Ventura, Enrico, et al.
Veröffentlicht: (2026)

Dynamic Mean-Field Theory for Continuous Random Networks
von: Zúñiga-Galindo, W. A.
Veröffentlicht: (2024)

Optimal Spectral Transitions in High-Dimensional Multi-Index Models
von: Defilippis, Leonardo, et al.
Veröffentlicht: (2025)

Stochastic Interpolants: A Unifying Framework for Flows and Diffusions
von: Albergo, Michael S., et al.
Veröffentlicht: (2023)

A High Dimensional Statistical Model for Adversarial Training: Geometry and Trade-Offs
von: Tanner, Kasimir, et al.
Veröffentlicht: (2024)

Random Matrix Theory for Stochastic Gradient Descent
von: Park, Chanju, et al.
Veröffentlicht: (2024)

Topological Exploration of High-Dimensional Empirical Risk Landscapes: general approach, and applications to phase retrieval
von: Maillard, Antoine, et al.
Veröffentlicht: (2026)

The RL Perceptron: Generalisation Dynamics of Policy Learning in High Dimensions
von: Patel, Nishil, et al.
Veröffentlicht: (2023)

Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning
von: Bordelon, Blake, et al.
Veröffentlicht: (2026)

Convergence Acceleration of Markov Chain Monte Carlo-based Gradient Descent by Deep Unfolding
von: Hagiwara, Ryo, et al.
Veröffentlicht: (2024)

The Training Process of Many Deep Networks Explores the Same Low-Dimensional Manifold
von: Mao, Jialin, et al.
Veröffentlicht: (2023)

Graph Neural Network Approach to Predicting Magnetization in Quasi-One-Dimensional Ising Systems
von: Slavin, V., et al.
Veröffentlicht: (2025)

A Theory of Saddle Escape in Deep Nonlinear Networks
von: Rawal, Divit, et al.
Veröffentlicht: (2026)

Field theory for optimal signal propagation in ResNets
von: Fischer, Kirsten, et al.
Veröffentlicht: (2023)

Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems
von: Angelini, Maria Chiara, et al.
Veröffentlicht: (2023)

Theory of Speciation Transitions in Diffusion Models with General Class Structure
von: Achilli, Beatrice, et al.
Veröffentlicht: (2026)

Applications of Statistical Field Theory in Deep Learning
von: Ringel, Zohar, et al.
Veröffentlicht: (2025)

Theory of Scaling Laws for In-Context Regression: Depth, Width, Context and Time
von: Bordelon, Blake, et al.
Veröffentlicht: (2025)

Bayesian RG Flow in Neural Network Field Theories
von: Howard, Jessica N., et al.
Veröffentlicht: (2024)

From Kernels to Features: A Multi-Scale Adaptive Theory of Feature Learning
von: Rubin, Noa, et al.
Veröffentlicht: (2025)

$L_0$ Regularization of Field-Aware Factorization Machine through Ising Model
von: Okamoto, Yasuharu
Veröffentlicht: (2024)

Theory of Optimal Learning Rate Schedules and Scaling Laws for a Random Feature Model
von: Bordelon, Blake, et al.
Veröffentlicht: (2026)

Universal Approximation of Mean-Field Models via Transformers
von: Biswal, Shiba, et al.
Veröffentlicht: (2024)

Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning
von: Dandi, Yatin, et al.
Veröffentlicht: (2026)

Dynamical Regimes of Multimodal Diffusion Models
von: Albrychiewicz, Emil, et al.
Veröffentlicht: (2026)

The Role of the Time-Dependent Hessian in High-Dimensional Optimization
von: Bonnaire, Tony, et al.
Veröffentlicht: (2024)

A Dynamical Model of Neural Scaling Laws
von: Bordelon, Blake, et al.
Veröffentlicht: (2024)

High-dimensional Asymptotics of Denoising Autoencoders
von: Cui, Hugo, et al.
Veröffentlicht: (2023)