Buchumschlag

The Role of the Time-Dependent Hessian in High-Dimensional Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bonnaire, Tony, Biroli, Giulio, Cammarota, Chiara
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Disordered Systems and Neural Networks Statistical Mechanics
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Discontinuous BBP transitions
von: Bocchi, Dario, et al.
Veröffentlicht: (2026)

Topological Exploration of High-Dimensional Empirical Risk Landscapes: general approach, and applications to phase retrieval
von: Maillard, Antoine, et al.
Veröffentlicht: (2026)

Eigenvalue spectral tails and localization properties of asymmetric networks
von: Valigi, Pietro, et al.
Veröffentlicht: (2025)

On the role of non-linear latent features in bipartite generative neural networks
von: Bonnaire, Tony, et al.
Veröffentlicht: (2025)

Cascade of phase transitions in the training of Energy-based models
von: Bachtis, Dimitrios, et al.
Veröffentlicht: (2024)

Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
von: Bonnaire, Tony, et al.
Veröffentlicht: (2025)

Escape dynamics and implicit bias of one-pass SGD in overparameterized quadratic networks
von: Bocchi, Dario, et al.
Veröffentlicht: (2026)

Overparametrization bends the landscape: BBP transitions at initialization in simple Neural Networks
von: Annesi, Brandon Livio, et al.
Veröffentlicht: (2025)

Kernel Density Estimators in Large Dimensions
von: Biroli, Giulio, et al.
Veröffentlicht: (2024)

When is nonreciprocity relevant?
von: Lorenzana, Giulia Garcia, et al.
Veröffentlicht: (2025)

Interactions and migration rescuing ecological diversity
von: Lorenzana, Giulia Garcia, et al.
Veröffentlicht: (2023)

Dynamical systems on large networks with predator-prey interactions are stable and exhibit oscillations
von: Mambuca, Andrea Marcello, et al.
Veröffentlicht: (2020)

Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems
von: Angelini, Maria Chiara, et al.
Veröffentlicht: (2023)

The critical slowing down in diffusion models
von: Del Bono, Luca Maria, et al.
Veröffentlicht: (2026)

The Role of Pseudo-labels in Self-training Linear Classifiers on High-dimensional Gaussian Mixture Data
von: Takahashi, Takashi
Veröffentlicht: (2022)

Wavelet Conditional Renormalization Group
von: Marchand, Tanguy, et al.
Veröffentlicht: (2022)

Yielding and plasticity in amorphous solids
von: Berthier, Ludovic, et al.
Veröffentlicht: (2024)

Fundamental operating regimes, hyper-parameter fine-tuning and glassiness: towards an interpretable replica-theory for trained restricted Boltzmann machines
von: Fachechi, Alberto, et al.
Veröffentlicht: (2024)

Optimal Protocols for Continual Learning via Statistical Physics and Control Theory
von: Mori, Francesco, et al.
Veröffentlicht: (2024)

Discrete generative diffusion models without stochastic differential equations: a tensor network approach
von: Causer, Luke, et al.
Veröffentlicht: (2024)

Transfer Learning in $\ell_1$ Regularized Regression: Hyperparameter Selection Strategy based on Sharp Asymptotic Analysis
von: Okajima, Koki, et al.
Veröffentlicht: (2024)

Dynamic neuron approach to deep neural networks: Decoupling neurons for renormalization group analysis
von: Lee, Donghee, et al.
Veröffentlicht: (2024)

Generalization vs. Specialization under Concept Shift
von: Nguyen, Alex, et al.
Veröffentlicht: (2024)

Gaussian Universality in Neural Network Dynamics with Generalized Structured Input Distributions
von: Bae, Jaeyong, et al.
Veröffentlicht: (2024)

Coding schemes in neural networks learning classification tasks
von: van Meegen, Alexander, et al.
Veröffentlicht: (2024)

Nonequilbrium physics of generative diffusion models
von: Yu, Zhendong, et al.
Veröffentlicht: (2024)

A replica analysis of under-bagging
von: Takahashi, Takashi
Veröffentlicht: (2024)

Spring-block theory of feature learning in deep neural networks
von: Shi, Cheng, et al.
Veröffentlicht: (2024)

Fast training and sampling of Restricted Boltzmann Machines
von: Béreux, Nicolas, et al.
Veröffentlicht: (2024)

Dissecting the Interplay of Attention Paths in a Statistical Mechanics Theory of Transformers
von: Tiberi, Lorenzo, et al.
Veröffentlicht: (2024)

Machine learning the Ising transition: A comparison between discriminative and generative approaches
von: Zhang, Difei, et al.
Veröffentlicht: (2024)

Message Passing Variational Autoregressive Network for Solving Intractable Ising Models
von: Ma, Qunlong, et al.
Veröffentlicht: (2024)

Analytic theory of dropout regularization
von: Mori, Francesco, et al.
Veröffentlicht: (2025)

The Copycat Perceptron: Smashing Barriers Through Collective Learning
von: Catania, Giovanni, et al.
Veröffentlicht: (2023)

The autoregressive neural network architecture of the Boltzmann distribution of pairwise interacting spins systems
von: Biazzo, Indaco
Veröffentlicht: (2023)

Distinct mechanisms underlying in-context learning in transformers
von: Gibson, Cole, et al.
Veröffentlicht: (2026)

Interpreting the Synchronization Gap: The Hidden Mechanism Inside Diffusion Transformers
von: Albrychiewicz, Emil, et al.
Veröffentlicht: (2026)

Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks
von: Tamai, Keiichi, et al.
Veröffentlicht: (2023)

Two failure modes of deep transformers and how to avoid them: a unified theory of signal propagation at initialisation
von: Giorlandino, Alessio, et al.
Veröffentlicht: (2025)

Inferring Higher-Order Couplings with Neural Networks
von: Decelle, Aurélien, et al.
Veröffentlicht: (2025)