Buchumschlag

Memorisation, convergence and generalisation in generative models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Maillard, Antoine, Goldt, Sebastian
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Disordered Systems and Neural Networks Statistical Mechanics
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Factual recall in linear associative memories: sharp asymptotics and mechanistic insights
von: Giorlandino, Alessio, et al.
Veröffentlicht: (2026)

Two failure modes of deep transformers and how to avoid them: a unified theory of signal propagation at initialisation
von: Giorlandino, Alessio, et al.
Veröffentlicht: (2025)

A Fourier perspective on the learning dynamics of neural networks: from sample complexities to mechanistic insights
von: Ricci, Fabiola, et al.
Veröffentlicht: (2026)

Feature learning from non-Gaussian inputs: the case of Independent Component Analysis in high dimensions
von: Ricci, Fabiola, et al.
Veröffentlicht: (2025)

Mapping of attention mechanisms to a generalized Potts model
von: Rende, Riccardo, et al.
Veröffentlicht: (2023)

Nonequilbrium physics of generative diffusion models
von: Yu, Zhendong, et al.
Veröffentlicht: (2024)

Explaining the effects of non-convergent sampling in the training of Energy-Based Models
von: Agoritsas, Elisabeth, et al.
Veröffentlicht: (2023)

Discrete generative diffusion models without stochastic differential equations: a tensor network approach
von: Causer, Luke, et al.
Veröffentlicht: (2024)

The committee machine: Computational to statistical gaps in learning a two-layers neural network
von: Aubin, Benjamin, et al.
Veröffentlicht: (2018)

Generalization Dynamics of Linear Diffusion Models
von: Merger, Claudia, et al.
Veröffentlicht: (2025)

On the role of non-linear latent features in bipartite generative neural networks
von: Bonnaire, Tony, et al.
Veröffentlicht: (2025)

Machine learning the Ising transition: A comparison between discriminative and generative approaches
von: Zhang, Difei, et al.
Veröffentlicht: (2024)

A theoretical framework for overfitting in energy-based modeling
von: Catania, Giovanni, et al.
Veröffentlicht: (2025)

Cascade of phase transitions in the training of Energy-based models
von: Bachtis, Dimitrios, et al.
Veröffentlicht: (2024)

Optimal generalisation and learning transition in extensive-width shallow neural networks near interpolation
von: Barbier, Jean, et al.
Veröffentlicht: (2025)

Eigenvalues of random matrices with generalised correlations: a path integral approach
von: Baron, Joseph W., et al.
Veröffentlicht: (2021)

Distinct mechanisms underlying in-context learning in transformers
von: Gibson, Cole, et al.
Veröffentlicht: (2026)

Interpreting the Synchronization Gap: The Hidden Mechanism Inside Diffusion Transformers
von: Albrychiewicz, Emil, et al.
Veröffentlicht: (2026)

Escape dynamics and implicit bias of one-pass SGD in overparameterized quadratic networks
von: Bocchi, Dario, et al.
Veröffentlicht: (2026)

From Classical to Quantum: Extending Prometheus for Unsupervised Discovery of Phase Transitions in Three Dimensions and Quantum Systems
von: Yee, Brandon, et al.
Veröffentlicht: (2026)

The Symmetric Perceptron: a Teacher-Student Scenario
von: Catania, Giovanni, et al.
Veröffentlicht: (2026)

Rare Event Analysis of Large Language Models
von: Dorman, Jake McAllister, et al.
Veröffentlicht: (2026)

How does Chain of Thought decompose complex tasks?
von: Nadgir, Amrut, et al.
Veröffentlicht: (2026)

Biased Generalization in Diffusion Models
von: Garnier-Brun, Jerome, et al.
Veröffentlicht: (2026)

Analytic theory of dropout regularization
von: Mori, Francesco, et al.
Veröffentlicht: (2025)

The Copycat Perceptron: Smashing Barriers Through Collective Learning
von: Catania, Giovanni, et al.
Veröffentlicht: (2023)

Fundamental operating regimes, hyper-parameter fine-tuning and glassiness: towards an interpretable replica-theory for trained restricted Boltzmann machines
von: Fachechi, Alberto, et al.
Veröffentlicht: (2024)

The autoregressive neural network architecture of the Boltzmann distribution of pairwise interacting spins systems
von: Biazzo, Indaco
Veröffentlicht: (2023)

Optimal Protocols for Continual Learning via Statistical Physics and Control Theory
von: Mori, Francesco, et al.
Veröffentlicht: (2024)

Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks
von: Tamai, Keiichi, et al.
Veröffentlicht: (2023)

Inferring Higher-Order Couplings with Neural Networks
von: Decelle, Aurélien, et al.
Veröffentlicht: (2025)

The Physics of Data and Tasks: Theories of Locality and Compositionality in Deep Learning
von: Favero, Alessandro
Veröffentlicht: (2025)

Sampling with flows, diffusion and autoregressive neural networks: A spin-glass perspective
von: Ghio, Davide, et al.
Veröffentlicht: (2023)

Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems
von: Angelini, Maria Chiara, et al.
Veröffentlicht: (2023)

Inferring effective couplings with Restricted Boltzmann Machines
von: Decelle, Aurélien, et al.
Veröffentlicht: (2023)

Transfer Learning in $\ell_1$ Regularized Regression: Hyperparameter Selection Strategy based on Sharp Asymptotic Analysis
von: Okajima, Koki, et al.
Veröffentlicht: (2024)

Uncertainty in AI-driven Monte Carlo simulations
von: Tzivrailis, Dimitrios, et al.
Veröffentlicht: (2025)

Dynamic neuron approach to deep neural networks: Decoupling neurons for renormalization group analysis
von: Lee, Donghee, et al.
Veröffentlicht: (2024)

Generalization vs. Specialization under Concept Shift
von: Nguyen, Alex, et al.
Veröffentlicht: (2024)

Gaussian Universality in Neural Network Dynamics with Generalized Structured Input Distributions
von: Bae, Jaeyong, et al.
Veröffentlicht: (2024)