Buchumschlag

Quantifying Concentration Phenomena of Mean-Field Transformers in the Low-Temperature Regime

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Alcalde, Albert, Bungert, Leon, Riedl, Konstantin, Roith, Tim
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Analysis of PDEs Machine Learning Dynamical Systems 68T07, 35Q68
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Training-Induced Escape from Token Clustering in a Mean-Field Formulation of Transformers
von: Isobe, Noboru, et al.
Veröffentlicht: (2026)

A Unified Perspective on the Dynamics of Deep Transformers
von: Castin, Valérie, et al.
Veröffentlicht: (2025)

Clustering in Causal Attention Masking
von: Karagodin, Nikita, et al.
Veröffentlicht: (2024)

Perturbation Analysis and Neural Network-Based Initial Condition Estimation for the Sine-Gordon Equation
von: Ha, Junhong, et al.
Veröffentlicht: (2025)

On the convergence of PINNs for inverse source problem in the complex Ginzburg-Landau equation
von: Cheng, Xing, et al.
Veröffentlicht: (2025)

Quantitative Convergence of Wasserstein Gradient Flows of Kernel Mean Discrepancies
von: Chizat, Lénaïc, et al.
Veröffentlicht: (2026)

Analysis of mean-field models arising from self-attention dynamics in transformer architectures with layer normalization
von: Burger, Martin, et al.
Veröffentlicht: (2025)

A Helicity-Conservative Domain-Decomposed Physics-Informed Neural Network for Incompressible Non-Newtonian Flow
von: Lu, Zheng, et al.
Veröffentlicht: (2026)

Neural Discovery of Strichartz Extremizers
von: Valenzuela, Nicolás, et al.
Veröffentlicht: (2026)

Global Convergence of Adjoint-Optimized Neural PDEs
von: Riedl, Konstantin, et al.
Veröffentlicht: (2025)

Ratio convergence rates for Euclidean first-passage percolation: Applications to the graph infinity Laplacian
von: Bungert, Leon, et al.
Veröffentlicht: (2022)

Diffeomorphic Measure Matching with Kernels for Generative Modeling
von: Pandey, Biraj, et al.
Veröffentlicht: (2024)

Wasserstein-Łojasiewicz inequalities and asymptotics of McKean-Vlasov equation
von: Choi, Beomjun, et al.
Veröffentlicht: (2025)

Clustering in pure-attention hardmax transformers and its role in sentiment analysis
von: Alcalde, Albert, et al.
Veröffentlicht: (2024)

Quantitative Local Convergence of Mean-Field Stein Variational Gradient Flow
von: Chizat, Lénaïc, et al.
Veröffentlicht: (2026)

Calibrated Semantic Diffusion: A p-Laplacian Synthesis with Learnable Dissipation, Quantified Constants, and Graph-Aware Calibration
von: Alpay, Faruk, et al.
Veröffentlicht: (2025)

Weak Adversarial Neural Pushforward Method for the McKean-Vlasov / Mean-Field Fokker-Planck Equation
von: He, Andrew Qing, et al.
Veröffentlicht: (2026)

Transport based particle methods for the Fokker-Planck-Landau equation
von: Ilin, Vasily, et al.
Veröffentlicht: (2024)

Two-Time-Scale Learning Dynamics: A Population View of Neural Network Training
von: Borghi, Giacomo, et al.
Veröffentlicht: (2026)

Machine Learning-based quadratic closures for non-intrusive Reduced Order Models
von: Codega, Gabriele, et al.
Veröffentlicht: (2025)

A PINNs approach for the computation of eigenvalues in elliptic problems
von: Bonder, Julian Fernandez, et al.
Veröffentlicht: (2025)

Time-Delayed Transformers for Data-Driven Modeling of Low-Dimensional Dynamics
von: Alcalde, Albert, et al.
Veröffentlicht: (2026)

Multi-Headed Transformer Architectures as Time-dependent Wasserstein Gradient Flows
von: Massucco, Alex, et al.
Veröffentlicht: (2026)

A non-autonomous p-Adic diffusion equation on time changing graphs
von: Bradley, Patrick Erik, et al.
Veröffentlicht: (2024)

Long-Timescale Soliton Dynamics in the Korteweg-de Vries Equation with Multiplicative Translation-Invariant Noise
von: Westdorp, Rik W. S., et al.
Veröffentlicht: (2023)

The regularity of electronic wave functions in Barron spaces
von: Yserentant, Harry
Veröffentlicht: (2025)

Teaching and Learning under Deductive Errors
von: Telle, Jan Arne, et al.
Veröffentlicht: (2026)

Machine learning on manifolds for inverse scattering: Lipschitz stability analysis
von: Ganesh, Mahadevan, et al.
Veröffentlicht: (2025)

Is Stochastic Gradient Descent Effective? A PDE Perspective on Machine Learning processes
von: Barbieri, Davide, et al.
Veröffentlicht: (2025)

Roughness and entropy measures of a soft set
von: Acharjee, Santanu, et al.
Veröffentlicht: (2026)

Data-driven Identification of Attractors Using Machine Learning
von: Gameiro, Marcio, et al.
Veröffentlicht: (2025)

FieldTNN-based machine learning method for Maxwell eigenvalue problems
von: Jiang, Jiantao, et al.
Veröffentlicht: (2024)

A PDE Perspective on Generative Diffusion Models
von: Liu, Kang, et al.
Veröffentlicht: (2025)

Adversarial flows: A gradient flow characterization of adversarial attacks
von: Weigand, Lukas, et al.
Veröffentlicht: (2024)

Solving nonconvex Hamilton--Jacobi--Isaacs equations with PINN-based policy iteration
von: Yang, Hee Jun, et al.
Veröffentlicht: (2025)

Solving the BGK Model and Boltzmann equation by Fourier Neural Operator with conservative constraints
von: Hu, Boyun, et al.
Veröffentlicht: (2025)

Physics-informed approach for exploratory Hamilton--Jacobi--Bellman equations via policy iterations
von: Kim, Yeongjong, et al.
Veröffentlicht: (2025)

A Physics-Informed, Global-in-Time Neural Particle Method for the Spatially Homogeneous Landau Equation
von: Kim, Minseok, et al.
Veröffentlicht: (2026)

Learning Neural Pushforward Samplers for Distributions from Fokker-Planck Equations by Weak Adversarial Training
von: He, Andrew Qing, et al.
Veröffentlicht: (2025)

pETNNs: Partial Evolutionary Tensor Neural Networks for Solving Time-dependent Partial Differential Equations
von: Kao, Tunan, et al.
Veröffentlicht: (2024)