Buchumschlag

Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wortsman-Zurich, Arie, Tabanelli, Hugo, Dandi, Yatin, Krzakala, Florent, Loureiro, Bruno
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Probability Statistics Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities
von: Dandi, Yatin, et al.
Veröffentlicht: (2024)

Universality laws for Gaussian mixtures in generalized linear models
von: Dandi, Yatin, et al.
Veröffentlicht: (2023)

Deep Learning of Compositional Targets with Hierarchical Spectral Methods
von: Tabanelli, Hugo, et al.
Veröffentlicht: (2026)

Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning
von: Dandi, Yatin, et al.
Veröffentlicht: (2026)

Gaussian Universality of Perceptrons with Random Labels
von: Gerace, Federica, et al.
Veröffentlicht: (2022)

Sampling with flows, diffusion and autoregressive neural networks: A spin-glass perspective
von: Ghio, Davide, et al.
Veröffentlicht: (2023)

Spectral Phase Transition and Optimal PCA in Block-Structured Spiked models
von: Mergny, Pierre, et al.
Veröffentlicht: (2024)

How Two-Layer Neural Networks Learn, One (Giant) Step at a Time
von: Dandi, Yatin, et al.
Veröffentlicht: (2023)

Optimal Spectral Transitions in High-Dimensional Multi-Index Models
von: Defilippis, Leonardo, et al.
Veröffentlicht: (2025)

The Computational Advantage of Depth: Learning High-Dimensional Hierarchical Functions with Gradient Descent
von: Dandi, Yatin, et al.
Veröffentlicht: (2025)

Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining
von: Ren, Yunwei, et al.
Veröffentlicht: (2026)

A Random Matrix Theory of Masked Self-Supervised Regression
von: Zurich, Arie Wortsman, et al.
Veröffentlicht: (2026)

Online Learning and Information Exponents: On The Importance of Batch size, and Time/Complexity Tradeoffs
von: Arnaboldi, Luca, et al.
Veröffentlicht: (2024)

Spectral Estimators for Multi-Index Models: Precise Asymptotics and Optimal Weak Recovery
von: Kovačević, Filip, et al.
Veröffentlicht: (2025)

Convergence Bounds for Sequential Monte Carlo on Multimodal Distributions using Soft Decomposition
von: Lee, Holden, et al.
Veröffentlicht: (2024)

4+3 Phases of Compute-Optimal Neural Scaling Laws
von: Paquette, Elliot, et al.
Veröffentlicht: (2024)

Revenue Maximization Under Sequential Price Competition Via The Estimation Of s-Concave Demand Functions
von: Bracale, Daniele, et al.
Veröffentlicht: (2025)

Optimal Exact Recovery in Semi-Supervised Learning: A Study of Spectral Methods and Graph Convolutional Networks
von: Wang, Hai-Xiao, et al.
Veröffentlicht: (2024)

Statistical Consistency of Discrete-to-Continuous Limits of Determinantal Point Processes
von: Jaquard, Hugo, et al.
Veröffentlicht: (2026)

Fundamental computational limits of weak learnability in high-dimensional multi-index models
von: Troiani, Emanuele, et al.
Veröffentlicht: (2024)

Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features
von: Caprio, Michele, et al.
Veröffentlicht: (2026)

Scaling Limits of Long-Context Transformers
von: Bruno, Giuseppe, et al.
Veröffentlicht: (2026)

Kernel ridge regression under power-law data: spectrum and generalization
von: Wortsman, Arie, et al.
Veröffentlicht: (2025)

Convergence of Dirichlet Forms for MCMC Optimal Scaling with Dependent Target Distributions on Large Graphs
von: Ning, Ning
Veröffentlicht: (2022)

Fundamental limits of learning in sequence multi-index models and deep attention networks: High-dimensional asymptotics and sharp thresholds
von: Troiani, Emanuele, et al.
Veröffentlicht: (2025)

Exact Recovery of Community Detection in dependent Gaussian Mixture Models
von: Li, Zhongyang, et al.
Veröffentlicht: (2022)

Asymptotics of feature learning in two-layer networks after one gradient-step
von: Cui, Hugo, et al.
Veröffentlicht: (2024)

Entropy contraction of the Gibbs sampler under log-concavity
von: Ascolani, Filippo, et al.
Veröffentlicht: (2024)

Dynamic Structural Causal Models
von: Boeken, Philip, et al.
Veröffentlicht: (2024)

Boosting Causal Additive Models
von: Kertel, Maximilian, et al.
Veröffentlicht: (2024)

Low-rank Matrix Estimation with Inhomogeneous Noise
von: Guionnet, Alice, et al.
Veröffentlicht: (2022)

Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions
von: Arnaboldi, Luca, et al.
Veröffentlicht: (2024)

High-dimensional Asymptotics of Langevin Dynamics in Spiked Matrix Models
von: Liang, Tengyuan, et al.
Veröffentlicht: (2022)

Minimax Rates for Learning Pairwise Interactions in Attention-Style Models
von: Zucker, Shai, et al.
Veröffentlicht: (2025)

Diffusion Models with Heavy-Tailed Targets: Score Estimation and Sampling Guarantees
von: Yu, Yifeng, et al.
Veröffentlicht: (2026)

First-Extinction Law for Resampling Processes
von: Benati, Matteo, et al.
Veröffentlicht: (2025)

Phase Transition for Stochastic Block Model with more than $\sqrt{n}$ Communities
von: Carpentier, Alexandra, et al.
Veröffentlicht: (2025)

Partial recovery and weak consistency in the non-uniform hypergraph Stochastic Block Model
von: Dumitriu, Ioana, et al.
Veröffentlicht: (2021)

Optimal and exact recovery on general non-uniform Hypergraph Stochastic Block Model
von: Dumitriu, Ioana, et al.
Veröffentlicht: (2023)

Lipschitz regularity in Flow Matching and Diffusion Models: sharp sampling rates and functional inequalities
von: Stéphanovitch, Arthur
Veröffentlicht: (2026)