Buchumschlag

Provably learning a multi-head attention layer

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Sitan, Li, Yuanzhi
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Data Structures and Algorithms
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Unrolled denoising networks provably learn optimal Bayesian inference
von: Karan, Aayush, et al.
Veröffentlicht: (2024)

Learning general Gaussian mixtures with efficient score matching
von: Chen, Sitan, et al.
Veröffentlicht: (2024)

Faster Diffusion Sampling with Randomized Midpoints: Sequential and Parallel
von: Gupta, Shivam, et al.
Veröffentlicht: (2024)

Efficient and Provable Algorithms for Covariate Shift
von: Adil, Deeksha, et al.
Veröffentlicht: (2025)

Provable Quantization with Randomized Hadamard Transform
von: Feng, Ying, et al.
Veröffentlicht: (2026)

Dynamic Spectral Clustering with Provable Approximation Guarantee
von: Laenen, Steinar, et al.
Veröffentlicht: (2024)

An optimal tradeoff between entanglement and copy complexity for state tomography
von: Chen, Sitan, et al.
Veröffentlicht: (2024)

Optimal high-precision shadow estimation
von: Chen, Sitan, et al.
Veröffentlicht: (2024)

A Provably Accurate Randomized Sampling Algorithm for Logistic Regression
von: Chowdhury, Agniva, et al.
Veröffentlicht: (2024)

Inner Product Aware Quantization: Provably Fast, Accurate, and Adaptive Algorithms
von: White, Nathan, et al.
Veröffentlicht: (2026)

Provable Accuracy Collapse in Embedding-Based Representations under Dimensionality Mismatch
von: Arvanitakis, Dionysis, et al.
Veröffentlicht: (2026)

The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks
von: Abbe, Emmanuel, et al.
Veröffentlicht: (2022)

Predicting quantum channels over general product distributions
von: Chen, Sitan, et al.
Veröffentlicht: (2024)

Stabilizer bootstrapping: A recipe for efficient agnostic tomography and magic estimation
von: Chen, Sitan, et al.
Veröffentlicht: (2024)

Information-Computation Gaps in Quantum Learning via Low-Degree Likelihood
von: Chen, Sitan, et al.
Veröffentlicht: (2025)

The sample complexity of multi-distribution learning
von: Peng, Binghui
Veröffentlicht: (2023)

Provably Extracting the Features from a General Superposition
von: Liu, Allen
Veröffentlicht: (2025)

Theoretical limitations of multi-layer Transformer
von: Chen, Lijie, et al.
Veröffentlicht: (2024)

Computation-Utility-Privacy Tradeoffs in Bayesian Estimation
von: Chen, Sitan, et al.
Veröffentlicht: (2026)

Active Learning for Decision Trees with Provable Guarantees
von: Moakhar, Arshia Soltani, et al.
Veröffentlicht: (2026)

A Unified Framework for Provably Efficient Algorithms to Estimate Shapley Values
von: Chen, Tyler, et al.
Veröffentlicht: (2025)

Provably faster randomized and quantum algorithms for $k$-means clustering via uniform sampling
von: Chen, Tyler, et al.
Veröffentlicht: (2025)

Robust learning of halfspaces under log-concave marginals
von: Lange, Jane, et al.
Veröffentlicht: (2025)

Achieving adaptivity and optimality for multi-armed bandits using Exponential-Kullback Leibler Maillard Sampling
von: Qin, Hao, et al.
Veröffentlicht: (2025)

Agnostic learning in (almost) optimal time via Gaussian surface area
von: Pesenti, Lucas, et al.
Veröffentlicht: (2026)

Provably Learning from Modern Language Models via Low Logit Rank
von: Golowich, Noah, et al.
Veröffentlicht: (2025)

Efficient distributional regression trees learning algorithms for calibrated non-parametric probabilistic forecasts
von: Duchemin, Quentin, et al.
Veröffentlicht: (2025)

Provably Efficient Infinite-Horizon Average-Reward Reinforcement Learning with Linear Function Approximation
von: Chae, Woojin, et al.
Veröffentlicht: (2024)

On the Power of Learning-Augmented Search Trees
von: Chen, Jingbang, et al.
Veröffentlicht: (2022)

Optimal Quantum State Testing Even with Limited Entanglement
von: Wadhwa, Chirag, et al.
Veröffentlicht: (2026)

High-Accuracy List-Decodable Mean Estimation
von: Chen, Ziyun, et al.
Veröffentlicht: (2025)

How fast can you find a good hypothesis?
von: Aamand, Anders, et al.
Veröffentlicht: (2025)

Optimal Approximate Matrix Multiplication over Sliding Windows
von: Yao, Ziqi, et al.
Veröffentlicht: (2025)

Provably Extending PageRank-based Local Clustering Algorithm to Weighted Directed Graphs with Self-Loops and to Hypergraphs
von: Li, Zihao, et al.
Veröffentlicht: (2024)

Extended convexity and smoothness and their applications in deep learning
von: Qi, Binchuan, et al.
Veröffentlicht: (2024)

Prediction-Specific Design of Learning-Augmented Algorithms
von: Li, Sizhe, et al.
Veröffentlicht: (2025)

Curvature Beyond Positivity: Greedy Guarantees for Arbitrary Submodular Functions
von: Chen, Yixin, et al.
Veröffentlicht: (2026)

Practical and Parallelizable Algorithms for Non-Monotone Submodular Maximization with Size Constraint
von: Chen, Yixin, et al.
Veröffentlicht: (2020)

The Best Arm Evades: Near-optimal Multi-pass Streaming Lower Bounds for Pure Exploration in Multi-armed Bandits
von: Assadi, Sepehr, et al.
Veröffentlicht: (2023)

Nearly Tight Bounds for Exploration in Streaming Multi-armed Bandits with Known Optimality Gap
von: Karpov, Nikolai, et al.
Veröffentlicht: (2025)