Copertina

How Smooth Is Attention?

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Castin, Valérie, Ablin, Pierre, Peyré, Gabriel
Natura:	Preprint
Pubblicazione:	2023
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence
di: Castin, Valérie, et al.
Pubblicazione: (2026)

A Unified Perspective on the Dynamics of Deep Transformers
di: Castin, Valérie, et al.
Pubblicazione: (2025)

Enhancing Hypergradients Estimation: A Study of Preconditioning and Reparameterization
di: Ye, Zhenzhang, et al.
Pubblicazione: (2024)

Robust Sublinear Convergence Rates for Iterative Bregman Projections
di: Peyré, Gabriel
Pubblicazione: (2026)

Muon Dynamics as a Spectral Wasserstein Flow
di: Peyré, Gabriel
Pubblicazione: (2026)

Optimal and Diffusion Transports in Machine Learning
di: Peyré, Gabriel
Pubblicazione: (2025)

Optimal Transport for Machine Learners
di: Peyré, Gabriel
Pubblicazione: (2025)

Token Sample Complexity of Attention
di: Bohbot, Léa, et al.
Pubblicazione: (2025)

Nectar: Neural Estimation of Cached-Token Attention via Regression
di: Monteiro, João, et al.
Pubblicazione: (2026)

The AdEMAMix Optimizer: Better, Faster, Older
di: Pagliardini, Matteo, et al.
Pubblicazione: (2024)

Towards Understanding the Universality of Transformers for Next-Token Prediction
di: Sander, Michael E., et al.
Pubblicazione: (2024)

How do Transformers perform In-Context Autoregressive Learning?
di: Sander, Michael E., et al.
Pubblicazione: (2024)

Intrinsic training dynamics of deep neural networks
di: Marcotte, Sibylle, et al.
Pubblicazione: (2025)

Geometry-Aware Discretization Error of Diffusion Models
di: Hurault, Samuel, et al.
Pubblicazione: (2026)

Transformative or Conservative? Conservation laws for ResNets and Transformers
di: Marcotte, Sibylle, et al.
Pubblicazione: (2025)

Dynamic Gradient Alignment for Online Data Mixing
di: Fan, Simin, et al.
Pubblicazione: (2024)

How Smoothing is N-simplicial Attention?
di: Dussolle, Alexandre, et al.
Pubblicazione: (2025)

Locking Pretrained Weights via Deep Low-Rank Residual Distillation
di: Sakamoto, Keitaro, et al.
Pubblicazione: (2026)

MVICAD2: Multi-View Independent Component Analysis with Delays and Dilations
di: Heurtebise, Ambroise, et al.
Pubblicazione: (2025)

Abide by the Law and Follow the Flow: Conservation Laws for Gradient Flows
di: Marcotte, Sibylle, et al.
Pubblicazione: (2023)

Learning from Samples: Inverse Problems over measures via Sharpened Fenchel-Young Losses
di: Andrade, Francisco, et al.
Pubblicazione: (2025)

On the global convergence of gradient descent for wide shallow models with bounded nonlinearities
di: Petit, Romain, et al.
Pubblicazione: (2026)

Keep the Momentum: Conservation Laws beyond Euclidean Gradient Flows
di: Marcotte, Sibylle, et al.
Pubblicazione: (2024)

A Lower Bound and a Near-Optimal Algorithm for Bilevel Empirical Risk Minimization
di: Dagréou, Mathieu, et al.
Pubblicazione: (2023)

Scaling Laws for Mixture Pretraining Under Data Constraints
di: Sedova, Anastasiia, et al.
Pubblicazione: (2026)

A framework for bilevel optimization that enables stochastic and global variance reduction algorithms
di: Dagréou, Mathieu, et al.
Pubblicazione: (2022)

Task-Adaptive Pretrained Language Models via Clustered-Importance Sampling
di: Grangier, David, et al.
Pubblicazione: (2024)

Need a Small Specialized Language Model? Plan Early!
di: Grangier, David, et al.
Pubblicazione: (2024)

Soup-of-Experts: Pretraining Specialist Models via Parameters Averaging
di: Ablin, Pierre, et al.
Pubblicazione: (2025)

Understanding the training of infinitely deep and wide ResNets with Conditional Optimal Transport
di: Barboni, Raphaël, et al.
Pubblicazione: (2024)

Ultra-fast feature learning for the training of two-layer neural networks in the two-timescale regime
di: Barboni, Raphaël, et al.
Pubblicazione: (2025)

Theory, Analysis, and Best Practices for Sigmoid Self-Attention
di: Ramapuram, Jason, et al.
Pubblicazione: (2024)

Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints
di: Ablin, Pierre, et al.
Pubblicazione: (2023)

Transformers are Universal In-context Learners
di: Furuya, Takashi, et al.
Pubblicazione: (2024)

Playing Markov Games Without Observing Payoffs
di: Ablin, Daniel, et al.
Pubblicazione: (2025)

DynaMiCS: Fine-tuning LLMs with Performance Constraints using Dynamic Mixtures
di: Gualdoni, Eleonora, et al.
Pubblicazione: (2026)

Careful with that Scalpel: Improving Gradient Surgery with an EMA
di: Hsieh, Yu-Guan, et al.
Pubblicazione: (2024)

From Score Matching to Diffusion: A Fine-Grained Error Analysis in the Gaussian Setting
di: Hurault, Samuel, et al.
Pubblicazione: (2025)

Learning Elastic Costs to Shape Monge Displacements
di: Klein, Michal, et al.
Pubblicazione: (2023)

Scaling Categorical Flow Maps
di: Davis, Oscar, et al.
Pubblicazione: (2026)