Copertina

WildCat: Near-Linear Attention in Theory and Practice

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Schröder, Tobias, Mackey, Lester
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Compress Then Test: Powerful Kernel Testing in Near-linear Time
di: Domingo-Enrich, Carles, et al.
Pubblicazione: (2023)

Generalized Kernel Thinning
di: Dwivedi, Raaz, et al.
Pubblicazione: (2021)

Kernel Thinning
di: Dwivedi, Raaz, et al.
Pubblicazione: (2021)

The Relative Instability of Model Comparison with Cross-validation
di: Bayle, Alexandre, et al.
Pubblicazione: (2025)

Debiased Distribution Compression
di: Li, Lingxiao, et al.
Pubblicazione: (2024)

Probabilistic Inference and Learning with Stein's Method
di: Liu, Qiang, et al.
Pubblicazione: (2026)

It's Hard to Be Normal: The Impact of Noise on Structure-agnostic Estimation
di: Jin, Jikai, et al.
Pubblicazione: (2025)

Controlling Moments with Kernel Stein Discrepancies
di: Kanagawa, Heishiro, et al.
Pubblicazione: (2022)

Estimating Treatment Effects with Independent Component Analysis
di: Reizinger, Patrik, et al.
Pubblicazione: (2025)

Theory, Analysis, and Best Practices for Sigmoid Self-Attention
di: Ramapuram, Jason, et al.
Pubblicazione: (2024)

SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation
di: Khodak, Mikhail, et al.
Pubblicazione: (2024)

Gradient Estimation with Discrete Stein Operators
di: Shi, Jiaxin, et al.
Pubblicazione: (2022)

Targeted Separation and Convergence with Kernel Discrepancies
di: Barp, Alessandro, et al.
Pubblicazione: (2022)

Thinned Mean Field Langevin Dynamics
di: Chen, Zonghao, et al.
Pubblicazione: (2026)

Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation
di: Zelikman, Eric, et al.
Pubblicazione: (2023)

Log-Linear Attention
di: Guo, Han, et al.
Pubblicazione: (2025)

From Theory to Practice: Implementing and Evaluating e-Fold Cross-Validation
di: Mahlich, Christopher, et al.
Pubblicazione: (2024)

Informed Correctors for Discrete Diffusion Models
di: Zhao, Yixiu, et al.
Pubblicazione: (2024)

KerJEPA: Kernel Discrepancies for Euclidean Self-Supervised Learning
di: Zimmermann, Eric, et al.
Pubblicazione: (2025)

Adapting Language Models via Token Translation
di: Feng, Zhili, et al.
Pubblicazione: (2024)

Cottention: Linear Transformers With Cosine Attention
di: Mongaras, Gabriel, et al.
Pubblicazione: (2024)

Exact Linear Attention
di: Ou, Weinuo
Pubblicazione: (2026)

Kaczmarz Linear Attention
di: Zou, Jiaxuan, et al.
Pubblicazione: (2026)

Power-based Partial Attention: Bridging Linear-Complexity and Full Attention
di: Huang, Yufeng
Pubblicazione: (2026)

Weak-to-Strong Generalization is Nearly Inevitable (in Linear Models)
di: Geng, Scott, et al.
Pubblicazione: (2026)

Cheap Permutation Testing
di: Domingo-Enrich, Carles, et al.
Pubblicazione: (2025)

Why Softmax Attention Outperforms Linear Attention
di: Deng, Yichuan, et al.
Pubblicazione: (2023)

Low-Rank Thinning
di: Carrell, Annabelle Michael, et al.
Pubblicazione: (2025)

Local Linear Attention: An Optimal Interpolation of Linear and Softmax Attention For Test-Time Regression
di: Zuo, Yifei, et al.
Pubblicazione: (2025)

Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
di: Hu, Wenjie, et al.
Pubblicazione: (2025)

InAttention: Linear Context Scaling for Transformers
di: Eisner, Joseph
Pubblicazione: (2024)

Linear Memory SE(2) Invariant Attention
di: Pronovost, Ethan, et al.
Pubblicazione: (2025)

Training Dynamics of In-Context Learning in Linear Attention
di: Zhang, Yedi, et al.
Pubblicazione: (2025)

Degrees of Freedom for Linear Attention: Distilling Softmax Attention with Optimal Feature Efficiency
di: Nishikawa, Naoki, et al.
Pubblicazione: (2025)

Linearized Attention Cannot Enter the Kernel Regime at Any Practical Width
di: Miñoza, Jose Marie Antonio, et al.
Pubblicazione: (2026)

Near-Optimal Dynamic Regret for Adversarial Linear Mixture MDPs
di: Li, Long-Fei, et al.
Pubblicazione: (2024)

Near-Optimal Regret in Linear MDPs with Aggregate Bandit Feedback
di: Cassel, Asaf, et al.
Pubblicazione: (2024)

SEA: Sparse Linear Attention with Estimated Attention Mask
di: Lee, Heejun, et al.
Pubblicazione: (2023)

Linear Attention Sequence Parallelism
di: Sun, Weigao, et al.
Pubblicazione: (2024)

Rethinking Dense Linear Transformations: Stagewise Pairwise Mixing (SPM) for Near-Linear Training in Neural Networks
di: Farag, Peter
Pubblicazione: (2025)