Buchumschlag

Incremental Learning of Sparse Attention Patterns in Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yüksel, Oğuz Kaan, Lucendo, Rodrigo Alvarez, Flammarion, Nicolas
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Long-Context Linear System Identification
von: Yüksel, Oğuz Kaan, et al.
Veröffentlicht: (2024)

Gradient Flow Polarizes Softmax Outputs towards Low-Entropy Solutions
von: Varre, Aditya, et al.
Veröffentlicht: (2026)

Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks
von: Papazov, Hristo, et al.
Veröffentlicht: (2024)

Implicit Bias of Mirror Flow on Separable Data
von: Pesme, Scott, et al.
Veröffentlicht: (2024)

First-order ANIL provably learns representations despite overparametrization
von: Yüksel, Oğuz Kaan, et al.
Veröffentlicht: (2023)

An Optimal Control Approach To Transformer Training
von: Akman, Kağan, et al.
Veröffentlicht: (2026)

Quantizer Design for Finite Model Approximations, Model Learning, and Quantized Q-Learning for MDPs with Unbounded Spaces
von: Bicer, Osman, et al.
Veröffentlicht: (2025)

Incremental Gauss-Newton Descent for Machine Learning
von: Korbit, Mikalai, et al.
Veröffentlicht: (2024)

Attention-based PCA
von: Maulen-Soto, Rodrigo, et al.
Veröffentlicht: (2026)

Kernel Mean Embedding Topology: Weak and Strong Forms for Stochastic Kernels and Implications for Model Learning
von: Saldi, Naci, et al.
Veröffentlicht: (2025)

Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning
von: Meinhardt, Georg, et al.
Veröffentlicht: (2024)

Last Iterate Convergence of Incremental Methods and Applications in Continual Learning
von: Cai, Xufeng, et al.
Veröffentlicht: (2024)

An Efficient Hybridization of Graph Representation Learning and Metaheuristics for the Constrained Incremental Graph Drawing Problem
von: Charytitsch, Bruna C. B., et al.
Veröffentlicht: (2025)

SPP-SBL: Space-Power Prior Sparse Bayesian Learning for Block Sparse Recovery
von: Zhang, Yanhao, et al.
Veröffentlicht: (2025)

Sharpened Lazy Incremental Quasi-Newton Method
von: Lahoti, Aakash, et al.
Veröffentlicht: (2023)

Machine Learning Model for Sparse PCM Completion
von: Koyuncu, Selcuk, et al.
Veröffentlicht: (2026)

Probabilistic Iterative Hard Thresholding for Sparse Learning
von: Bergamaschi, Matteo, et al.
Veröffentlicht: (2024)

Sparse Transformer Architectures via Regularized Wasserstein Proximal Operator with $L_1$ Prior
von: Han, Fuqun, et al.
Veröffentlicht: (2025)

On Convergence of Incremental Gradient for Non-Convex Smooth Functions
von: Koloskova, Anastasia, et al.
Veröffentlicht: (2023)

Incremental Gauss--Newton Methods with Superlinear Convergence Rates
von: Zhou, Zhiling, et al.
Veröffentlicht: (2024)

Sparse Deep Learning Models with the $\ell_1$ Regularization
von: Shen, Lixin, et al.
Veröffentlicht: (2024)

Block Sparse Bayesian Learning: A Diversified Scheme
von: Zhang, Yanhao, et al.
Veröffentlicht: (2024)

MuonBP: Faster Muon via Block-Periodic Orthogonalization
von: Khaled, Ahmed, et al.
Veröffentlicht: (2025)

Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
von: Liu, Zhuanghua, et al.
Veröffentlicht: (2024)

Speeding Up Mixed-Integer Programming Solvers with Sparse Learning for Branching
von: Bayramoğlu, Selin, et al.
Veröffentlicht: (2026)

Incremental Correction in Dynamic Systems Modelled with Neural Networks for Constraint Satisfaction
von: Cho, Namhoon, et al.
Veröffentlicht: (2022)

Follow The Approximate Sparse Leader for No-Regret Online Sparse Linear Approximation
von: Mukhopadhyay, Samrat, et al.
Veröffentlicht: (2025)

First-Order Sparse Convex Optimization: Better Rates with Sparse Updates
von: Garber, Dan
Veröffentlicht: (2025)

Incremental Gradient Descent with Small Epoch Counts is Surprisingly Slow on Ill-Conditioned Problems
von: Kim, Yujun, et al.
Veröffentlicht: (2025)

MADA: Meta-Adaptive Optimizers through hyper-gradient Descent
von: Ozkara, Kaan, et al.
Veröffentlicht: (2024)

Shallow Neural Networks Learn Low-Degree Spherical Polynomials with Feature Learning by Learnable Channel Attention
von: Yang, Yingzhen
Veröffentlicht: (2025)

Traffic Adaptive Moving-window Service Patrolling for Real-time Incident Management during High-impact Events
von: Lei, Haozhe, et al.
Veröffentlicht: (2025)

Bi-Sparse Unsupervised Feature Selection
von: Xiu, Xianchao, et al.
Veröffentlicht: (2024)

Differentially Private Optimization with Sparse Gradients
von: Ghazi, Badih, et al.
Veröffentlicht: (2024)

On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
von: Qin, Zhen, et al.
Veröffentlicht: (2025)

Locally Adaptive Federated Learning
von: Mukherjee, Sohom, et al.
Veröffentlicht: (2023)

Accelerated Gradient Methods for Sparse Statistical Learning with Nonconvex Penalties
von: Yang, Kai, et al.
Veröffentlicht: (2020)

Satisficing Paths and Independent Multi-Agent Reinforcement Learning in Stochastic Games
von: Yongacoglu, Bora, et al.
Veröffentlicht: (2021)

Accelerating Sinkhorn Algorithm with Sparse Newton Iterations
von: Tang, Xun, et al.
Veröffentlicht: (2024)

Efficient Sparse PCA via Block-Diagonalization
von: Del Pia, Alberto, et al.
Veröffentlicht: (2024)