Buchumschlag

Norm$\times$Direction: Restoring the Missing Query Norm in Vision Linear Attention

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Meng, Weikang, Luo, Yadan, Huo, Liangyu, Li, Yingjian, Wang, Yaowei, Li, Xin, Zhang, Zheng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MirrorLA: Reflecting Feature Map for Vision Linear Attention
von: Meng, Weikang, et al.
Veröffentlicht: (2026)

STILL: Selecting Tokens for Intra-Layer Hybrid Attention to Linearize LLMs
von: Meng, Weikang, et al.
Veröffentlicht: (2026)

ConjNorm: Tractable Density Estimation for Out-of-Distribution Detection
von: Peng, Bo, et al.
Veröffentlicht: (2024)

PolaFormer: Polarity-aware Linear Attention for Vision Transformers
von: Meng, Weikang, et al.
Veröffentlicht: (2025)

GeoNorm: Unify Pre-Norm and Post-Norm with Geodesic Optimization
von: Zheng, Chuanyang, et al.
Veröffentlicht: (2026)

On the Role of Attention Masks and LayerNorm in Transformers
von: Wu, Xinyi, et al.
Veröffentlicht: (2024)

Post-Norm can Resharpen Attention
von: Zsámboki, Pál, et al.
Veröffentlicht: (2025)

GradientStabilizer:Fix the Norm, Not the Gradient
von: Huang, Tianjin, et al.
Veröffentlicht: (2025)

Empirical Bound Information-Directed Sampling for Norm-Agnostic Bandits
von: Suder, Piotr M., et al.
Veröffentlicht: (2025)

VL Norm: Rethink Loss Aggregation in RLVR
von: He, Zhiyuan, et al.
Veröffentlicht: (2025)

Robust Capped lp-Norm Support Vector Ordinal Regression
von: Xiang, Haorui, et al.
Veröffentlicht: (2024)

Muown: Row-Norm Control for Muon Optimization
von: Lion, Kai, et al.
Veröffentlicht: (2026)

Norm-Bounded Low-Rank Adaptation
von: Wang, Ruigang, et al.
Veröffentlicht: (2025)

Geometry and Dynamics of LayerNorm
von: Riechers, Paul M.
Veröffentlicht: (2024)

Scalable Optimization in the Modular Norm
von: Large, Tim, et al.
Veröffentlicht: (2024)

Muon Optimizes Under Spectral Norm Constraints
von: Chen, Lizhang, et al.
Veröffentlicht: (2025)

SpanNorm: Reconciling Training Stability and Performance in Deep Transformers
von: Wang, Chao, et al.
Veröffentlicht: (2026)

Scalable Frame-based Construction of Sociocultural NormBases for Socially-Aware Dialogues
von: Qu, Shilin, et al.
Veröffentlicht: (2024)

The Ky Fan Norms and Beyond: Dual Norms and Combinations for Matrix Optimization
von: Kravatskiy, Alexey, et al.
Veröffentlicht: (2025)

Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

FlashNorm: Fast Normalization for Transformers
von: Graef, Nils, et al.
Veröffentlicht: (2024)

Nuclear Norm Regularization for Deep Learning
von: Scarvelis, Christopher, et al.
Veröffentlicht: (2024)

Optimal Scaling Needs Optimal Norm
von: Filatov, Oleg, et al.
Veröffentlicht: (2025)

UnitNorm: Rethinking Normalization for Transformers in Time Series
von: Huang, Nan, et al.
Veröffentlicht: (2024)

Greedy-Gnorm: A Gradient Matrix Norm-Based Alternative to Attention Entropy for Head Pruning
von: Guo, Yuxi, et al.
Veröffentlicht: (2026)

Norm Augmented Graph AutoEncoders for Link Prediction
von: Liu, Yunhui, et al.
Veröffentlicht: (2025)

Parametric $ρ$-Norm Scaling Calibration
von: Zhang, Siyuan, et al.
Veröffentlicht: (2024)

On the Importance of Embedding Norms in Self-Supervised Learning
von: Draganov, Andrew, et al.
Veröffentlicht: (2025)

Minimum-Norm Interpolation Under Covariate Shift
von: Mallinar, Neil, et al.
Veröffentlicht: (2024)

Measuring Social Norms of Large Language Models
von: Yuan, Ye, et al.
Veröffentlicht: (2024)

Discriminability-Driven Spatial-Channel Selection with Gradient Norm for Drone Signal OOD Detection
von: Feng, Chuhan, et al.
Veröffentlicht: (2026)

Implicit Bias of AdamW: $\ell_\infty$ Norm Constrained Optimization
von: Xie, Shuo, et al.
Veröffentlicht: (2024)

Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression
von: Hanchi, Ayoub El, et al.
Veröffentlicht: (2023)

Old Optimizer, New Norm: An Anthology
von: Bernstein, Jeremy, et al.
Veröffentlicht: (2024)

Distribution Estimation under the Infinity Norm
von: Kontorovich, Aryeh, et al.
Veröffentlicht: (2024)

Neural Weight Norm = Kolmogorov Complexity
von: Musat, Tiberiu
Veröffentlicht: (2026)

Transformers Don't Need LayerNorm at Inference Time: Scaling LayerNorm Removal to GPT-2 XL and the Implications for Mechanistic Interpretability
von: Baroni, Luca, et al.
Veröffentlicht: (2025)

Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression
von: Ioushua, Shahar Stein, et al.
Veröffentlicht: (2023)

Optimal Sketching for Residual Error Estimation for Matrix and Vector Norms
von: Li, Yi, et al.
Veröffentlicht: (2024)

Adaptive Norm-Based Regularization for Neural Networks
von: Qasim, Muhammad, et al.
Veröffentlicht: (2026)