Copertina

Orthogonal Self-Attention

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhang, Leo, Martens, James
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Improved Operator Learning by Orthogonal Attention
di: Xiao, Zipeng, et al.
Pubblicazione: (2023)

JPmHC Dynamical Isometry via Orthogonal Hyper-Connections
di: Sengupta, Biswa, et al.
Pubblicazione: (2026)

Self-Attention at Constant Cost per Token via Symmetry-Aware Taylor Approximation
di: Heinsen, Franz A., et al.
Pubblicazione: (2026)

Tree Cross Attention
di: Feng, Leo, et al.
Pubblicazione: (2023)

Attention as an RNN
di: Feng, Leo, et al.
Pubblicazione: (2024)

PLS in the Mirror of Self-Attention
di: Jiangsheng, et al.
Pubblicazione: (2026)

Differential Gated Self-Attention
di: Lygizou, Elpiniki Maria, et al.
Pubblicazione: (2025)

DistrAttention: An Efficient and Flexible Self-Attention Mechanism on Modern GPUs
di: Jin, Haolin, et al.
Pubblicazione: (2025)

AMO: Adaptive Muon Orthogonalization
di: Zhuang, Xinlin, et al.
Pubblicazione: (2026)

Preventing Dimensional Collapse in Self-Supervised Learning via Orthogonality Regularization
di: He, Junlin, et al.
Pubblicazione: (2024)

Orthogonal Model Merging
di: Yang, Sihan, et al.
Pubblicazione: (2026)

Aggregating Local Saliency Maps for Semi-Global Explainable Image Classification
di: Hinns, James, et al.
Pubblicazione: (2025)

FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer
di: Xu, Chenrui, et al.
Pubblicazione: (2026)

Temporally Multi-Scale Sparse Self-Attention for Physical Activity Data Imputation
di: Wei, Hui, et al.
Pubblicazione: (2024)

OMPQ: Orthogonal Mixed Precision Quantization
di: Ma, Yuexiao, et al.
Pubblicazione: (2021)

Exclusive Self Attention
di: Zhai, Shuangfei
Pubblicazione: (2026)

Decoupled Orthogonal Dynamics: Regularization for Deep Network Optimizers
di: Chen, Hao, et al.
Pubblicazione: (2026)

MuonEq: Balancing Before Orthogonalization with Lightweight Equilibration
di: Chang, Da, et al.
Pubblicazione: (2026)

Feature Selection Based on Orthogonal Constraints and Polygon Area
di: Zhang, Zhenxing, et al.
Pubblicazione: (2024)

Gaussian Equivalence for Self-Attention: Asymptotic Spectral Analysis of Attention Matrix
di: Hayase, Tomohiro, et al.
Pubblicazione: (2025)

Mildly Overparameterized ReLU Networks on Orthogonal Data: Incremental Learning and Implicit Bias
di: Town, James, et al.
Pubblicazione: (2026)

Next-Generation Reservoir Computing for Dynamical Inference
di: Cestnik, Rok, et al.
Pubblicazione: (2025)

Disentangling shared and private latent factors in multimodal Variational Autoencoders
di: Märtens, Kaspar, et al.
Pubblicazione: (2024)

AURORA: Contextual Orthogonalization for Geometric Representation Learning in Healthcare Foundation Models
di: Zhang, Yuanyun, et al.
Pubblicazione: (2026)

Understanding Differential Transformer Unchains Pretrained Self-Attentions
di: Kong, Chaerin, et al.
Pubblicazione: (2025)

Theory, Analysis, and Best Practices for Sigmoid Self-Attention
di: Ramapuram, Jason, et al.
Pubblicazione: (2024)

Powering Up Zeroth-Order Training via Subspace Gradient Orthogonalization
di: Lang, Yicheng, et al.
Pubblicazione: (2026)

HOFT: Householder Orthogonal Fine-tuning
di: Arcas, Alejandro Moreno, et al.
Pubblicazione: (2025)

Forget by Uncertainty: Orthogonal Entropy Unlearning for Quantized Neural Networks
di: Zhang, Tian, et al.
Pubblicazione: (2026)

Manifold-Orthogonal Dual-spectrum Extrapolation for Parameterized Physics-Informed Neural Networks
di: Liang, Zhangyong, et al.
Pubblicazione: (2026)

Orthogonalized Policy Optimization:Policy Optimization as Orthogonal Projection in Hilbert Space
di: Zixian, Wang
Pubblicazione: (2026)

Multi-Domain EEG Representation Learning with Orthogonal Mapping and Attention-based Fusion for Cognitive Load Classification
di: Angkan, Prithila, et al.
Pubblicazione: (2025)

Label Attention Network for Temporal Sets Prediction: You Were Looking at a Wrong Self-Attention
di: Kovtun, Elizaveta, et al.
Pubblicazione: (2023)

Securing Pathways with Orthogonal Robots
di: Hoorfar, Hamid, et al.
Pubblicazione: (2023)

CSAI: Conditional Self-Attention Imputation for Healthcare Time-series
di: Qian, Linglong, et al.
Pubblicazione: (2023)

Robust Filter Attention: Self-Attention as Precision-Weighted State Estimation
di: Racioppo, Peter
Pubblicazione: (2025)

Quaternion Self-Attention with Shared Scores
di: Yamauchi, Shogo, et al.
Pubblicazione: (2026)

Algebraic Invariants of Lightning Self-Attention
di: Alexandr, Yulia, et al.
Pubblicazione: (2026)

SCALAR: Self-Calibrating Adaptive Latent Attention Representation Learning
di: Abbas, Farwa, et al.
Pubblicazione: (2025)

Quadratic Gating Mixture of Experts: Statistical Insights into Self-Attention
di: Akbarian, Pedram, et al.
Pubblicazione: (2024)