Buchumschlag

Approximation of relation functions and attention mechanisms

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Altabaa, Awni, Lafferty, John
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers
von: Altabaa, Awni, et al.
Veröffentlicht: (2023)

Disentangling and Integrating Relational and Sensory Information in Transformer Architectures
von: Altabaa, Awni, et al.
Veröffentlicht: (2024)

Learning Hierarchical Relational Representations through Relational Convolutions
von: Altabaa, Awni, et al.
Veröffentlicht: (2023)

CoT Information: Improved Sample Complexity under Chain-of-Thought Supervision
von: Altabaa, Awni, et al.
Veröffentlicht: (2025)

Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning
von: Altabaa, Awni, et al.
Veröffentlicht: (2025)

On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games
von: Altabaa, Awni, et al.
Veröffentlicht: (2024)

Decentralized Multi-Agent Reinforcement Learning for Continuous-Space Stochastic Games
von: Altabaa, Awni, et al.
Veröffentlicht: (2023)

Easy attention: A simple attention mechanism for temporal predictions with transformers
von: Sanchis-Agudo, Marcial, et al.
Veröffentlicht: (2023)

Fast attention mechanisms: a tale of parallelism
von: Liu, Jingwen, et al.
Veröffentlicht: (2025)

Relational inductive biases on attention mechanisms
von: Mijangos, Víctor, et al.
Veröffentlicht: (2025)

Need a Small Specialized Language Model? Plan Early!
von: Grangier, David, et al.
Veröffentlicht: (2024)

Compute-Optimal Quantization-Aware Training
von: Dremov, Aleksandr, et al.
Veröffentlicht: (2025)

Reservoir observer enhanced with residual calibration and attention mechanism
von: Liu, Yichen, et al.
Veröffentlicht: (2026)

Tucker Attention: A generalization of approximate attention mechanisms
von: Klein, Timon, et al.
Veröffentlicht: (2026)

Inexact calculus of variations on the hyperspherical tangent bundle and its connections to the attention mechanism
von: Gracyk, Andrew
Veröffentlicht: (2025)

Redundant feature screening method for human activity recognition based on attention purification mechanism
von: Li, Xiaoyang, et al.
Veröffentlicht: (2025)

On the Approximation of Kernel functions
von: Dommel, Paul, et al.
Veröffentlicht: (2024)

Sink vs. diagonal patterns as mechanisms for attention switch and oversmoothing prevention
von: Súkeník, Peter, et al.
Veröffentlicht: (2026)

A multi-source data power load forecasting method using attention mechanism-based parallel cnn-gru
von: Min, Chao, et al.
Veröffentlicht: (2024)

Hybrid Deep Learning Model for epileptic seizure classification by using 1D-CNN with multi-head attention mechanism
von: Guhdar, Mohammed, et al.
Veröffentlicht: (2025)

Reorganizing attention-space geometry with expressive attention
von: Gros, Claudius
Veröffentlicht: (2024)

Controlling changes to attention logits
von: Anson, Ben, et al.
Veröffentlicht: (2025)

Mapping of attention mechanisms to a generalized Potts model
von: Rende, Riccardo, et al.
Veröffentlicht: (2023)

MD-Syn: Synergistic drug combination prediction based on the multidimensional feature fusion method and attention mechanisms
von: Ge, XinXin, et al.
Veröffentlicht: (2025)

Enhancing short-term traffic prediction by integrating trends and fluctuations with attention mechanism
von: Das, Adway, et al.
Veröffentlicht: (2025)

Poly-attention: a general scheme for higher-order self-attention
von: Chakrabarti, Sayak, et al.
Veröffentlicht: (2026)

Unified CNNs and transformers underlying learning mechanism reveals multi-head attention modus vivendi
von: Koresh, Ella, et al.
Veröffentlicht: (2025)

EEG motor imagery decoding: A framework for comparative analysis with channel attention mechanisms
von: Wimpff, Martin, et al.
Veröffentlicht: (2023)

Information-Computation Tradeoffs for Noiseless Linear Regression with Oblivious Contamination
von: Diakonikolas, Ilias, et al.
Veröffentlicht: (2025)

Latent attention on masked patches for flow reconstruction
von: Eze, Ben, et al.
Veröffentlicht: (2026)

Myosotis: structured computation for attention like layer
von: Egorov, Evgenii, et al.
Veröffentlicht: (2025)

An extension of linear self-attention for in-context learning
von: Hagiwara, Katsuyuki
Veröffentlicht: (2025)

Online high-precision prediction method for injection molding product weight by integrating time series/non-time series mixed features and feature attention mechanism
von: Li, Maoyuan, et al.
Veröffentlicht: (2025)

Supervised learning pays attention
von: Craig, Erin, et al.
Veröffentlicht: (2025)

Weight decay induces low-rank attention layers
von: Kobayashi, Seijin, et al.
Veröffentlicht: (2024)

Integrating attention into explanation frameworks for language and vision transformers
von: Eggen, Marte, et al.
Veröffentlicht: (2025)

Approximation-Aware Bayesian Optimization
von: Maus, Natalie, et al.
Veröffentlicht: (2024)

Artifact detection and localization in single-channel mobile EEG for sleep research using deep learning and attention mechanisms
von: Semkiv, Khrystyna, et al.
Veröffentlicht: (2025)

Integrated electro-optic attention nonlinearities for transformers
von: Mickeler, Luis, et al.
Veröffentlicht: (2026)

Self-attention Networks Localize When QK-eigenspectrum Concentrates
von: Bao, Han, et al.
Veröffentlicht: (2024)