Approximation of relation functions and attention mechanisms
Fuente:
arXiv
Gespeichert in:
| Hauptverfasser: | Altabaa, Awni, Lafferty, John |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2024
|
| Schlagworte: | |
| Online-Zugang: | |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers
von: Altabaa, Awni, et al.
Veröffentlicht: (2023)
von: Altabaa, Awni, et al.
Veröffentlicht: (2023)
Disentangling and Integrating Relational and Sensory Information in Transformer Architectures
von: Altabaa, Awni, et al.
Veröffentlicht: (2024)
von: Altabaa, Awni, et al.
Veröffentlicht: (2024)
Learning Hierarchical Relational Representations through Relational Convolutions
von: Altabaa, Awni, et al.
Veröffentlicht: (2023)
von: Altabaa, Awni, et al.
Veröffentlicht: (2023)
CoT Information: Improved Sample Complexity under Chain-of-Thought Supervision
von: Altabaa, Awni, et al.
Veröffentlicht: (2025)
von: Altabaa, Awni, et al.
Veröffentlicht: (2025)
Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning
von: Altabaa, Awni, et al.
Veröffentlicht: (2025)
von: Altabaa, Awni, et al.
Veröffentlicht: (2025)
On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games
von: Altabaa, Awni, et al.
Veröffentlicht: (2024)
von: Altabaa, Awni, et al.
Veröffentlicht: (2024)
Decentralized Multi-Agent Reinforcement Learning for Continuous-Space Stochastic Games
von: Altabaa, Awni, et al.
Veröffentlicht: (2023)
von: Altabaa, Awni, et al.
Veröffentlicht: (2023)
Easy attention: A simple attention mechanism for temporal predictions with transformers
von: Sanchis-Agudo, Marcial, et al.
Veröffentlicht: (2023)
von: Sanchis-Agudo, Marcial, et al.
Veröffentlicht: (2023)
Fast attention mechanisms: a tale of parallelism
von: Liu, Jingwen, et al.
Veröffentlicht: (2025)
von: Liu, Jingwen, et al.
Veröffentlicht: (2025)
Relational inductive biases on attention mechanisms
von: Mijangos, Víctor, et al.
Veröffentlicht: (2025)
von: Mijangos, Víctor, et al.
Veröffentlicht: (2025)
Need a Small Specialized Language Model? Plan Early!
von: Grangier, David, et al.
Veröffentlicht: (2024)
von: Grangier, David, et al.
Veröffentlicht: (2024)
Compute-Optimal Quantization-Aware Training
von: Dremov, Aleksandr, et al.
Veröffentlicht: (2025)
von: Dremov, Aleksandr, et al.
Veröffentlicht: (2025)
Reservoir observer enhanced with residual calibration and attention mechanism
von: Liu, Yichen, et al.
Veröffentlicht: (2026)
von: Liu, Yichen, et al.
Veröffentlicht: (2026)
Tucker Attention: A generalization of approximate attention mechanisms
von: Klein, Timon, et al.
Veröffentlicht: (2026)
von: Klein, Timon, et al.
Veröffentlicht: (2026)
Inexact calculus of variations on the hyperspherical tangent bundle and its connections to the attention mechanism
von: Gracyk, Andrew
Veröffentlicht: (2025)
von: Gracyk, Andrew
Veröffentlicht: (2025)
Redundant feature screening method for human activity recognition based on attention purification mechanism
von: Li, Xiaoyang, et al.
Veröffentlicht: (2025)
von: Li, Xiaoyang, et al.
Veröffentlicht: (2025)
On the Approximation of Kernel functions
von: Dommel, Paul, et al.
Veröffentlicht: (2024)
von: Dommel, Paul, et al.
Veröffentlicht: (2024)
Sink vs. diagonal patterns as mechanisms for attention switch and oversmoothing prevention
von: Súkeník, Peter, et al.
Veröffentlicht: (2026)
von: Súkeník, Peter, et al.
Veröffentlicht: (2026)
A multi-source data power load forecasting method using attention mechanism-based parallel cnn-gru
von: Min, Chao, et al.
Veröffentlicht: (2024)
von: Min, Chao, et al.
Veröffentlicht: (2024)
Hybrid Deep Learning Model for epileptic seizure classification by using 1D-CNN with multi-head attention mechanism
von: Guhdar, Mohammed, et al.
Veröffentlicht: (2025)
von: Guhdar, Mohammed, et al.
Veröffentlicht: (2025)
Reorganizing attention-space geometry with expressive attention
von: Gros, Claudius
Veröffentlicht: (2024)
von: Gros, Claudius
Veröffentlicht: (2024)
Controlling changes to attention logits
von: Anson, Ben, et al.
Veröffentlicht: (2025)
von: Anson, Ben, et al.
Veröffentlicht: (2025)
Mapping of attention mechanisms to a generalized Potts model
von: Rende, Riccardo, et al.
Veröffentlicht: (2023)
von: Rende, Riccardo, et al.
Veröffentlicht: (2023)
MD-Syn: Synergistic drug combination prediction based on the multidimensional feature fusion method and attention mechanisms
von: Ge, XinXin, et al.
Veröffentlicht: (2025)
von: Ge, XinXin, et al.
Veröffentlicht: (2025)
Enhancing short-term traffic prediction by integrating trends and fluctuations with attention mechanism
von: Das, Adway, et al.
Veröffentlicht: (2025)
von: Das, Adway, et al.
Veröffentlicht: (2025)
Poly-attention: a general scheme for higher-order self-attention
von: Chakrabarti, Sayak, et al.
Veröffentlicht: (2026)
von: Chakrabarti, Sayak, et al.
Veröffentlicht: (2026)
Unified CNNs and transformers underlying learning mechanism reveals multi-head attention modus vivendi
von: Koresh, Ella, et al.
Veröffentlicht: (2025)
von: Koresh, Ella, et al.
Veröffentlicht: (2025)
EEG motor imagery decoding: A framework for comparative analysis with channel attention mechanisms
von: Wimpff, Martin, et al.
Veröffentlicht: (2023)
von: Wimpff, Martin, et al.
Veröffentlicht: (2023)
Information-Computation Tradeoffs for Noiseless Linear Regression with Oblivious Contamination
von: Diakonikolas, Ilias, et al.
Veröffentlicht: (2025)
von: Diakonikolas, Ilias, et al.
Veröffentlicht: (2025)
Latent attention on masked patches for flow reconstruction
von: Eze, Ben, et al.
Veröffentlicht: (2026)
von: Eze, Ben, et al.
Veröffentlicht: (2026)
Myosotis: structured computation for attention like layer
von: Egorov, Evgenii, et al.
Veröffentlicht: (2025)
von: Egorov, Evgenii, et al.
Veröffentlicht: (2025)
An extension of linear self-attention for in-context learning
von: Hagiwara, Katsuyuki
Veröffentlicht: (2025)
von: Hagiwara, Katsuyuki
Veröffentlicht: (2025)
Online high-precision prediction method for injection molding product weight by integrating time series/non-time series mixed features and feature attention mechanism
von: Li, Maoyuan, et al.
Veröffentlicht: (2025)
von: Li, Maoyuan, et al.
Veröffentlicht: (2025)
Supervised learning pays attention
von: Craig, Erin, et al.
Veröffentlicht: (2025)
von: Craig, Erin, et al.
Veröffentlicht: (2025)
Weight decay induces low-rank attention layers
von: Kobayashi, Seijin, et al.
Veröffentlicht: (2024)
von: Kobayashi, Seijin, et al.
Veröffentlicht: (2024)
Integrating attention into explanation frameworks for language and vision transformers
von: Eggen, Marte, et al.
Veröffentlicht: (2025)
von: Eggen, Marte, et al.
Veröffentlicht: (2025)
Approximation-Aware Bayesian Optimization
von: Maus, Natalie, et al.
Veröffentlicht: (2024)
von: Maus, Natalie, et al.
Veröffentlicht: (2024)
Artifact detection and localization in single-channel mobile EEG for sleep research using deep learning and attention mechanisms
von: Semkiv, Khrystyna, et al.
Veröffentlicht: (2025)
von: Semkiv, Khrystyna, et al.
Veröffentlicht: (2025)
Integrated electro-optic attention nonlinearities for transformers
von: Mickeler, Luis, et al.
Veröffentlicht: (2026)
von: Mickeler, Luis, et al.
Veröffentlicht: (2026)
Self-attention Networks Localize When QK-eigenspectrum Concentrates
von: Bao, Han, et al.
Veröffentlicht: (2024)
von: Bao, Han, et al.
Veröffentlicht: (2024)
Ähnliche Einträge
-
Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers
von: Altabaa, Awni, et al.
Veröffentlicht: (2023) -
Disentangling and Integrating Relational and Sensory Information in Transformer Architectures
von: Altabaa, Awni, et al.
Veröffentlicht: (2024) -
Learning Hierarchical Relational Representations through Relational Convolutions
von: Altabaa, Awni, et al.
Veröffentlicht: (2023) -
CoT Information: Improved Sample Complexity under Chain-of-Thought Supervision
von: Altabaa, Awni, et al.
Veröffentlicht: (2025) -
Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning
von: Altabaa, Awni, et al.
Veröffentlicht: (2025)