Copertina

Decoupling Positional and Symbolic Attention Behavior in Transformers

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Urrutia, Felipe, Salas, Jorge, Kozachinskiy, Alexander, Calderon, Cristian Buc, Pasten, Hector, Rojas, Cristobal
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning Artificial Intelligence Computation and Language 03D78 I.2.0; F.1.0
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Serial Properties, Selector Proofs, and the Provability of Consistency
di: Artemov, Sergei
Pubblicazione: (2024)

Non-Compact Proofs
di: Artemov, Sergei
Pubblicazione: (2025)

Consistency formula is strictly stronger in PA than PA-consistency
di: Artemov, Sergei
Pubblicazione: (2025)

Adversarial Barrier in Uniform Class Separation
di: Rosko, Milan
Pubblicazione: (2025)

Different Theories of Parts
di: Pietruszczak, Andrzej
Pubblicazione: (2024)

Consciousness in AI: Logic, Proof, and Experimental Evidence of Recursive Identity Formation
di: Camlin, Jeffrey
Pubblicazione: (2025)

Evaluating Large Language Models for Causal Modeling
di: Razouk, Houssam, et al.
Pubblicazione: (2024)

Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning
di: Semenov, Andrei, et al.
Pubblicazione: (2024)

Equip Pre-ranking with Target Attention by Residual Quantization
di: Li, Yutong, et al.
Pubblicazione: (2025)

Cross-Attention and Encoder-Decoder Transformers: A Logical Characterization
di: Ahvonen, Veeti, et al.
Pubblicazione: (2026)

The Fractal Logic of Phi-adic Recursion
di: Rosko, Milan
Pubblicazione: (2025)

Word equations and the exponent of periodicity
di: Diekert, Volker, et al.
Pubblicazione: (2025)

Prism-based compensation of group delay dispersion in the components of a femtosecond laser resonator and analysis of the influence of prism configuration on laser radiation parameters
di: Beznosenko, I. V., et al.
Pubblicazione: (2025)

Accelerating Transfer Function Update for Distance Map based Volume Rendering
di: Rauter, Michael, et al.
Pubblicazione: (2024)

CoGraM: Context-sensitive granular optimization method with rollback for robust model fusion
di: Lenz, Julius
Pubblicazione: (2025)

Constructibility and the P versus NP problem
di: Hole, Arne
Pubblicazione: (2024)

Fixed-Point Theorems and the Ethics of Radical Transparency: A Logic-First Treatment
di: Alpay, Faruk, et al.
Pubblicazione: (2025)

Differential Privacy Under Class Imbalance: Methods and Empirical Insights
di: Rosenblatt, Lucas, et al.
Pubblicazione: (2024)

Skolem Meets Bateman-Horn
di: Luca, Florian, et al.
Pubblicazione: (2023)

Efficiently Scanning and Resampling Spatio-Temporal Tasks with Irregular Observations
di: Ferenczi, Bryce, et al.
Pubblicazione: (2024)

PCA- and SVM-Grad-CAM for Convolutional Neural Networks: Closed-form Jacobian Expression
di: Omae, Yuto
Pubblicazione: (2025)

A Theory for Probabilistic Polynomial-Time Reasoning
di: Chen, Lijie, et al.
Pubblicazione: (2026)

A Capacity-Based Rationale for Multi-Head Attention
di: Adler, Micah
Pubblicazione: (2025)

ReFoRCE: A Text-to-SQL Agent with Self-Refinement, Consensus Enforcement, and Column Exploration
di: Deng, Minghang, et al.
Pubblicazione: (2025)

The Electric Force Between Two Straight Parallel Resistive Wires Carrying DC-Currents in the Asymptotic Limit of Infinitely Thin Wires
di: Ausserlechner, Udo
Pubblicazione: (2024)

Effective dynamical systems beyond dimension zero and factors of SFTs
di: Barbieri, Sebastián, et al.
Pubblicazione: (2024)

Measuring proximity to standard planes during fetal brain ultrasound scanning
di: Di Vece, Chiara, et al.
Pubblicazione: (2024)

Passive surface drifter data in the bay of Sept-Îles in 2003
di: Shaw, Jean-Luc, et al.
Pubblicazione: (2022)

Illustrating the Efficiency of Popular Evolutionary Multi-Objective Algorithms Using Runtime Analysis
di: Dang, Duc-Cuong, et al.
Pubblicazione: (2024)

Making High-Level AI Design Decisions Explicit Using a Binary Stream System-Designation Approach
di: Mossbridge, Julia
Pubblicazione: (2024)

Artifical intelligence and inherent mathematical difficulty
di: Dean, Walter, et al.
Pubblicazione: (2024)

Regime Change Hypothesis: Foundations for Decoupled Dynamics in Neural Network Training
di: Pérez-Corral, Cristian, et al.
Pubblicazione: (2026)

Lagrangian neural networks for nonholonomic mechanics
di: Diaz, Viviana Alejandra, et al.
Pubblicazione: (2024)

Order positive fields II
di: Korovina, Margarita, et al.
Pubblicazione: (2025)

Deciding subspace reachability problems with application to Skolem's Problem
di: Everett, Samuel
Pubblicazione: (2024)

Position: Tensor Networks are a Valuable Asset for Green AI
di: Memmel, Eva, et al.
Pubblicazione: (2022)

Expressive Power of Graph Transformers via Logic
di: Ahvonen, Veeti, et al.
Pubblicazione: (2025)

Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
di: Kajitsuka, Tokio, et al.
Pubblicazione: (2023)

Predicting VCSEL Emission Properties Using Transformer Neural Networks
di: Belonovskii, Aleksei V., et al.
Pubblicazione: (2024)

Remarks on Primitive Regulation
di: Rosko, Milan
Pubblicazione: (2026)