Copertina

Bifocal Attention: Harmonizing Geometric and Spectral Positional Embeddings for Algorithmic Generalization

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autore principale:	Awadhiya, Kanishk
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Computation and Language Formal Languages and Automata Theory Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Simulating Hard Attention Using Soft Attention
di: Yang, Andy, et al.
Pubblicazione: (2024)

Unique Hard Attention: A Tale of Two Sides
di: Jerad, Selim, et al.
Pubblicazione: (2025)

An Algebraic View of the Expressivity of Recurrent Language Models
di: Nowak, Franz, et al.
Pubblicazione: (2026)

The Expressive Capacity of State Space Models: A Formal Language Perspective
di: Sarrof, Yash, et al.
Pubblicazione: (2024)

Language Models over Canonical Byte-Pair Encodings
di: Vieira, Tim, et al.
Pubblicazione: (2025)

From Formal Language Theory to Statistical Learning: Finite Observability of Subregular Languages
di: Hayashi, Katsuhiko, et al.
Pubblicazione: (2025)

DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products
di: Siems, Julien, et al.
Pubblicazione: (2025)

Unlocking State-Tracking in Linear RNNs Through Negative Eigenvalues
di: Grazzi, Riccardo, et al.
Pubblicazione: (2024)

Sampling from Your Language Model One Byte at a Time
di: Hayase, Jonathan, et al.
Pubblicazione: (2025)

Unraveling Syntax: How Language Models Learn Context-Free Grammars
di: Schulz, Laura Ying, et al.
Pubblicazione: (2025)

Comparison of different Unique hard attention transformer models by the formal languages they can recognize
di: Ryvkin, Leonid
Pubblicazione: (2025)

Constructing a BPE Tokenization DFA
di: Berglund, Martin, et al.
Pubblicazione: (2024)

Correct and Optimal: the Regular Expression Inference Challenge
di: Valizadeh, Mojtaba, et al.
Pubblicazione: (2023)

The Counting Power of Transformers
di: Sälzer, Marco, et al.
Pubblicazione: (2025)

MLRegTest: A Benchmark for the Machine Learning of Regular Languages
di: van der Poel, Sam, et al.
Pubblicazione: (2023)

Extending AALpy with Passive Learning: A Generalized State-Merging Approach
di: von Berg, Benjamin, et al.
Pubblicazione: (2025)

Compositional Automata Embeddings for Goal-Conditioned Reinforcement Learning
di: Yalcinkaya, Beyazit, et al.
Pubblicazione: (2024)

Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning
di: Yalcinkaya, Beyazit, et al.
Pubblicazione: (2025)

Finite Sentence-Interface Control for Learning Bounded-Fan-Out Linear MCFGs under Fixed Monoid Typing
di: Kuriyama, Takayuki
Pubblicazione: (2026)

Learning Deterministic Finite-State Machines from the Prefixes of a Single String is NP-Complete
di: Dumitru, Radu Cosmin, et al.
Pubblicazione: (2026)

SMT-Based Active Learning of Weighted Automata
di: Ferreira, Tiago, et al.
Pubblicazione: (2026)

Continuous Diffusion Models Can Obey Formal Syntax
di: Kim, Jinwoo, et al.
Pubblicazione: (2026)

Unsupervised Hierarchical Skill Discovery
di: Harvey, Damion, et al.
Pubblicazione: (2026)

Solomonoff induction
di: Sterkenburg, Tom F.
Pubblicazione: (2026)

Warm Starting State-Space Models with Automata Learning
di: Fishell, William, et al.
Pubblicazione: (2026)

PAC learning PDFA from data streams
di: Baumgartner, Robert, et al.
Pubblicazione: (2026)

Deconstructing Subset Construction -- Reducing While Determinizing
di: Nicol, John, et al.
Pubblicazione: (2025)

Learning Reward Machines from Partially Observed Policies
di: Shehab, Mohamad Louai, et al.
Pubblicazione: (2025)

Transformers as Transducers
di: Strobl, Lena, et al.
Pubblicazione: (2024)

Stochastic Alignments: Matching an Observed Trace to Stochastic Process Models
di: Li, Tian, et al.
Pubblicazione: (2025)

A Constructive Framework for Nondeterministic Automata via Time-Shared, Depth-Unrolled Feedforward Networks
di: Dhayalkar, Sahil Rajesh
Pubblicazione: (2025)

Active Learning of Symbolic Automata Over Rational Numbers
di: Hagedorn, Sebastian, et al.
Pubblicazione: (2025)

Learning Weighted Finite Automata over the Max-Plus Semiring and its Termination
di: Okudono, Takamasa, et al.
Pubblicazione: (2024)

PDFA Distillation via String Probability Queries
di: Baumgartner, Robert, et al.
Pubblicazione: (2024)

Certifying Robustness of Graph Convolutional Networks for Node Perturbation with Polyhedra Abstract Interpretation
di: Chen, Boqi, et al.
Pubblicazione: (2024)

A Detailed Account of Compositional Automata Learning through Alphabet Refinement
di: Henry, Leo, et al.
Pubblicazione: (2025)

Partial Answer of How Transformers Learn Automata
di: Zhang, Tiantian
Pubblicazione: (2025)

CoT-TL: Low-Resource Temporal Knowledge Representation of Planning Instructions Using Chain-of-Thought Reasoning
di: Manas, Kumar, et al.
Pubblicazione: (2024)

Language Generation: Complexity Barriers and Implications for Learning
di: Arenas, Marcelo, et al.
Pubblicazione: (2025)

Masked Hard-Attention Transformers Recognize Exactly the Star-Free Languages
di: Yang, Andy, et al.
Pubblicazione: (2023)