Buchumschlag

Information Locality as an Inductive Bias for Neural Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Someya, Taiga, Svete, Anej, DuSell, Brian, O'Donnell, Timothy J., Giulianelli, Mario, Cotterell, Ryan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Training Neural Networks as Recognizers of Formal Languages
von: Butoi, Alexandra, et al.
Veröffentlicht: (2024)

Bearing Syntactic Fruit with Stack-Augmented Neural Networks
von: DuSell, Brian, et al.
Veröffentlicht: (2025)

Transformers Can Represent $n$-gram Language Models
von: Svete, Anej, et al.
Veröffentlicht: (2024)

From Language Models over Tokens to Language Models over Characters
von: Vieira, Tim, et al.
Veröffentlicht: (2024)

On the Representational Capacity of Recurrent Neural Language Models
von: Nowak, Franz, et al.
Veröffentlicht: (2023)

Language Models over Canonical Byte-Pair Encodings
von: Vieira, Tim, et al.
Veröffentlicht: (2025)

On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning
von: Nowak, Franz, et al.
Veröffentlicht: (2024)

On the Proper Treatment of Tokenization in Psycholinguistics
von: Giulianelli, Mario, et al.
Veröffentlicht: (2024)

Lower Bounds on the Expressivity of Recurrent Neural Language Models
von: Svete, Anej, et al.
Veröffentlicht: (2024)

Formal Aspects of Language Modeling
von: Cotterell, Ryan, et al.
Veröffentlicht: (2023)

Gumbel Counterfactual Generation From Language Models
von: Ravfogel, Shauli, et al.
Veröffentlicht: (2024)

On Efficiently Representing Regular Languages as RNNs
von: Svete, Anej, et al.
Veröffentlicht: (2024)

Can Transformers Learn $n$-gram Language Models?
von: Svete, Anej, et al.
Veröffentlicht: (2024)

Unique Hard Attention: A Tale of Two Sides
von: Jerad, Selim, et al.
Veröffentlicht: (2025)

Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't
von: Svete, Anej, et al.
Veröffentlicht: (2026)

Stack Attention: Improving the Ability of Transformers to Model Hierarchical Patterns
von: DuSell, Brian, et al.
Veröffentlicht: (2023)

Algorithms for Weighted Pushdown Automata
von: Butoi, Alexandra, et al.
Veröffentlicht: (2022)

On the Reasoning Abilities of Masked Diffusion Language Models
von: Svete, Anej, et al.
Veröffentlicht: (2025)

The Role of $n$-gram Smoothing in the Age of Neural Networks
von: Malagutti, Luca, et al.
Veröffentlicht: (2024)

A Geometric Notion of Causal Probing
von: Guerner, Clément, et al.
Veröffentlicht: (2023)

Context-Free Recognition with Transformers
von: Jerad, Selim, et al.
Veröffentlicht: (2026)

An $\mathbf{L^*}$ Algorithm for Deterministic Weighted Regular Languages
von: Pasti, Clemente, et al.
Veröffentlicht: (2024)

Generalized Measures of Anticipation and Responsivity in Online Language Processing
von: Giulianelli, Mario, et al.
Veröffentlicht: (2024)

Correlation Does Not Imply Compensation: Complexity and Irregularity in the Lexicon
von: Doucette, Amanda, et al.
Veröffentlicht: (2024)

What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages
von: Borenstein, Nadav, et al.
Veröffentlicht: (2024)

The Foundations of Tokenization: Statistical and Computational Concerns
von: Gastaldi, Juan Luis, et al.
Veröffentlicht: (2024)

A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors
von: Tan, Naaman, et al.
Veröffentlicht: (2024)

Prefix Parsing is Just Parsing
von: Pasti, Clemente, et al.
Veröffentlicht: (2026)

PILA: A Historical-Linguistic Dataset of Proto-Italic and Latin
von: Bothwell, Stephen, et al.
Veröffentlicht: (2024)

Probability Distributions Computed by Autoregressive Transformers
von: Yang, Andy, et al.
Veröffentlicht: (2025)

Derivational Probing: Unveiling the Layer-wise Derivation of Syntactic Structures in Neural Language Models
von: Someya, Taiga, et al.
Veröffentlicht: (2025)

Unsupervised Classification of English Words Based on Phonological Information: Discovery of Germanic and Latinate Clusters
von: Morita, Takashi, et al.
Veröffentlicht: (2025)

Tree-Planted Transformers: Unidirectional Transformer Language Models with Implicit Syntactic Supervision
von: Yoshida, Ryo, et al.
Veröffentlicht: (2024)

Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse
von: Tsipidi, Eleftheria, et al.
Veröffentlicht: (2024)

Language Acquisition Device in Large Language Models
von: Mita, Masato, et al.
Veröffentlicht: (2026)

A Spatio-Temporal Point Process for Fine-Grained Modeling of Reading Behavior
von: Re, Francesco Ignazio, et al.
Veröffentlicht: (2025)

An Existence Proof for Neural Language Models That Can Explain Garden-Path Effects via Surprisal
von: Yoshida, Ryo, et al.
Veröffentlicht: (2026)

Ensembling Language Models with Sequential Monte Carlo
von: Chan, Robin Shing Moon, et al.
Veröffentlicht: (2026)

The Harmonic Structure of Information Contours
von: Tsipidi, Eleftheria, et al.
Veröffentlicht: (2025)

On Affine Homotopy between Language Encoders
von: Chan, Robin SM, et al.
Veröffentlicht: (2024)