Buchumschlag

What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Borenstein, Nadav, Svete, Anej, Chan, Robin, Valvoda, Josef, Nowak, Franz, Augenstein, Isabelle, Chodroff, Eleanor, Cotterell, Ryan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Can Transformers Learn $n$-gram Language Models?
von: Svete, Anej, et al.
Veröffentlicht: (2024)

On Efficiently Representing Regular Languages as RNNs
von: Svete, Anej, et al.
Veröffentlicht: (2024)

On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning
von: Nowak, Franz, et al.
Veröffentlicht: (2024)

On the Representational Capacity of Recurrent Neural Language Models
von: Nowak, Franz, et al.
Veröffentlicht: (2023)

Transformers Can Represent $n$-gram Language Models
von: Svete, Anej, et al.
Veröffentlicht: (2024)

Lower Bounds on the Expressivity of Recurrent Neural Language Models
von: Svete, Anej, et al.
Veröffentlicht: (2024)

An $\mathbf{L^*}$ Algorithm for Deterministic Weighted Regular Languages
von: Pasti, Clemente, et al.
Veröffentlicht: (2024)

Training Neural Networks as Recognizers of Formal Languages
von: Butoi, Alexandra, et al.
Veröffentlicht: (2024)

A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors
von: Tan, Naaman, et al.
Veröffentlicht: (2024)

Gumbel Counterfactual Generation From Language Models
von: Ravfogel, Shauli, et al.
Veröffentlicht: (2024)

Formal Aspects of Language Modeling
von: Cotterell, Ryan, et al.
Veröffentlicht: (2023)

Towards Explainability in Legal Outcome Prediction Models
von: Valvoda, Josef, et al.
Veröffentlicht: (2024)

On the Reasoning Abilities of Masked Diffusion Language Models
von: Svete, Anej, et al.
Veröffentlicht: (2025)

Revisiting Noise in Natural Language Processing for Computational Social Science
von: Borenstein, Nadav
Veröffentlicht: (2025)

Revealing Fine-Grained Values and Opinions in Large Language Models
von: Wright, Dustin, et al.
Veröffentlicht: (2024)

Unique Hard Attention: A Tale of Two Sides
von: Jerad, Selim, et al.
Veröffentlicht: (2025)

An Algebraic View of the Expressivity of Recurrent Language Models
von: Nowak, Franz, et al.
Veröffentlicht: (2026)

Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't
von: Svete, Anej, et al.
Veröffentlicht: (2026)

Information Locality as an Inductive Bias for Neural Language Models
von: Someya, Taiga, et al.
Veröffentlicht: (2025)

Can Community Notes Replace Professional Fact-Checkers?
von: Borenstein, Nadav, et al.
Veröffentlicht: (2025)

A Geometric Notion of Causal Probing
von: Guerner, Clément, et al.
Veröffentlicht: (2023)

Context-Free Recognition with Transformers
von: Jerad, Selim, et al.
Veröffentlicht: (2026)

On Affine Homotopy between Language Encoders
von: Chan, Robin SM, et al.
Veröffentlicht: (2024)

On the Role of Context in Reading Time Prediction
von: Opedal, Andreas, et al.
Veröffentlicht: (2024)

The Role of $n$-gram Smoothing in the Age of Neural Networks
von: Malagutti, Luca, et al.
Veröffentlicht: (2024)

A Fast Algorithm for Computing Prefix Probabilities
von: Nowak, Franz, et al.
Veröffentlicht: (2023)

A Distributional Perspective on Word Learning in Neural Language Models
von: Ficarra, Filippo, et al.
Veröffentlicht: (2025)

Probability Distributions Computed by Autoregressive Transformers
von: Yang, Andy, et al.
Veröffentlicht: (2025)

What Do Language Models Learn in Context? The Structured Task Hypothesis
von: Li, Jiaoda, et al.
Veröffentlicht: (2024)

Measuring and Benchmarking Large Language Models' Capabilities to Generate Persuasive Language
von: Pauli, Amalie Brogaard, et al.
Veröffentlicht: (2024)

A Latent-Variable Model for Intrinsic Probing
von: Stańczak, Karolina, et al.
Veröffentlicht: (2022)

BiasGym: A Simple and Generalizable Framework for Analyzing and Removing Biases through Elicitation
von: Islam, Sekh Mainul, et al.
Veröffentlicht: (2025)

Characterizing the Expressivity of Fixed-Precision Transformer Language Models
von: Li, Jiaoda, et al.
Veröffentlicht: (2025)

The Causal Influence of Grammatical Gender on Distributional Semantics
von: Stańczak, Karolina, et al.
Veröffentlicht: (2023)

What Kind of Language is Easy to Language-Model Under Curriculum Learning?
von: El-Naggar, Nadine, et al.
Veröffentlicht: (2026)

Probing Pre-Trained Language Models for Cross-Cultural Differences in Values
von: Arora, Arnav, et al.
Veröffentlicht: (2022)

Can Language Models Learn Typologically Implausible Languages?
von: Xu, Tianyang, et al.
Veröffentlicht: (2025)

Investigating Human Values in Online Communities
von: Borenstein, Nadav, et al.
Veröffentlicht: (2024)

Social Bias Probing: Fairness Benchmarking for Language Models
von: Manerba, Marta Marchiori, et al.
Veröffentlicht: (2023)

Investigating Critical Period Effects in Language Acquisition through Neural Language Models
von: Constantinescu, Ionut, et al.
Veröffentlicht: (2024)