Copertina

On the Representational Capacity of Recurrent Neural Language Models

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Nowak, Franz, Svete, Anej, Du, Li, Cotterell, Ryan
Natura:	Preprint
Pubblicazione:	2023
Soggetti:	Computation and Language Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning
di: Nowak, Franz, et al.
Pubblicazione: (2024)

Transformers Can Represent $n$-gram Language Models
di: Svete, Anej, et al.
Pubblicazione: (2024)

Lower Bounds on the Expressivity of Recurrent Neural Language Models
di: Svete, Anej, et al.
Pubblicazione: (2024)

Gumbel Counterfactual Generation From Language Models
di: Ravfogel, Shauli, et al.
Pubblicazione: (2024)

On Efficiently Representing Regular Languages as RNNs
di: Svete, Anej, et al.
Pubblicazione: (2024)

Training Neural Networks as Recognizers of Formal Languages
di: Butoi, Alexandra, et al.
Pubblicazione: (2024)

Unique Hard Attention: A Tale of Two Sides
di: Jerad, Selim, et al.
Pubblicazione: (2025)

An Algebraic View of the Expressivity of Recurrent Language Models
di: Nowak, Franz, et al.
Pubblicazione: (2026)

Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't
di: Svete, Anej, et al.
Pubblicazione: (2026)

On the Reasoning Abilities of Masked Diffusion Language Models
di: Svete, Anej, et al.
Pubblicazione: (2025)

Context-Free Recognition with Transformers
di: Jerad, Selim, et al.
Pubblicazione: (2026)

An $\mathbf{L^*}$ Algorithm for Deterministic Weighted Regular Languages
di: Pasti, Clemente, et al.
Pubblicazione: (2024)

Formal Aspects of Language Modeling
di: Cotterell, Ryan, et al.
Pubblicazione: (2023)

What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages
di: Borenstein, Nadav, et al.
Pubblicazione: (2024)

Can Transformers Learn $n$-gram Language Models?
di: Svete, Anej, et al.
Pubblicazione: (2024)

Information Locality as an Inductive Bias for Neural Language Models
di: Someya, Taiga, et al.
Pubblicazione: (2025)

On Affine Homotopy between Language Encoders
di: Chan, Robin SM, et al.
Pubblicazione: (2024)

The Role of $n$-gram Smoothing in the Age of Neural Networks
di: Malagutti, Luca, et al.
Pubblicazione: (2024)

A Geometric Notion of Causal Probing
di: Guerner, Clément, et al.
Pubblicazione: (2023)

A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors
di: Tan, Naaman, et al.
Pubblicazione: (2024)

What Do Language Models Learn in Context? The Structured Task Hypothesis
di: Li, Jiaoda, et al.
Pubblicazione: (2024)

Can Language Models Learn Typologically Implausible Languages?
di: Xu, Tianyang, et al.
Pubblicazione: (2025)

Better Estimation of the Kullback--Leibler Divergence Between Language Models
di: Amini, Afra, et al.
Pubblicazione: (2025)

Exploring the Linear Subspace Hypothesis in Gender Bias Mitigation
di: Vargas, Francisco, et al.
Pubblicazione: (2020)

Syntactic Control of Language Models by Posterior Inference
di: Xefteri, Vicky, et al.
Pubblicazione: (2025)

Probability Distributions Computed by Autoregressive Transformers
di: Yang, Andy, et al.
Pubblicazione: (2025)

A Discriminative Latent-Variable Model for Bilingual Lexicon Induction
di: Ruder, Sebastian, et al.
Pubblicazione: (2018)

Log-linear Guardedness and its Implications
di: Ravfogel, Shauli, et al.
Pubblicazione: (2022)

Representation Surgery: Theory and Practice of Affine Steering
di: Singh, Shashwat, et al.
Pubblicazione: (2024)

Kernelized Concept Erasure
di: Ravfogel, Shauli, et al.
Pubblicazione: (2022)

Linear Adversarial Concept Erasure
di: Ravfogel, Shauli, et al.
Pubblicazione: (2022)

Direct Preference Optimization with an Offset
di: Amini, Afra, et al.
Pubblicazione: (2024)

On the Role of Context in Reading Time Prediction
di: Opedal, Andreas, et al.
Pubblicazione: (2024)

A Practical Method for Generating String Counterfactuals
di: Avitan, Matan, et al.
Pubblicazione: (2024)

Principled Gradient-based Markov Chain Monte Carlo for Text Generation
di: Du, Li, et al.
Pubblicazione: (2023)

Advancing Regular Language Reasoning in Linear Recurrent Neural Networks
di: Fan, Ting-Han, et al.
Pubblicazione: (2023)

Language Models over Canonical Byte-Pair Encodings
di: Vieira, Tim, et al.
Pubblicazione: (2025)

Towards Generalising Neural Topical Representations
di: Yang, Xiaohao, et al.
Pubblicazione: (2023)

A Fast Algorithm for Computing Prefix Probabilities
di: Nowak, Franz, et al.
Pubblicazione: (2023)

Variational Best-of-N Alignment
di: Amini, Afra, et al.
Pubblicazione: (2024)