Buchumschlag

Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hanna, Michael, Mueller, Aaron
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Disjoint Processing Mechanisms of Hierarchical and Linear Grammars in Large Language Models
von: Sankaranarayanan, Aruna, et al.
Veröffentlicht: (2025)

SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
von: Dragunov, Nikita, et al.
Veröffentlicht: (2025)

Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming
von: Zhang, Demi, et al.
Veröffentlicht: (2024)

Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention
von: Li, Andrew, et al.
Veröffentlicht: (2024)

Dual Alignment Between Language Model Layers and Human Sentence Processing
von: Kuribayashi, Tatsuki, et al.
Veröffentlicht: (2026)

Towards Incremental Transformers: An Empirical Analysis of Transformer Models for Incremental NLU
von: Kahardipraja, Patrick, et al.
Veröffentlicht: (2021)

Characterizing the Role of Similarity in the Property Inferences of Language Models
von: Rodriguez, Juan Diego, et al.
Veröffentlicht: (2024)

Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models
von: He, Liyang, et al.
Veröffentlicht: (2025)

Comparing Human and Language Models Sentence Processing Difficulties on Complex Structures
von: Amouyal, Samuel Joseph, et al.
Veröffentlicht: (2025)

Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages
von: Brinkmann, Jannik, et al.
Veröffentlicht: (2025)

Incremental Processing in the Age of Non-Incremental Encoders: An Empirical Assessment of Bidirectional Models for Incremental NLU
von: Madureira, Brielen, et al.
Veröffentlicht: (2020)

Sentence Curve Language Models
von: Heo, DongNyeong, et al.
Veröffentlicht: (2026)

Think in Sentences: Explicit Sentence Boundaries Enhance Language Model's Capabilities
von: Liu, Zhichen, et al.
Veröffentlicht: (2026)

Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
von: Neitemeier, Pit, et al.
Veröffentlicht: (2025)

Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects
von: von der Malsburg, Titus, et al.
Veröffentlicht: (2026)

Missed Causes and Ambiguous Effects: Counterfactuals Pose Challenges for Interpreting Neural Networks
von: Mueller, Aaron
Veröffentlicht: (2024)

Flexible Language Modeling in Continuous Space with Transformer-based Autoregressive Flows
von: Zhang, Ruixiang, et al.
Veröffentlicht: (2025)

On the Relationship between Sentence Analogy Identification and Sentence Structure Encoding in Large Language Models
von: Wijesiriwardene, Thilini, et al.
Veröffentlicht: (2023)

Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars
von: Yoshida, Ryo, et al.
Veröffentlicht: (2021)

Large Concept Models: Language Modeling in a Sentence Representation Space
von: LCM team, et al.
Veröffentlicht: (2024)

Causal Autoregressive Diffusion Language Model
von: Ruan, Junhao, et al.
Veröffentlicht: (2026)

Reversal Invariance in Autoregressive Language Models
von: Sahasrabudhe, Mihir
Veröffentlicht: (2025)

Neurocomputational Mechanisms of Syntactic Transfer in Bilingual Sentence Production
von: Uluslu, Ahmet Yavuz, et al.
Veröffentlicht: (2026)

Leveraging Large Language Models for Comparative Literature Summarization with Reflective Incremental Mechanisms
von: Garcia, Fernando Gabriela, et al.
Veröffentlicht: (2024)

Simple Techniques for Enhancing Sentence Embeddings in Generative Language Models
von: Zhang, Bowen, et al.
Veröffentlicht: (2024)

Tiny Transformers Excel at Sentence Compression
von: Belcak, Peter, et al.
Veröffentlicht: (2024)

Measuring Mechanistic Independence: Can Bias Be Removed Without Erasing Demographics?
von: Shan, Zhengyang, et al.
Veröffentlicht: (2025)

Comateformer: Combined Attention Transformer for Semantic Sentence Matching
von: Li, Bo, et al.
Veröffentlicht: (2024)

Generating Completions for Broca's Aphasic Sentences Using Large Language Models
von: van Vaals, Sijbren, et al.
Veröffentlicht: (2024)

Multi-label Sequential Sentence Classification via Large Language Model
von: Lan, Mengfei, et al.
Veröffentlicht: (2024)

SentGuard: Sentence-Level Streaming Guardrails for Large Language Models
von: Yu, Jiaqi, et al.
Veröffentlicht: (2026)

Revisiting Knowledge Distillation for Autoregressive Language Models
von: Zhong, Qihuang, et al.
Veröffentlicht: (2024)

Autoregressive Large Language Models are Computationally Universal
von: Schuurmans, Dale, et al.
Veröffentlicht: (2024)

Top-b: Entropic Regulation of Relative Probability Bands in Autoregressive Language Processes
von: Halder, Deepon, et al.
Veröffentlicht: (2026)

Process Reward Models for Sentence-Level Verification of LVLM Radiology Reports
von: Thomas, Alois, et al.
Veröffentlicht: (2025)

Combining Discrete Wavelet and Cosine Transforms for Efficient Sentence Embedding
von: Salama, Rana, et al.
Veröffentlicht: (2025)

Reconsidering Sentence-Level Sign Language Translation
von: Tanzer, Garrett, et al.
Veröffentlicht: (2024)

Probability Distributions Computed by Autoregressive Transformers
von: Yang, Andy, et al.
Veröffentlicht: (2025)

Sign Language Translation with Sentence Embedding Supervision
von: Hamidullah, Yasser, et al.
Veröffentlicht: (2025)

WAND: Windowed Attention and Knowledge Distillation for Efficient Autoregressive Text-to-Speech Models
von: Lee, Hanna, et al.
Veröffentlicht: (2026)