Buchumschlag

Clozing the Gap: Exploring Why Language Model Surprisal Outperforms Cloze Surprisal

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Nair, Sathvik, Oh, Byung-Doh
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Impact of Token Granularity on the Predictive Power of Language Model Surprisal
von: Oh, Byung-Doh, et al.
Veröffentlicht: (2024)

The Inverse Scaling Effect of Pre-Trained Language Model Surprisal Is Not Due to Data Leakage
von: Oh, Byung-Doh, et al.
Veröffentlicht: (2025)

Frequency Explains the Inverse Correlation of Large Language Models' Size, Training Data Amount, and Surprisal's Fit to Reading Times
von: Oh, Byung-Doh, et al.
Veröffentlicht: (2024)

Constructing Cloze Questions Generatively
von: Sun, Yicheng, et al.
Veröffentlicht: (2024)

Difficulty-Controllable Cloze Question Distractor Generation
von: Kang, Seokhoon, et al.
Veröffentlicht: (2025)

ClozeMath: Improving Mathematical Reasoning in Language Models by Learning to Fill Equations
von: Pham, Quang Hieu, et al.
Veröffentlicht: (2025)

Leading Whitespaces of Language Models' Subword Vocabulary Pose a Confound for Calculating Word Probabilities
von: Oh, Byung-Doh, et al.
Veröffentlicht: (2024)

CDGP: Automatic Cloze Distractor Generation based on Pre-trained Language Model
von: Chiang, Shang-Hsuan, et al.
Veröffentlicht: (2024)

Cloze, Frequency, Surprisal, or Plausibility? A Comparative Analysis of Predictors for Local Ambiguity Resolution
von: Markéta Ceháková, et al.
Veröffentlicht: (2026)

Accurate Scene Text Recognition with Efficient Model Scaling and Cloze Self-Distillation
von: Maracani, Andrea, et al.
Veröffentlicht: (2025)

Filling in the Mechanisms: How do LMs Learn Filler-Gap Dependencies under Developmental Constraints?
von: Desai, Atrey, et al.
Veröffentlicht: (2026)

DualReward: A Dynamic Reinforcement Learning Framework for Cloze Tests Distractor Generation
von: Huang, Tianyou, et al.
Veröffentlicht: (2025)

Cloze, Frequency, Surprisal, or Plausibility? A Comparative Analysis of Predictors for Local Ambiguity Resolution (dataset)
von: Ceháková, Markéta, et al.
Veröffentlicht: (2026)

Cloze, Frequency, Surprisal, or Plausibility? A Comparative Analysis of Predictors for Local Ambiguity Resolution (paper)
von: Ceháková, Markéta, et al.
Veröffentlicht: (2026)

Controlling Cloze-test Question Item Difficulty with PLM-based Surrogate Models for IRT Assessment
von: Zhang, Jingshen, et al.
Veröffentlicht: (2024)

Improving Factual Error Correction for Abstractive Summarization via Data Distillation and Conditional-generation Cloze
von: Li, Yiyang, et al.
Veröffentlicht: (2024)

The Frequency Confound in Language-Model Surprisal and Metaphor Novelty
von: Momen, Omar, et al.
Veröffentlicht: (2026)

Testing the Predictions of Surprisal Theory in 11 Languages
von: Wilcox, Ethan Gotlieb, et al.
Veröffentlicht: (2023)

Language Models are Surprisingly Fragile to Drug Names in Biomedical Benchmarks
von: Gallifant, Jack, et al.
Veröffentlicht: (2024)

Confabulation: The Surprising Value of Large Language Model Hallucinations
von: Sui, Peiqi, et al.
Veröffentlicht: (2024)

NLP and Education: using semantic similarity to evaluate filled gaps in a large-scale Cloze test in the classroom
von: de Gois, Túlio Sousa, et al.
Veröffentlicht: (2024)

Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
von: Wang, Qiao, et al.
Veröffentlicht: (2024)

How Well Does First-Token Entropy Approximate Word Entropy as a Psycholinguistic Predictor?
von: Clark, Christian, et al.
Veröffentlicht: (2025)

Linear Recency Bias During Training Improves Transformers' Fit to Reading Times
von: Clark, Christian, et al.
Veröffentlicht: (2024)

QUIET: A Multi-Blank Cascaded Story Cloze Benchmark for LLM Creative Generation Capability
von: Zou, Bo, et al.
Veröffentlicht: (2026)

Multimodal Transformer for Comics Text-Cloze
von: Vivoli, Emanuele, et al.
Veröffentlicht: (2024)

Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse
von: Tsipidi, Eleftheria, et al.
Veröffentlicht: (2024)

On the Proper Treatment of Units in Surprisal Theory
von: Kiegeland, Samuel, et al.
Veröffentlicht: (2026)

On The Truthfulness of 'Surprisingly Likely' Responses of Large Language Models
von: Goel, Naman
Veröffentlicht: (2023)

Across the Levels of Analysis: Explaining Predictive Processing in Humans Requires More Than Machine-Estimated Probabilities
von: Nair, Sathvik, et al.
Veröffentlicht: (2026)

A Psycholinguistic Evaluation of Language Models' Sensitivity to Argument Roles
von: Lee, Eun-Kyoung Rosa, et al.
Veröffentlicht: (2024)

Expect the Unexpected? Testing the Surprisal of Salient Entities
von: Lin, Jessica, et al.
Veröffentlicht: (2026)

Towards a Similarity-adjusted Surprisal Theory
von: Meister, Clara, et al.
Veröffentlicht: (2024)

Surprise Calibration for Better In-Context Learning
von: Tan, Zhihang, et al.
Veröffentlicht: (2025)

An Existence Proof for Neural Language Models That Can Explain Garden-Path Effects via Surprisal
von: Yoshida, Ryo, et al.
Veröffentlicht: (2026)

Timing is Everything: Temporal Scaffolding of Semantic Surprise in Humor
von: Ma, Yuxi, et al.
Veröffentlicht: (2026)

Glitter: Visualizing Lexical Surprisal for Readability in Administrative Texts
von: Černý, Jan, et al.
Veröffentlicht: (2026)

The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning
von: Zhu, Xinyu, et al.
Veröffentlicht: (2025)

Learning by Surprise: Surplexity for Mitigating Model Collapse in Generative AI
von: Gambetta, Daniele, et al.
Veröffentlicht: (2024)

Surprising Efficacy of Fine-Tuned Transformers for Fact-Checking over Larger Language Models
von: Setty, Vinay
Veröffentlicht: (2024)