Buchumschlag

The Truncation Blind Spot: How Decoding Strategies Systematically Exclude Human-Like Token Choices

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Arias, Esteban Garces, Sapargali, Nurzhan, Heumann, Christian, Aßenmacher, Matthias
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation
von: Arias, Esteban Garces, et al.
Veröffentlicht: (2024)

Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
von: Arias, Esteban Garces, et al.
Veröffentlicht: (2024)

Min-$k$ Sampling: Decoupling Truncation from Temperature Scaling via Relative Logit Dynamics
von: Ding, Yuanhao, et al.
Veröffentlicht: (2026)

Towards Better Open-Ended Text Generation: A Multicriteria Evaluation Framework
von: Arias, Esteban Garces, et al.
Veröffentlicht: (2024)

Unveiling Factors for Enhanced POS Tagging: A Study of Low-Resource Medieval Romance Languages
von: Schöffel, Matthias, et al.
Veröffentlicht: (2025)

Can OpenSource beat ChatGPT? -- A Comparative Study of Large Language Models for Text-to-Code Generation
von: Mayer, Luis, et al.
Veröffentlicht: (2024)

How Prevalent is Gender Bias in ChatGPT? -- Exploring German and English ChatGPT Responses
von: Urchs, Stefanie, et al.
Veröffentlicht: (2023)

Beyond Temperature: Hyperfitting as a Late-Stage Geometric Expansion
von: Li, Meimingwei, et al.
Veröffentlicht: (2026)

Modern Models, Medieval Texts: A POS Tagging Study of Old Occitan
von: Schöffel, Matthias, et al.
Veröffentlicht: (2025)

A Bayesian approach to modeling topic-metadata relationships
von: Schulze, P., et al.
Veröffentlicht: (2021)

The Geometry of Creative Variability: How Credal Sets Expose Calibration Gaps in Language Models
von: Arias, Esteban Garces, et al.
Veröffentlicht: (2025)

GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation
von: Ding, Yuanhao, et al.
Veröffentlicht: (2025)

Divergent Token Metrics: Measuring degradation to prune away LLM components -- and optimize quantization
von: Deiseroth, Björn, et al.
Veröffentlicht: (2023)

Reinforcement Learning for Latent-Space Thinking in LLMs
von: Özeren, Enes, et al.
Veröffentlicht: (2025)

Revisiting Active Learning under (Human) Label Variation
von: Gruber, Cornelia, et al.
Veröffentlicht: (2025)

Linguistic Blind Spots of Large Language Models
von: Cheng, Jiali, et al.
Veröffentlicht: (2025)

On Next-Token Prediction in LLMs: How End Goals Determine the Consistency of Decoding Algorithms
von: Trauger, Jacob, et al.
Veröffentlicht: (2025)

Geometry-Aware Decoding with Wasserstein-Regularized Truncation and Mass Penalties for Large Language Models
von: Davoodi, Arash Gholami, et al.
Veröffentlicht: (2026)

Lost in Translation? Exploring the Shift in Grammatical Gender from Latin to Occitan
von: Chatterjee, Ahan, et al.
Veröffentlicht: (2026)

taz2024full: Analysing German Newspapers for Gender Bias and Discrimination across Decades
von: Urchs, Stefanie, et al.
Veröffentlicht: (2025)

A Statistical Case Against Empirical Human-AI Alignment
von: Rodemann, Julian, et al.
Veröffentlicht: (2025)

Fair Play in the Newsroom: Actor-Based Filtering Gender Discrimination in Text Corpora
von: Urchs, Stefanie, et al.
Veröffentlicht: (2025)

Statistical Multicriteria Evaluation of LLM-Generated Text
von: Arias, Esteban Garces, et al.
Veröffentlicht: (2025)

TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior
von: Altıntaş, Gül Sena, et al.
Veröffentlicht: (2025)

Stopping Computation for Converged Tokens in Masked Diffusion-LM Decoding
von: Oba, Daisuke, et al.
Veröffentlicht: (2026)

Reject Only Critical Tokens: Pivot-Aware Speculative Decoding
von: Ziashahabi, Amir, et al.
Veröffentlicht: (2025)

How Likely Do LLMs with CoT Mimic Human Reasoning?
von: Bao, Guangsheng, et al.
Veröffentlicht: (2024)

Specialised or Generic? Tokenization Choices for Radiology Language Models
von: Warr, Hermione, et al.
Veröffentlicht: (2025)

Optimized Multi-Token Joint Decoding with Auxiliary Model for LLM Inference
von: Qin, Zongyue, et al.
Veröffentlicht: (2024)

Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models
von: Tsui, Ken
Veröffentlicht: (2025)

Decoding Uncertainty: The Impact of Decoding Strategies for Uncertainty Estimation in Large Language Models
von: Hashimoto, Wataru, et al.
Veröffentlicht: (2025)

To MRL or not to MRL: Text Embeddings are Robust to Truncation Without Matryoshka Learning, Except In Heavy Truncation Scenarios
von: Takeshita, Sotaro, et al.
Veröffentlicht: (2026)

ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel Decoding
von: Zhong, Shuzhang, et al.
Veröffentlicht: (2024)

Hierarchical Token Prepending: Enhancing Information Flow in Decoder-based LLM Embeddings
von: Ding, Xueying, et al.
Veröffentlicht: (2025)

DISCERN: Decoding Systematic Errors in Natural Language for Text Classifiers
von: Menon, Rakesh R., et al.
Veröffentlicht: (2024)

How Powerful are Decoder-Only Transformer Neural Models?
von: Roberts, Jesse
Veröffentlicht: (2023)

Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space
von: Shen, Yangyi, et al.
Veröffentlicht: (2026)

A2SF: Accumulative Attention Scoring with Forgetting Factor for Token Pruning in Transformer Decoder
von: Jo, Hyun-rae, et al.
Veröffentlicht: (2024)

Circuit Fingerprints: How Answer Tokens Encode Their Geometrical Path
von: Saurez, Andres, et al.
Veröffentlicht: (2026)

Temporal Tokenization Strategies for Event Sequence Modeling with Large Language Models
von: Liu, Zefang, et al.
Veröffentlicht: (2025)