Buchumschlag

On the Bias of Next-Token Predictors Toward Systematically Inefficient Reasoning: A Shortest-Path Case Study

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Alberghi, Riccardo, Demyanenko, Elizaveta, Biggio, Luca, Saglietti, Luca
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Cautious Next Token Prediction
von: Wang, Yizhou, et al.
Veröffentlicht: (2025)

On the Inductive Bias of Stacking Towards Improving Reasoning
von: Saunshi, Nikunj, et al.
Veröffentlicht: (2024)

Token Homogenization under Positional Bias
von: Yusupov, Viacheslav, et al.
Veröffentlicht: (2025)

Reasoning Towards Fairness: Mitigating Bias in Language Models through Reasoning-Guided Fine-Tuning
von: Kabra, Sanchit, et al.
Veröffentlicht: (2025)

The twin peaks of learning neural networks
von: Demyanenko, Elizaveta, et al.
Veröffentlicht: (2024)

Understanding and Mitigating Tokenization Bias in Language Models
von: Phan, Buu, et al.
Veröffentlicht: (2024)

Towards Interpreting Language Models: A Case Study in Multi-Hop Reasoning
von: Sakarvadia, Mansi
Veröffentlicht: (2024)

The Foundations of Tokenization: Statistical and Computational Concerns
von: Gastaldi, Juan Luis, et al.
Veröffentlicht: (2024)

Reasoning Paths Optimization: Learning to Reason and Explore From Diverse Paths
von: Chia, Yew Ken, et al.
Veröffentlicht: (2024)

A Law of Next-Token Prediction in Large Language Models
von: He, Hangfeng, et al.
Veröffentlicht: (2024)

All or None: Identifiable Linear Properties of Next-token Predictors in Language Modeling
von: Marconato, Emanuele, et al.
Veröffentlicht: (2024)

Learning to Reason with Mixture of Tokens
von: Jain, Adit, et al.
Veröffentlicht: (2025)

Dynamics of Spontaneous Topic Changes in Next Token Prediction with Self-Attention
von: Jia, Mumin, et al.
Veröffentlicht: (2025)

Sociodemographic Bias in Language Models: A Survey and Forward Path
von: Gupta, Vipul, et al.
Veröffentlicht: (2023)

Token-Budget-Aware LLM Reasoning
von: Han, Tingxu, et al.
Veröffentlicht: (2024)

Beyond Next Token Prediction: Patch-Level Training for Large Language Models
von: Shao, Chenze, et al.
Veröffentlicht: (2024)

Reasoning Bias of Next Token Prediction Training
von: Lin, Pengxiao, et al.
Veröffentlicht: (2025)

More Thinking, More Bias: Length-Driven Position Bias in Reasoning Models
von: Wang, Xiao
Veröffentlicht: (2026)

Revisiting Graph-Tokenizing Large Language Models: A Systematic Evaluation of Graph Token Understanding
von: Zhang, Zhongjian, et al.
Veröffentlicht: (2026)

Dynamic Thinking-Token Selection for Efficient Reasoning in Large Reasoning Models
von: Guo, Zhenyuan, et al.
Veröffentlicht: (2026)

Guiding Language Model Reasoning with Planning Tokens
von: Wang, Xinyi, et al.
Veröffentlicht: (2023)

Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability
von: Lin, Zicheng, et al.
Veröffentlicht: (2024)

Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models
von: Mackraz, Natalie, et al.
Veröffentlicht: (2024)

Mechanics of Next Token Prediction with Self-Attention
von: Li, Yingcong, et al.
Veröffentlicht: (2024)

Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models
von: Kim, Minseo, et al.
Veröffentlicht: (2025)

Do LLMs Encode Functional Importance of Reasoning Tokens?
von: Singh, Janvijay, et al.
Veröffentlicht: (2026)

A Triadic Suffix Tokenization Scheme for Numerical Reasoning
von: Chetverina, Olga
Veröffentlicht: (2026)

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility
von: He, Haoyu, et al.
Veröffentlicht: (2025)

Revisiting Uncertainty Quantification Evaluation in Language Models: Spurious Interactions with Response Length Bias Results
von: Santilli, Andrea, et al.
Veröffentlicht: (2025)

Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation
von: Wang, Xinyi, et al.
Veröffentlicht: (2024)

A Causal World Model Underlying Next Token Prediction: Exploring GPT in a Controlled Environment
von: Rohekar, Raanan Y., et al.
Veröffentlicht: (2024)

LLMs are Not Just Next Token Predictors
von: Downes, Stephen M., et al.
Veröffentlicht: (2024)

Think Clearly: Improving Reasoning via Redundant Token Pruning
von: Choi, Daewon, et al.
Veröffentlicht: (2025)

Multiplex Thinking: Reasoning via Token-wise Branch-and-Merge
von: Tang, Yao, et al.
Veröffentlicht: (2026)

Parallel LLM Reasoning for Bias-Resilient, Robust Conceptual Abstraction
von: Adeseye, Aisvarya, et al.
Veröffentlicht: (2026)

Direct Reasoning Optimization: Token-Level Reasoning Reflectivity Meets Rubric Gates for Unverifiable Tasks
von: Xu, Yifei, et al.
Veröffentlicht: (2025)

Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path
von: Dai, Xinnan, et al.
Veröffentlicht: (2024)

Reducing Credit Assignment Variance via Counterfactual Reasoning Paths
von: Ding, Fei, et al.
Veröffentlicht: (2026)

Retro-Search: Exploring Untaken Paths for Deeper and Efficient Reasoning
von: Lu, Ximing, et al.
Veröffentlicht: (2025)

LatentBreak: Jailbreaking Large Language Models through Latent Space Feedback
von: Mura, Raffaele, et al.
Veröffentlicht: (2025)