Buchumschlag

LLMs are Not Just Next Token Predictors

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Downes, Stephen M., Forber, Patrick, Grzankowski, Alex
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Real Sparks of Artificial Intelligence and the Importance of Inner Interpretability
von: Grzankowski, Alex
Veröffentlicht: (2024)

From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs
von: Tian, Yuchuan, et al.
Veröffentlicht: (2025)

Training LLMs Beyond Next Token Prediction -- Filling the Mutual Information Gap
von: Yang, Chun-Hao, et al.
Veröffentlicht: (2025)

On the Bias of Next-Token Predictors Toward Systematically Inefficient Reasoning: A Shortest-Path Case Study
von: Alberghi, Riccardo, et al.
Veröffentlicht: (2025)

Cautious Next Token Prediction
von: Wang, Yizhou, et al.
Veröffentlicht: (2025)

Large Language Models are Zero-Shot Next Location Predictors
von: Beneduce, Ciro, et al.
Veröffentlicht: (2024)

Fractal Patterns May Illuminate the Success of Next-Token Prediction
von: Alabdulmohsin, Ibrahim, et al.
Veröffentlicht: (2024)

Alternatives To Next Token Prediction In Text Generation -- A Survey
von: Wyatt, Charlie, et al.
Veröffentlicht: (2025)

TPA: Next Token Probability Attribution for Detecting Hallucinations in RAG
von: Lu, Pengqian, et al.
Veröffentlicht: (2025)

From Next-Token to Mathematics: The Learning Dynamics of Mathematical Reasoning in Language Models
von: Mishra, Shubhra, et al.
Veröffentlicht: (2024)

Next Token Perception Score: Analytical Assessment of your LLM Perception Skills
von: Cheng, Yu-Ang, et al.
Veröffentlicht: (2025)

Moving Beyond Next-Token Prediction: Transformers are Context-Sensitive Language Generators
von: Rhee, Phill Kyu
Veröffentlicht: (2025)

From Tokens to Words: On the Inner Lexicon of LLMs
von: Kaplan, Guy, et al.
Veröffentlicht: (2024)

TECP: Token-Entropy Conformal Prediction for LLMs
von: Xu, Beining, et al.
Veröffentlicht: (2025)

Next Token Knowledge Tracing: Exploiting Pretrained LLM Representations to Decode Student Behaviour
von: Norris, Max, et al.
Veröffentlicht: (2025)

Deflating Deflationism: A Critical Perspective on Debunking Arguments Against LLM Mentality
von: Grzankowski, Alex, et al.
Veröffentlicht: (2025)

Say Anything but This: When Tokenizer Betrays Reasoning in LLMs
von: Ayoobi, Navid, et al.
Veröffentlicht: (2026)

TokenSkip: Controllable Chain-of-Thought Compression in LLMs
von: Xia, Heming, et al.
Veröffentlicht: (2025)

Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey
von: Li, Jindong, et al.
Veröffentlicht: (2025)

Next-Token Prediction Task Assumes Optimal Data Ordering for LLM Training in Proof Generation
von: An, Chenyang, et al.
Veröffentlicht: (2024)

An Expert is Worth One Token: Synergizing Multiple Expert LLMs as Generalist via Expert Token Routing
von: Chai, Ziwei, et al.
Veröffentlicht: (2024)

Modeling Next-Token Prediction as Left-Nested Intuitionistic Implication
von: Tarau, Paul
Veröffentlicht: (2026)

Mechanics of Next Token Prediction with Self-Attention
von: Li, Yingcong, et al.
Veröffentlicht: (2024)

Phonetic Perturbations Reveal Tokenizer-Rooted Safety Gaps in LLMs
von: Aswal, Darpan, et al.
Veröffentlicht: (2025)

Hessian-Enhanced Token Attribution (HETA): Interpreting Autoregressive LLMs
von: Pramanik, Vishal, et al.
Veröffentlicht: (2026)

SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs
von: Huang, Haiduo, et al.
Veröffentlicht: (2025)

Advancing Pancreatic Cancer Prediction with a Next Visit Token Prediction Head on top of Med-BERT
von: He, Jianping, et al.
Veröffentlicht: (2025)

A Law of Next-Token Prediction in Large Language Models
von: He, Hangfeng, et al.
Veröffentlicht: (2024)

All or None: Identifiable Linear Properties of Next-token Predictors in Language Modeling
von: Marconato, Emanuele, et al.
Veröffentlicht: (2024)

Do Audio LLMs Really LISTEN, or Just Transcribe? Measuring Lexical vs. Acoustic Emotion Cues Reliance
von: Chen, Jingyi, et al.
Veröffentlicht: (2025)

STAPO: Stabilizing Reinforcement Learning for LLMs by Silencing Rare Spurious Tokens
von: Liu, Shiqi, et al.
Veröffentlicht: (2026)

Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits
von: Zhang, Xiang, et al.
Veröffentlicht: (2025)

ALTER: Asymmetric LoRA for Token-Entropy-Guided Unlearning of LLMs
von: Chen, Xunlei, et al.
Veröffentlicht: (2026)

Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs
von: Tan, Wenhui, et al.
Veröffentlicht: (2026)

Adaptive Token Boundaries: Integrating Human Chunking Mechanisms into Multimodal LLMs
von: Yu, Dongxing
Veröffentlicht: (2025)

Informed Routing in LLMs: Smarter Token-Level Computation for Faster Inference
von: Han, Chao, et al.
Veröffentlicht: (2025)

T-FREE: Subword Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings
von: Deiseroth, Björn, et al.
Veröffentlicht: (2024)

Can We Locate and Prevent Stereotypes in LLMs?
von: D'Souza, Alex
Veröffentlicht: (2026)

Dynamics of Spontaneous Topic Changes in Next Token Prediction with Self-Attention
von: Jia, Mumin, et al.
Veröffentlicht: (2025)

MEXMA: Token-level objectives improve sentence representations
von: Janeiro, João Maria, et al.
Veröffentlicht: (2024)