Buchumschlag

Broken Words, Broken Performance: Effect of Tokenization on Performance of LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pawar, Sachin, Apte, Manoj, Jadhav, Kshitij, Palshikar, Girish Keshav, Ramrakhiyani, Nitin
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DRAssist: Dispute Resolution Assistance using Large Language Models
von: Pawar, Sachin, et al.
Veröffentlicht: (2025)

Explainable Statute Prediction via Attention-based Model and LLM Prompting
von: Pawar, Sachin, et al.
Veröffentlicht: (2025)

Matching Tasks with Industry Groups for Augmenting Commonsense Knowledge
von: Singh, Rituraj, et al.
Veröffentlicht: (2025)

Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations
von: Zheng, Brian Siyuan, et al.
Veröffentlicht: (2025)

Broken-Token: Filtering Obfuscated Prompts by Counting Characters-Per-Token
von: Zychlinski, Shaked, et al.
Veröffentlicht: (2025)

BrokenMath: A Benchmark for Sycophancy in Theorem Proving with LLMs
von: Petrov, Ivo, et al.
Veröffentlicht: (2025)

Why Do LLMs Struggle in Strategic Play? Broken Links Between Observations, Beliefs, and Actions
von: Sobotka, Jan, et al.
Veröffentlicht: (2026)

LLM as a Broken Telephone: Iterative Generation Distorts Information
von: Mohamed, Amr, et al.
Veröffentlicht: (2025)

Fixing the Broken Compass: Diagnosing and Improving Inference-Time Reward Modeling
von: Li, Jiachun, et al.
Veröffentlicht: (2025)

LIME-LLM: Probing Models with Fluent Counterfactuals, Not Broken Text
von: Mihaila, George, et al.
Veröffentlicht: (2026)

From Tokens to Words: On the Inner Lexicon of LLMs
von: Kaplan, Guy, et al.
Veröffentlicht: (2024)

Are Rules Meant to be Broken? Understanding Multilingual Moral Reasoning as a Computational Pipeline with UniMoral
von: Kumar, Shivani, et al.
Veröffentlicht: (2025)

Tethering Broken Themes: Aligning Neural Topic Models with Labels and Authors
von: Nagda, Mayank, et al.
Veröffentlicht: (2024)

Detecting Token-Level Hallucinations Using Variance Signals: A Reference-Free Approach
von: Kumar, Keshav
Veröffentlicht: (2025)

Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought
von: Ramji, Keshav, et al.
Veröffentlicht: (2026)

Augmenting Bias Detection in LLMs Using Topological Data Analysis
von: Varadarajan, Keshav, et al.
Veröffentlicht: (2025)

XL-DURel: Finetuning Sentence Transformers for Ordinal Word-in-Context Classification
von: Yadav, Sachin, et al.
Veröffentlicht: (2025)

Few shot chain-of-thought driven reasoning to prompt LLMs for open ended medical question answering
von: Nachane, Saeel Sandeep, et al.
Veröffentlicht: (2024)

SD-E$^2$: Semantic Exploration for Reasoning Under Token Budgets
von: Mishra, Kshitij, et al.
Veröffentlicht: (2026)

Benchmarks Are Not That Out of Distribution: Word Overlap Predicts Performance
von: Chung, Woojin, et al.
Veröffentlicht: (2026)

Subword Tokenization Strategies for Kurdish Word Embeddings
von: Salehi, Ali, et al.
Veröffentlicht: (2025)

The LSCD Benchmark: a Testbed for Diachronic Word Meaning Tasks
von: Schlechtweg, Dominik, et al.
Veröffentlicht: (2024)

Language Modeling with Learned Meta-Tokens
von: Shah, Alok N., et al.
Veröffentlicht: (2025)

FLEXITOKENS: Flexible Tokenization for Evolving Language Models
von: Owodunni, Abraham Toluwase, et al.
Veröffentlicht: (2025)

From Dense to Dynamic: Token-Difficulty Driven MoEfication of Pre-Trained LLMs
von: Nishu, Kumari, et al.
Veröffentlicht: (2025)

On Broken Symmetry in Cognition
von: Li, Xin
Veröffentlicht: (2023)

LLMs' Classification Performance is Overclaimed
von: Xu, Hanzi, et al.
Veröffentlicht: (2024)

Teaching Old Tokenizers New Words: Efficient Tokenizer Adaptation for Pre-trained Models
von: Purason, Taido, et al.
Veröffentlicht: (2025)

Cutting Through the Noise: Boosting LLM Performance on Math Word Problems
von: Anantheswaran, Ujjwala, et al.
Veröffentlicht: (2024)

Silent Tokens, Loud Effects: Padding in LLMs
von: Himelstein, Rom, et al.
Veröffentlicht: (2025)

Identifying and Analyzing Performance-Critical Tokens in Large Language Models
von: Bai, Yu, et al.
Veröffentlicht: (2024)

Performance Evaluation of Tokenizers in Large Language Models for the Assamese Language
von: Tamang, Sagar, et al.
Veröffentlicht: (2024)

Broken Letters, Broken Narratives: A Case Study on Arabic Script in DALL-E 3
von: Sobhan, Arshia, et al.
Veröffentlicht: (2025)

Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance
von: Nahum, Omer, et al.
Veröffentlicht: (2024)

WHODUNIT: Evaluation benchmark for culprit detection in mystery stories
von: Gupta, Kshitij
Veröffentlicht: (2025)

Expanding Vietnamese SentiWordNet to Improve Performance of Vietnamese Sentiment Analysis Models
von: Tran, Hong-Viet, et al.
Veröffentlicht: (2025)

Different Tokenization Schemes Lead to Comparable Performance in Spanish Number Agreement
von: Arnett, Catherine, et al.
Veröffentlicht: (2024)

The Art of Breaking Words: Rethinking Multilingual Tokenizer Design
von: Thakur, Aamod, et al.
Veröffentlicht: (2025)

Compute Optimal Tokenization
von: Limisiewicz, Tomasz, et al.
Veröffentlicht: (2026)

Word Recovery in Large Language Models Enables Character-Level Tokenization Robustness
von: Yang, Zhipeng, et al.
Veröffentlicht: (2026)