Buchumschlag

Spelling-out is not Straightforward: LLMs' Capability of Tokenization from Token to Characters

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hiraoka, Tatsuya, Inui, Kentaro
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Repetition Neurons: How Do Language Models Produce Repetitions?
von: Hiraoka, Tatsuya, et al.
Veröffentlicht: (2024)

Understanding and Controlling Repetition Neurons and Induction Heads in In-Context Learning
von: Doan, Nhi Hoai, et al.
Veröffentlicht: (2025)

Knowledge of Pretrained Language Models on Surface Information of Tokens
von: Hiraoka, Tatsuya, et al.
Veröffentlicht: (2024)

Tokenization Preference for Human and Machine Learning Model: An Annotation Study
von: Hiraoka, Tatsuya, et al.
Veröffentlicht: (2023)

The Geometry of Numerical Reasoning: Language Models Compare Numeric Properties in Linear Subspaces
von: El-Shangiti, Ahmed Oumar, et al.
Veröffentlicht: (2024)

Sycophancy Hides Linearly in the Attention Heads
von: Genadi, Rifo, et al.
Veröffentlicht: (2026)

Number Representations in LLMs: A Computational Parallel to Human Perception
von: AlquBoj, H. V., et al.
Veröffentlicht: (2025)

Rectifying Belief Space via Unlearning to Harness LLMs' Reasoning
von: Niwa, Ayana, et al.
Veröffentlicht: (2025)

Do LLMs Need to Think in One Language? Correlation between Latent Language and Task Performance
von: Ozaki, Shintaro, et al.
Veröffentlicht: (2025)

Enhancing Character-Level Understanding in LLMs through Token Internal Structure Learning
von: Xu, Zhu, et al.
Veröffentlicht: (2024)

C-LLM: Learn to Check Chinese Spelling Errors Character by Character
von: Li, Kunting, et al.
Veröffentlicht: (2024)

Monotonic Representation of Numeric Properties in Language Models
von: Heinzerling, Benjamin, et al.
Veröffentlicht: (2024)

From Characters to Tokens: Dynamic Grouping with Hierarchical BPE
von: Dolga, Rares, et al.
Veröffentlicht: (2025)

RECALL: Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles
von: Nwadike, Munachiso, et al.
Veröffentlicht: (2025)

CharBench: Evaluating the Role of Tokenization in Character-Level Tasks
von: Uzan, Omri, et al.
Veröffentlicht: (2025)

Broken-Token: Filtering Obfuscated Prompts by Counting Characters-Per-Token
von: Zychlinski, Shaked, et al.
Veröffentlicht: (2025)

Token Alignment via Character Matching for Subword Completion
von: Athiwaratkun, Ben, et al.
Veröffentlicht: (2024)

Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs
von: Dong, Jiancheng, et al.
Veröffentlicht: (2025)

Investigating Neurons and Heads in Transformer-based LLMs for Typographical Errors
von: Tsuji, Kohei, et al.
Veröffentlicht: (2025)

The Strawberry Problem: Emergence of Character-level Understanding in Tokenized Language Models
von: Cosma, Adrian, et al.
Veröffentlicht: (2025)

Cell-Based Representation of Relational Binding in Language Models
von: Dai, Qin, et al.
Veröffentlicht: (2026)

Representational Analysis of Binding in Language Models
von: Dai, Qin, et al.
Veröffentlicht: (2024)

Empowering Character-level Text Infilling by Eliminating Sub-Tokens
von: Ren, Houxing, et al.
Veröffentlicht: (2024)

Bit-level BPE: Below the byte boundary
von: Moon, Sangwhan, et al.
Veröffentlicht: (2025)

CUTE: Measuring LLMs' Understanding of Their Tokens
von: Edman, Lukas, et al.
Veröffentlicht: (2024)

Word Recovery in Large Language Models Enables Character-Level Tokenization Robustness
von: Yang, Zhipeng, et al.
Veröffentlicht: (2026)

KL3M Tokenizers: A Family of Domain-Specific and Character-Level Tokenizers for Legal, Financial, and Preprocessing Applications
von: Bommarito, Michael J, et al.
Veröffentlicht: (2025)

From Language Models over Tokens to Language Models over Characters
von: Vieira, Tim, et al.
Veröffentlicht: (2024)

LLMs Can Compensate for Deficiencies in Visual Representations
von: Takishita, Sho, et al.
Veröffentlicht: (2025)

Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability
von: Lin, Zicheng, et al.
Veröffentlicht: (2024)

StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs
von: Song, Yuhan, et al.
Veröffentlicht: (2025)

DISC: Plug-and-Play Decoding Intervention with Similarity of Characters for Chinese Spelling Check
von: Qiao, Ziheng, et al.
Veröffentlicht: (2024)

Benchmarking Prosody Encoding in Discrete Speech Tokens
von: Onda, Kentaro, et al.
Veröffentlicht: (2025)

Toward a Theory of Tokenization in LLMs
von: Rajaraman, Nived, et al.
Veröffentlicht: (2024)

LLMs are Not Just Next Token Predictors
von: Downes, Stephen M., et al.
Veröffentlicht: (2024)

Speculating LLMs' Chinese Training Data Pollution from Their Tokens
von: Zhang, Qingjie, et al.
Veröffentlicht: (2025)

Optimizing Korean-Centric LLMs via Token Pruning
von: Kim, Hoyeol, et al.
Veröffentlicht: (2026)

Beyond Tokens: Concept-Level Training Objectives for LLMs
von: Iyer, Laya, et al.
Veröffentlicht: (2026)

Accelerating Production LLMs with Combined Token/Embedding Speculators
von: Wertheimer, Davis, et al.
Veröffentlicht: (2024)

FastSpell: the LangId Magic Spell
von: Bañón, Marta, et al.
Veröffentlicht: (2024)