Buchumschlag

CharBench: Evaluating the Role of Tokenization in Character-Level Tasks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Uzan, Omri, Pinter, Yuval
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Greed is All You Need: An Evaluation of Tokenizer Inference Methods
von: Uzan, Omri, et al.
Veröffentlicht: (2024)

Evaluating Subword Tokenization: Alien Subword Composition and OOV Generalization Challenge
von: Batsuren, Khuyagbaatar, et al.
Veröffentlicht: (2024)

Tokenization Is More Than Compression
von: Schmidt, Craig W., et al.
Veröffentlicht: (2024)

Token-Level Privacy in Large Language Models
von: Harel, Re'em, et al.
Veröffentlicht: (2025)

The Degree of Language Diacriticity and Its Effect on Tasks
von: Cohen, Adi, et al.
Veröffentlicht: (2026)

Which Pieces Does Unigram Tokenization Really Need?
von: Land, Sander, et al.
Veröffentlicht: (2025)

Faster Superword Tokenization
von: Schmidt, Craig W., et al.
Veröffentlicht: (2026)

BiVert: Bidirectional Vocabulary Evaluation using Relations for Machine Translation
von: Cherf, Carinne, et al.
Veröffentlicht: (2024)

Splintering Nonconcatenative Languages for Better Tokenization
von: Gazit, Bar, et al.
Veröffentlicht: (2025)

Protecting Privacy in Classifiers by Token Manipulation
von: Harel, Re'em, et al.
Veröffentlicht: (2024)

Probing Subphonemes in Morphology Models
von: Astrach, Gal, et al.
Veröffentlicht: (2025)

Hebrew Diacritics Restoration using Visual Representation
von: Elboher, Yair, et al.
Veröffentlicht: (2025)

Information Types in Product Reviews
von: Shapira, Ori, et al.
Veröffentlicht: (2025)

Don't Touch My Diacritics
von: Gorman, Kyle, et al.
Veröffentlicht: (2024)

How Much is Enough? The Diminishing Returns of Tokenization Training Data
von: Reddy, Varshini, et al.
Veröffentlicht: (2025)

Broken-Token: Filtering Obfuscated Prompts by Counting Characters-Per-Token
von: Zychlinski, Shaked, et al.
Veröffentlicht: (2025)

Tokenization with Split Trees
von: Schmidt, Craig W., et al.
Veröffentlicht: (2026)

CharED: Character-wise Ensemble Decoding for Large Language Models
von: Gu, Kevin, et al.
Veröffentlicht: (2024)

Document Optimization for Black-Box Retrieval via Reinforcement Learning
von: Uzan, Omri, et al.
Veröffentlicht: (2026)

Guided Query Refinement: Multimodal Hybrid Retrieval with Test-Time Optimization
von: Uzan, Omri, et al.
Veröffentlicht: (2025)

InteChar: A Unified Oracle Bone Character List for Ancient Chinese Language Modeling
von: Diao, Xiaolei, et al.
Veröffentlicht: (2025)

ArEEG_Chars: Dataset for Envisioned Speech Recognition using EEG for Arabic Characters
von: Darwish, Hazem, et al.
Veröffentlicht: (2024)

Computational Analysis of Character Development in Holocaust Testimonies
von: Shizgal, Esther, et al.
Veröffentlicht: (2024)

Magis-Bench: Evaluating LLMs on Magistrate-Level Legal Tasks
von: Pires, Ramon, et al.
Veröffentlicht: (2026)

Enhancing Character-Level Understanding in LLMs through Token Internal Structure Learning
von: Xu, Zhu, et al.
Veröffentlicht: (2024)

Word Recovery in Large Language Models Enables Character-Level Tokenization Robustness
von: Yang, Zhipeng, et al.
Veröffentlicht: (2026)

CharacterBench: Benchmarking Character Customization of Large Language Models
von: Zhou, Jinfeng, et al.
Veröffentlicht: (2024)

Tokenization Matters: Navigating Data-Scarce Tokenization for Gender Inclusive Language Technologies
von: Ovalle, Anaelia, et al.
Veröffentlicht: (2023)

An Analysis of BPE Vocabulary Trimming in Neural Machine Translation
von: Cognetta, Marco, et al.
Veröffentlicht: (2024)

The Role of Natural Language Processing Tasks in Automatic Literary Character Network Construction
von: Amalvy, Arthur, et al.
Veröffentlicht: (2024)

Spelling-out is not Straightforward: LLMs' Capability of Tokenization from Token to Characters
von: Hiraoka, Tatsuya, et al.
Veröffentlicht: (2025)

Express Your Doubts -- Probabilistic World Modeling Should not be Based on Token logprobs
von: Wagner, Eitan, et al.
Veröffentlicht: (2025)

KL3M Tokenizers: A Family of Domain-Specific and Character-Level Tokenizers for Legal, Financial, and Preprocessing Applications
von: Bommarito, Michael J, et al.
Veröffentlicht: (2025)

CharPoet: A Chinese Classical Poetry Generation System Based on Token-free LLM
von: Yu, Chengyue, et al.
Veröffentlicht: (2024)

From Characters to Tokens: Dynamic Grouping with Hierarchical BPE
von: Dolga, Rares, et al.
Veröffentlicht: (2025)

CommunityBench: Benchmarking Community-Level Alignment across Diverse Groups and Tasks
von: Lin, Jiayu, et al.
Veröffentlicht: (2026)

$\infty$Bench: Extending Long Context Evaluation Beyond 100K Tokens
von: Zhang, Xinrong, et al.
Veröffentlicht: (2024)

ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code
von: Tang, Xiangru, et al.
Veröffentlicht: (2023)

Token Sequence Compression for Efficient Multimodal Computing
von: Omri, Yasmine, et al.
Veröffentlicht: (2025)

CharacterEval: A Chinese Benchmark for Role-Playing Conversational Agent Evaluation
von: Tu, Quan, et al.
Veröffentlicht: (2024)