Buchumschlag

Entropy-Driven Pre-Tokenization for Byte-Pair Encoding

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hu, Yifan, Liang, Frank, Zhao, Dachuan, Geuter, Jonathan, Reddy, Varshini, Schmidt, Craig W., Tanner, Chris
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Boundless Byte Pair Encoding: Breaking the Pre-tokenization Barrier
von: Schmidt, Craig W., et al.
Veröffentlicht: (2025)

How Much is Enough? The Diminishing Returns of Tokenization Training Data
von: Reddy, Varshini, et al.
Veröffentlicht: (2025)

Tokenization with Split Trees
von: Schmidt, Craig W., et al.
Veröffentlicht: (2026)

Tokenization Is More Than Compression
von: Schmidt, Craig W., et al.
Veröffentlicht: (2024)

Faster Superword Tokenization
von: Schmidt, Craig W., et al.
Veröffentlicht: (2026)

The Effect of Scripts and Formats on LLM Numeracy
von: Reddy, Varshini, et al.
Veröffentlicht: (2026)

SEC-QA: A Systematic Evaluation Corpus for Financial QA
von: Lai, Viet Dac, et al.
Veröffentlicht: (2024)

Greed is All You Need: An Evaluation of Tokenizer Inference Methods
von: Uzan, Omri, et al.
Veröffentlicht: (2024)

No Free Labels: Limitations of LLM-as-a-Judge Without Human Grounding
von: Krumdick, Michael, et al.
Veröffentlicht: (2025)

From Pixels to Tokens: Byte-Pair Encoding on Quantized Visual Modalities
von: Zhang, Wanpeng, et al.
Veröffentlicht: (2024)

Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization
von: Foroutan, Negar, et al.
Veröffentlicht: (2025)

Theoretical Analysis of Byte-Pair Encoding
von: Kozma, László, et al.
Veröffentlicht: (2024)

Hybrid Tokenization Strategy for DNA Language Model using Byte Pair Encoding and K-MER Methods
von: Sapkota, Ganesh, et al.
Veröffentlicht: (2025)

A Formal Perspective on Byte-Pair Encoding
von: Zouhar, Vilém, et al.
Veröffentlicht: (2023)

Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal
von: Lian, Haoran, et al.
Veröffentlicht: (2024)

Language Models over Canonical Byte-Pair Encodings
von: Vieira, Tim, et al.
Veröffentlicht: (2025)

BizBench: A Quantitative Reasoning Benchmark for Business and Finance
von: Koncel-Kedziorski, Rik, et al.
Veröffentlicht: (2023)

Byte BPE Tokenization as an Inverse string Homomorphism
von: Geng, Saibo, et al.
Veröffentlicht: (2024)

DocFinQA: A Long-Context Financial Reasoning Dataset
von: Reddy, Varshini, et al.
Veröffentlicht: (2024)

Segmentation Beyond Defaults: Asymmetrical Byte Pair Encoding for Optimal Machine Translation Performance
von: Yadav, Saumitra, et al.
Veröffentlicht: (2025)

On Finding Inconsistencies in Documents
von: Lovering, Charles J., et al.
Veröffentlicht: (2025)

Byte Pair Encoding Is All You Need For Automatic Bengali Speech Recognition
von: Samin, Ahnaf Mozib
Veröffentlicht: (2024)

Peek2: Regex-free Byte-level Byte-Pair Encoding Pretokenizer for LLM Inference on Edge Devices
von: Zai, Liu, et al.
Veröffentlicht: (2026)

Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers
von: Jang, Eugene, et al.
Veröffentlicht: (2024)

MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling
von: Limisiewicz, Tomasz, et al.
Veröffentlicht: (2024)

Back to Bytes: Revisiting Tokenization Through UTF-8
von: Moryossef, Amit, et al.
Veröffentlicht: (2025)

Distilling Token-Trained Models into Byte-Level Models
von: Bao, Zishuo, et al.
Veröffentlicht: (2026)

FrontierFinance: A Long-Horizon Computer-Use Benchmark of Real-World Financial Tasks
von: Krumdick, Michael, et al.
Veröffentlicht: (2026)

Analyzing Byte-Pair Encoding on Monophonic and Polyphonic Symbolic Music: A Focus on Musical Phrase Segmentation
von: Le, Dinh-Viet-Toan, et al.
Veröffentlicht: (2024)

ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
von: Deng, Chunyuan, et al.
Veröffentlicht: (2026)

Byte Latent Transformer: Patches Scale Better Than Tokens
von: Pagnoni, Artidoro, et al.
Veröffentlicht: (2024)

Cross-Tokenizer LLM Distillation through a Byte-Level Interface
von: Singh, Avyav Kumar, et al.
Veröffentlicht: (2026)

ByteSpan: Information-Driven Subword Tokenisation
von: Goriely, Zébulon, et al.
Veröffentlicht: (2025)

Kathleen: Oscillator-Based Byte-Level Text Classification Without Tokenization or Attention
von: Fountzoulas, George
Veröffentlicht: (2026)

MambaByte: Token-free Selective State Space Model
von: Wang, Junxiong, et al.
Veröffentlicht: (2024)

An Analysis of Multilingual FActScore
von: Vu, Kim Trong, et al.
Veröffentlicht: (2024)

CrossGET: Cross-Guided Ensemble of Tokens for Accelerating Vision-Language Transformers
von: Shi, Dachuan, et al.
Veröffentlicht: (2023)

Decoupling the Benefits of Subword Tokenization for Language Model Training via Byte-level Simulation
von: Gigant, Théo, et al.
Veröffentlicht: (2026)

From Dense to Dynamic: Token-Difficulty Driven MoEfication of Pre-Trained LLMs
von: Nishu, Kumari, et al.
Veröffentlicht: (2025)

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations
von: Lugoloobi, William, et al.
Veröffentlicht: (2026)