:: Library Catalog

Copertina

Salvato in:

Dettagli Bibliografici
Autori principali:	Sun, Yike, Yang, Haotong, Lin, Zhouchen, Zhang, Muhan
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Computation and Language
Accesso online:	https://arxiv.org/abs/2602.04706
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Batching BPE Tokenization Merges
di: Morgan, Alexander P.
Pubblicazione: (2024)

Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure
di: Yang, Haotong, et al.
Pubblicazione: (2023)

BlockBPE: Parallel BPE Tokenization
di: You, Amos
Pubblicazione: (2025)

Number Cookbook: Number Understanding of Language Models and How to Improve It
di: Yang, Haotong, et al.
Pubblicazione: (2024)

Proof-RM: A Scalable and Generalizable Reward Model for Math Proof
di: Yang, Haotong, et al.
Pubblicazione: (2026)

AdaptBPE: From General Purpose to Specialized Tokenizers
di: Liyanage, Vijini, et al.
Pubblicazione: (2026)

From Characters to Tokens: Dynamic Grouping with Hierarchical BPE
di: Dolga, Rares, et al.
Pubblicazione: (2025)

Constructing a BPE Tokenization DFA
di: Berglund, Martin, et al.
Pubblicazione: (2024)

GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model
di: Yang, Haotong, et al.
Pubblicazione: (2024)

Byte BPE Tokenization as an Inverse string Homomorphism
di: Geng, Saibo, et al.
Pubblicazione: (2024)

Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal
di: Lian, Haoran, et al.
Pubblicazione: (2024)

GPUTOK: GPU Accelerated Byte Level BPE Tokenization
di: Kadamba, Venu Gopal, et al.
Pubblicazione: (2026)

BPE Gets Picky: Efficient Vocabulary Refinement During Tokenizer Training
di: Chizhov, Pavel, et al.
Pubblicazione: (2024)

Evaluating Subword Tokenization Techniques for Bengali: A Benchmark Study with BengaliBPE
di: Patwary, Firoj Ahmmed, et al.
Pubblicazione: (2025)

Adaptive BPE Tokenization for Enhanced Vocabulary Adaptation in Finetuning Pretrained Language Models
di: Balde, Gunjan, et al.
Pubblicazione: (2024)

Rethinking Tokenization for Rich Morphology: The Dominance of Unigram over BPE and Morphological Alignment
di: Vemula, Saketh Reddy, et al.
Pubblicazione: (2025)

Data Mixture Inference: What do BPE Tokenizers Reveal about their Training Data?
di: Hayase, Jonathan, et al.
Pubblicazione: (2024)

Rethinking Personalization in Large Language Models at the Token Level
di: Zhang, Chenheng, et al.
Pubblicazione: (2026)

Case-Based or Rule-Based: How Do Transformers Do the Math?
di: Hu, Yi, et al.
Pubblicazione: (2024)

SubTokenTest: A Practical Benchmark for Real-World Sub-token Understanding
di: Hou, Shuyang, et al.
Pubblicazione: (2026)

Train It and Forget It: Merge Lists are Unnecessary for BPE Inference in Language Models
di: Sawada, Tomohiro, et al.
Pubblicazione: (2025)

Beyond Single-Task: Robust Multi-Task Length Generalization for LLMs
di: Hu, Yi, et al.
Pubblicazione: (2025)

MorphBPE: A Morpho-Aware Tokenizer Bridging Linguistic Complexity for Efficient LLM Training Across Morphologies
di: Asgari, Ehsaneddin, et al.
Pubblicazione: (2025)

Problematic Tokens: Tokenizer Bias in Large Language Models
di: Yang, Jin, et al.
Pubblicazione: (2024)

Disentangling Reasoning Tokens and Boilerplate Tokens For Language Model Fine-tuning
di: Ye, Ziang, et al.
Pubblicazione: (2024)

VACT: A Video Automatic Causal Testing System and a Benchmark
di: Yang, Haotong, et al.
Pubblicazione: (2025)

Compressing Sequences in the Latent Embedding Space: $K$-Token Merging for Large Language Models
di: Xu, Zihao, et al.
Pubblicazione: (2026)

Rethinking Tokenization: Crafting Better Tokenizers for Large Language Models
di: Yang, Jinbiao
Pubblicazione: (2024)

Multiplex Thinking: Reasoning via Token-wise Branch-and-Merge
di: Tang, Yao, et al.
Pubblicazione: (2026)

LiteVGGT: Boosting Vanilla VGGT via Geometry-aware Cached Token Merging
di: Shu, Zhijian, et al.
Pubblicazione: (2025)

LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning
di: Mao, Yansheng, et al.
Pubblicazione: (2025)

Large Language Model as Token Compressor and Decompressor
di: Li, Wenbing, et al.
Pubblicazione: (2026)

Bit-level BPE: Below the byte boundary
di: Moon, Sangwhan, et al.
Pubblicazione: (2025)

Mid-Think: Training-Free Intermediate-Budget Reasoning via Token-Level Triggers
di: Yang, Wang, et al.
Pubblicazione: (2026)

InfoMerge: Information-aware Token Compression for Efficient Video Large Language Models
di: Liu, Xinxin, et al.
Pubblicazione: (2026)

Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs
di: Dong, Jiancheng, et al.
Pubblicazione: (2025)

AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning
di: Zhong, Yiwu, et al.
Pubblicazione: (2024)

Large Language Models Still Face Challenges in Multi-Hop Reasoning with External Knowledge
di: Zhang, Haotong
Pubblicazione: (2024)

D$^{3}$ToM: Decider-Guided Dynamic Token Merging for Accelerating Diffusion MLLMs
di: Chang, Shuochen, et al.
Pubblicazione: (2025)

The Token Tax: Systematic Bias in Multilingual Tokenization
di: Lundin, Jessica M., et al.
Pubblicazione: (2025)