Copertina

Morphological Typology in BPE Subword Productivity and Language Modeling

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autore principale:	Parra, Iñigo
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP
di: Visser, Ruan, et al.
Pubblicazione: (2026)

Evaluating Subword Tokenization Techniques for Bengali: A Benchmark Study with BengaliBPE
di: Patwary, Firoj Ahmmed, et al.
Pubblicazione: (2025)

The Learning Dynamics of Subword Segmentation for Morphologically Diverse Languages
di: Meyer, Francois, et al.
Pubblicazione: (2025)

Neural Correlates of Language Models Are Specific to Human Language
di: Parra, Iñigo
Pubblicazione: (2025)

UnMASKed: Quantifying Gender Biases in Masked Language Models through Linguistically Informed Job Market Prompts
di: Parra, Iñigo
Pubblicazione: (2024)

BlockBPE: Parallel BPE Tokenization
di: You, Amos
Pubblicazione: (2025)

Rethinking Tokenization for Rich Morphology: The Dominance of Unigram over BPE and Morphological Alignment
di: Vemula, Saketh Reddy, et al.
Pubblicazione: (2025)

SuperBPE: Space Travel for Language Models
di: Liu, Alisa, et al.
Pubblicazione: (2025)

Train It and Forget It: Merge Lists are Unnecessary for BPE Inference in Language Models
di: Sawada, Tomohiro, et al.
Pubblicazione: (2025)

Tokenization Falling Short: On Subword Robustness in Large Language Models
di: Chai, Yekun, et al.
Pubblicazione: (2024)

Adaptive BPE Tokenization for Enhanced Vocabulary Adaptation in Finetuning Pretrained Language Models
di: Balde, Gunjan, et al.
Pubblicazione: (2024)

Evaluating Morphological Plausibility of Subword Tokenization via Statistical Alignment with Morpho-Syntactic Features
di: Stephen, Abishek, et al.
Pubblicazione: (2026)

Understanding Subword Compositionality of Large Language Models
di: Peng, Qiwei, et al.
Pubblicazione: (2025)

IMPACT: Inflectional Morphology Probes Across Complex Typologies
di: Saeed, Mohammed J., et al.
Pubblicazione: (2025)

On the Effect of (Near) Duplicate Subwords in Language Modelling
di: Schäfer, Anton, et al.
Pubblicazione: (2024)

Batching BPE Tokenization Merges
di: Morgan, Alexander P.
Pubblicazione: (2024)

Evaluating Subword Tokenization: Alien Subword Composition and OOV Generalization Challenge
di: Batsuren, Khuyagbaatar, et al.
Pubblicazione: (2024)

Distributional Properties of Subword Regularization
di: Cognetta, Marco, et al.
Pubblicazione: (2024)

Lexically Grounded Subword Segmentation
di: Libovický, Jindřich, et al.
Pubblicazione: (2024)

Optimal Turkish Subword Strategies at Scale: Systematic Evaluation of Data, Vocabulary, Morphology Interplay
di: Altinok, Duygu
Pubblicazione: (2026)

Byte BPE Tokenization as an Inverse string Homomorphism
di: Geng, Saibo, et al.
Pubblicazione: (2024)

Bit-level BPE: Below the byte boundary
di: Moon, Sangwhan, et al.
Pubblicazione: (2025)

Decoupling the Benefits of Subword Tokenization for Language Model Training via Byte-level Simulation
di: Gigant, Théo, et al.
Pubblicazione: (2026)

Constructing a BPE Tokenization DFA
di: Berglund, Martin, et al.
Pubblicazione: (2024)

MoVoC: Morphology-Aware Subword Construction for Geez Script Languages
di: Teklehaymanot, Hailay Kidu, et al.
Pubblicazione: (2025)

Leading Whitespaces of Language Models' Subword Vocabulary Pose a Confound for Calculating Word Probabilities
di: Oh, Byung-Doh, et al.
Pubblicazione: (2024)

Can Pretrained Language Models Derive Correct Semantics from Corrupt Subwords under Noise?
di: Li, Xinzhe, et al.
Pubblicazione: (2023)

Stolen Subwords: Importance of Vocabularies for Machine Translation Model Stealing
di: Zouhar, Vilém
Pubblicazione: (2024)

An Analysis of BPE Vocabulary Trimming in Neural Machine Translation
di: Cognetta, Marco, et al.
Pubblicazione: (2024)

From Characters to Tokens: Dynamic Grouping with Hierarchical BPE
di: Dolga, Rares, et al.
Pubblicazione: (2025)

AdaptBPE: From General Purpose to Specialized Tokenizers
di: Liyanage, Vijini, et al.
Pubblicazione: (2026)

MorphBPE: A Morpho-Aware Tokenizer Bridging Linguistic Complexity for Efficient LLM Training Across Morphologies
di: Asgari, Ehsaneddin, et al.
Pubblicazione: (2025)

Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal
di: Lian, Haoran, et al.
Pubblicazione: (2024)

Can Language Models Learn Typologically Implausible Languages?
di: Xu, Tianyang, et al.
Pubblicazione: (2025)

Tomato, Tomahto, Tomate: Do Multilingual Language Models Understand Based on Subword-Level Semantic Concepts?
di: Zhang, Crystina, et al.
Pubblicazione: (2024)

ByteSpan: Information-Driven Subword Tokenisation
di: Goriely, Zébulon, et al.
Pubblicazione: (2025)

Subword Tokenization Strategies for Kurdish Word Embeddings
di: Salehi, Ali, et al.
Pubblicazione: (2025)

BPE Stays on SCRIPT: Structured Encoding for Robust Multilingual Pretokenization
di: Land, Sander, et al.
Pubblicazione: (2025)

Differences in Typological Alignment in Language Models' Treatment of Differential Argument Marking
di: Deng, Iskar, et al.
Pubblicazione: (2026)

A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs
di: Feldman, Anna, et al.
Pubblicazione: (2026)