Buchumschlag

Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Foroutan, Negar, Meister, Clara, Paul, Debjit, Niklaus, Joel, Ahmadi, Sina, Bosselut, Antoine, Sennrich, Rico
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Revisiting Multilingual Data Mixtures in Language Model Pretraining
von: Foroutan, Negar, et al.
Veröffentlicht: (2025)

SwissGov-RSD: A Human-annotated, Cross-lingual Benchmark for Token-level Recognition of Semantic Differences Between Related Documents
von: Wastl, Michelle, et al.
Veröffentlicht: (2025)

Making Reasoning Matter: Measuring and Improving Faithfulness of Chain-of-Thought Reasoning
von: Paul, Debjit, et al.
Veröffentlicht: (2024)

A Formal Perspective on Byte-Pair Encoding
von: Zouhar, Vilém, et al.
Veröffentlicht: (2023)

Conversational Lexicography: Querying Lexicographic Data on Knowledge Graphs with SPARQL through Natural Language
von: Sennrich, Kilian, et al.
Veröffentlicht: (2025)

ConLID: Supervised Contrastive Learning for Low-Resource Language Identification
von: Foroutan, Negar, et al.
Veröffentlicht: (2025)

Discovering Knowledge-Critical Subnetworks in Pretrained Language Models
von: Bayazit, Deniz, et al.
Veröffentlicht: (2023)

Entropy-Driven Pre-Tokenization for Byte-Pair Encoding
von: Hu, Yifan, et al.
Veröffentlicht: (2025)

Back to Bytes: Revisiting Tokenization Through UTF-8
von: Moryossef, Amit, et al.
Veröffentlicht: (2025)

Measuring Cross-lingual Transfer in Bytes
von: de Souza, Leandro Rodrigues, et al.
Veröffentlicht: (2024)

Creativity in AI: Progresses and Challenges
von: Ismayilzada, Mete, et al.
Veröffentlicht: (2024)

CommonMorph: Participatory Morphological Documentation Platform
von: Mahmudi, Aso, et al.
Veröffentlicht: (2026)

From Pixels to Tokens: Byte-Pair Encoding on Quantized Visual Modalities
von: Zhang, Wanpeng, et al.
Veröffentlicht: (2024)

Theoretical Analysis of Byte-Pair Encoding
von: Kozma, László, et al.
Veröffentlicht: (2024)

Examining Multilingual Embedding Models Cross-Lingually Through LLM-Generated Adversarial Examples
von: Michail, Andrianos, et al.
Veröffentlicht: (2025)

Translation Asymmetry in LLMs as a Data Augmentation Factor: A Case Study for 6 Romansh Language Varieties
von: Vamvas, Jannis, et al.
Veröffentlicht: (2026)

A Logical Fallacy-Informed Framework for Argument Generation
von: Mouchel, Luca, et al.
Veröffentlicht: (2024)

Language Models over Canonical Byte-Pair Encodings
von: Vieira, Tim, et al.
Veröffentlicht: (2025)

Linear-time Minimum Bayes Risk Decoding with Reference Aggregation
von: Vamvas, Jannis, et al.
Veröffentlicht: (2024)

Measuring the Effect of Disfluency in Multilingual Knowledge Probing Benchmarks
von: Semenov, Kirill, et al.
Veröffentlicht: (2025)

Hybrid Tokenization Strategy for DNA Language Model using Byte Pair Encoding and K-MER Methods
von: Sapkota, Ganesh, et al.
Veröffentlicht: (2025)

REFINER: Reasoning Feedback on Intermediate Representations
von: Paul, Debjit, et al.
Veröffentlicht: (2023)

Exploring Defeasibility in Causal Reasoning
von: Cui, Shaobo, et al.
Veröffentlicht: (2024)

Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal
von: Lian, Haoran, et al.
Veröffentlicht: (2024)

Information Representation Fairness in Long-Document Embeddings: The Peculiar Interaction of Positional and Language Bias
von: Schuhmacher, Elias, et al.
Veröffentlicht: (2026)

Machine Translation Models are Zero-Shot Detectors of Translation Direction
von: Wastl, Michelle, et al.
Veröffentlicht: (2024)

Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed?
von: Kew, Tannon, et al.
Veröffentlicht: (2023)

Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding
von: Sennrich, Rico, et al.
Veröffentlicht: (2023)

Source-primed Multi-turn Conversation Helps Large Language Models Translate Documents
von: Hu, Hanxu, et al.
Veröffentlicht: (2025)

SwissBERT: The Multilingual Language Model for Switzerland
von: Vamvas, Jannis, et al.
Veröffentlicht: (2023)

Modular Adaptation of Multilingual Encoders to Written Swiss German Dialect
von: Vamvas, Jannis, et al.
Veröffentlicht: (2024)

DeReason: A Difficulty-Aware Curriculum Improves Decoupled SFT-then-RL Training for General Reasoning
von: Hu, Hanxu, et al.
Veröffentlicht: (2026)

What Language is This? Ask Your Tokenizer
von: Meister, Clara, et al.
Veröffentlicht: (2026)

Boundless Byte Pair Encoding: Breaking the Pre-tokenization Barrier
von: Schmidt, Craig W., et al.
Veröffentlicht: (2025)

How Do Multilingual Language Models Remember Facts?
von: Fierro, Constanza, et al.
Veröffentlicht: (2024)

Segmentation Beyond Defaults: Asymmetrical Byte Pair Encoding for Optimal Machine Translation Performance
von: Yadav, Saumitra, et al.
Veröffentlicht: (2025)

Evaluating Automatic Metrics with Incremental Machine Translation Systems
von: Wu, Guojun, et al.
Veröffentlicht: (2024)

Byte Pair Encoding Is All You Need For Automatic Bengali Speech Recognition
von: Samin, Ahnaf Mozib
Veröffentlicht: (2024)

Investigating Multi-Pivot Ensembling with Massively Multilingual Machine Translation Models
von: Mohammadshahi, Alireza, et al.
Veröffentlicht: (2023)

Peek2: Regex-free Byte-level Byte-Pair Encoding Pretokenizer for LLM Inference on Edge Devices
von: Zai, Liu, et al.
Veröffentlicht: (2026)