Buchumschlag

Tokenization and Representation Biases in Multilingual Models on Dialectal NLP Tasks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kanjirangat, Vani, Samardžić, Tanja, Dolamic, Ljiljana, Rinaldi, Fabio
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Exploring Data and Parameter Efficient Strategies for Arabic Dialect Identifications
von: Kanjirangat, Vani, et al.
Veröffentlicht: (2025)

Causal Understanding by LLMs: The Role of Uncertainty
von: Lithgow-Serrano, Oscar, et al.
Veröffentlicht: (2025)

Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models
von: Mondal, Manuel, et al.
Veröffentlicht: (2024)

Are the LLMs Capable of Maintaining at Least the Language Genus?
von: Mitrović, Sandra, et al.
Veröffentlicht: (2025)

DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models
von: Altakrori, Malik H., et al.
Veröffentlicht: (2025)

A Measure for Transparent Comparison of Linguistic Diversity in Multilingual NLP Data Sets
von: Samardzic, Tanja, et al.
Veröffentlicht: (2024)

Undesirable Biases in NLP: Addressing Challenges of Measurement
von: van der Wal, Oskar, et al.
Veröffentlicht: (2022)

DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages
von: Faisal, Fahim, et al.
Veröffentlicht: (2024)

LLM Detectors Still Fall Short of Real World: Case of LLM-Generated Short News-Like Posts
von: Gameiro, Henrique Da Silva, et al.
Veröffentlicht: (2024)

Multilingual Prompt Engineering in Large Language Models: A Survey Across NLP Tasks
von: Vatsal, Shubham, et al.
Veröffentlicht: (2025)

Multilingual Performance Biases of Large Language Models in Education
von: Gupta, Vansh, et al.
Veröffentlicht: (2025)

Can the Variation of Model Weights be used as a Criterion for Self-Paced Multilingual NMT?
von: Atrio, Àlex R., et al.
Veröffentlicht: (2024)

The Token Tax: Systematic Bias in Multilingual Tokenization
von: Lundin, Jessica M., et al.
Veröffentlicht: (2025)

Ground Truth Generation for Multilingual Historical NLP using LLMs
von: Gladstone, Clovis, et al.
Veröffentlicht: (2025)

Accelerating Multilingual Language Model for Excessively Tokenized Languages
von: Hong, Jimin, et al.
Veröffentlicht: (2024)

Benchmarking Large Language Models on Multiple Tasks in Bioinformatics NLP with Prompting
von: Jiang, Jiyue, et al.
Veröffentlicht: (2025)

Can Small-Scale Data Poisoning Exacerbate Dialect-Linked Biases in Large Language Models?
von: Abbas, Chaymaa, et al.
Veröffentlicht: (2025)

AHaSIS: Shared Task on Sentiment Analysis for Arabic Dialects
von: Alharbi, Maram, et al.
Veröffentlicht: (2025)

Unveiling Selection Biases: Exploring Order and Token Sensitivity in Large Language Models
von: Wei, Sheng-Lun, et al.
Veröffentlicht: (2024)

A Classification-Guided Approach for Adversarial Attacks against Neural Machine Translation
von: Sadrizadeh, Sahar, et al.
Veröffentlicht: (2023)

NADI 2024: The Fifth Nuanced Arabic Dialect Identification Shared Task
von: Abdul-Mageed, Muhammad, et al.
Veröffentlicht: (2024)

Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs
von: Mor-Lan, Guy, et al.
Veröffentlicht: (2026)

On the Evaluation Practices in Multilingual NLP: Can Machine Translation Offer an Alternative to Human Translations?
von: Choenni, Rochelle, et al.
Veröffentlicht: (2024)

GhanaNLP Parallel Corpora: Comprehensive Multilingual Resources for Low-Resource Ghanaian Languages
von: Gyamfi, Lawrence Adu, et al.
Veröffentlicht: (2026)

Bias Vector: Mitigating Biases in Language Models with Task Arithmetic Approach
von: Shirafuji, Daiki, et al.
Veröffentlicht: (2024)

A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks
von: Vatsal, Shubham, et al.
Veröffentlicht: (2024)

Entangled in Representations: Mechanistic Investigation of Cultural Biases in Large Language Models
von: Yu, Haeun, et al.
Veröffentlicht: (2025)

Low-Resource Dialect Adaptation of Large Language Models: A French Dialect Case-Study
von: Khan, Eeham, et al.
Veröffentlicht: (2025)

Adaptive Token Biaser: Knowledge Editing via Biasing Key Entities
von: Bi, Baolong, et al.
Veröffentlicht: (2024)

The Art of Breaking Words: Rethinking Multilingual Tokenizer Design
von: Thakur, Aamod, et al.
Veröffentlicht: (2025)

Evolutionary Feature-wise Thresholding for Binary Representation of NLP Embeddings
von: Sinha, Soumen, et al.
Veröffentlicht: (2025)

Findings of the BlackboxNLP 2025 Shared Task: Localizing Circuits and Causal Variables in Language Models
von: Arad, Dana, et al.
Veröffentlicht: (2025)

Assessing the Importance of Frequency versus Compositionality for Subword-based Tokenization in NMT
von: Wolleb, Benoist, et al.
Veröffentlicht: (2023)

The Script Tax: Measuring Tokenization-Driven Efficiency and Latency Disparities in Multilingual Language Models
von: Dixit, Aradhya, et al.
Veröffentlicht: (2026)

Rejected Dialects: Biases Against African American Language in Reward Models
von: Mire, Joel, et al.
Veröffentlicht: (2025)

UoR-NCL at SemEval-2025 Task 1: Using Generative LLMs and CLIP Models for Multilingual Multimodal Idiomaticity Representation
von: Markchom, Thanet, et al.
Veröffentlicht: (2025)

TypePilot: Leveraging the Scala Type System for Secure LLM-generated Code
von: Sternfeld, Alexander, et al.
Veröffentlicht: (2025)

Optimizing Sentence Embedding with Pseudo-Labeling and Model Ensembles: A Hierarchical Framework for Enhanced NLP Tasks
von: Liu, Ziwei, et al.
Veröffentlicht: (2025)

Accelerating Bangla NLP Tasks with Automatic Mixed Precision: Resource-Efficient Training Preserving Model Efficacy
von: Opi, Md Mehrab Hossain, et al.
Veröffentlicht: (2025)

Extracting Lexical Features from Dialects via Interpretable Dialect Classifiers
von: Xie, Roy, et al.
Veröffentlicht: (2024)