Copertina

EXECUTE: A Multilingual Benchmark for LLM Token Understanding

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Edman, Lukas, Schmid, Helmut, Fraser, Alexander
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

CUTE: Measuring LLMs' Understanding of Their Tokens
di: Edman, Lukas, et al.
Pubblicazione: (2024)

Mask and You Shall Receive: Optimizing Masked Language Modeling For Pretraining BabyLMs
di: Edman, Lukas, et al.
Pubblicazione: (2025)

Are BabyLMs Second Language Learners?
di: Edman, Lukas, et al.
Pubblicazione: (2024)

Beyond Literal Token Overlap: Token Alignability for Multilinguality
di: Hämmerl, Katharina, et al.
Pubblicazione: (2025)

XCOMPS: A Multilingual Benchmark of Conceptual Minimal Pairs
di: He, Linyang, et al.
Pubblicazione: (2025)

Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models
di: Nie, Ercong, et al.
Pubblicazione: (2025)

LLMs Beyond English: Scaling the Multilingual Capability of LLMs with Cross-Lingual Feedback
di: Lai, Wen, et al.
Pubblicazione: (2024)

Extending Multilingual Machine Translation through Imitation Learning
di: Lai, Wen, et al.
Pubblicazione: (2023)

Understanding Cross-Lingual Alignment -- A Survey
di: Hämmerl, Katharina, et al.
Pubblicazione: (2024)

Benchmarking LLM Guardrails in Handling Multilingual Toxicity
di: Yang, Yahan, et al.
Pubblicazione: (2024)

EmoBench-UA: A Benchmark Dataset for Emotion Detection in Ukrainian
di: Dementieva, Daryna, et al.
Pubblicazione: (2025)

DiscoTrack: A Multilingual LLM Benchmark for Discourse Tracking
di: Bu, Lanni, et al.
Pubblicazione: (2025)

LLM in the Loop: Creating the ParaDeHate Dataset for Hate Speech Detoxification
di: Yuan, Shuzhou, et al.
Pubblicazione: (2025)

Decomposed Prompting: Probing Multilingual Linguistic Structure Knowledge in Large Language Models
di: Nie, Ercong, et al.
Pubblicazione: (2024)

Are Character-level Translations Worth the Wait? Comparing ByT5 and mT5 for Machine Translation
di: Edman, Lukas, et al.
Pubblicazione: (2023)

CrossNews-UA: A Cross-lingual News Semantic Similarity Benchmark for Ukrainian, Polish, Russian, and English
di: Dementieva, Daryna, et al.
Pubblicazione: (2025)

MUTANT: A Recipe for Multilingual Tokenizer Design
di: Rana, Souvik, et al.
Pubblicazione: (2025)

PersLitEval: Fine-grained Benchmark and Evaluation of LLMs on Persian Literature Questions
di: Niazi, Ruhallah, et al.
Pubblicazione: (2026)

The Token Tax: Systematic Bias in Multilingual Tokenization
di: Lundin, Jessica M., et al.
Pubblicazione: (2025)

Krutrim LLM: A Novel Tokenization Strategy for Multilingual Indic Languages with Petabyte-Scale Data Processing
di: Kumar, Rahul, et al.
Pubblicazione: (2024)

Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding
di: Schmidt, Fabian David, et al.
Pubblicazione: (2025)

Tokenization and Morphology in Multilingual Language Models: A Comparative Analysis of mT5 and ByT5
di: Dang, Thao Anh, et al.
Pubblicazione: (2024)

ToPro: Token-Level Prompt Decomposition for Cross-Lingual Sequence Labeling Tasks
di: Ma, Bolei, et al.
Pubblicazione: (2024)

SEA-Vision: A Multilingual Benchmark for Comprehensive Document and Scene Text Understanding in Southeast Asia
di: Yue, Pengfei, et al.
Pubblicazione: (2026)

DRISHTIKON: A Multimodal Multilingual Benchmark for Testing Language Models' Understanding on Indian Culture
di: Maji, Arijit, et al.
Pubblicazione: (2025)

DCAD-2000: A Multilingual Dataset across 2000+ Languages with Data Cleaning as Anomaly Detection
di: Shen, Yingli, et al.
Pubblicazione: (2025)

MM-Eval: A Multilingual Meta-Evaluation Benchmark for LLM-as-a-Judge and Reward Models
di: Son, Guijin, et al.
Pubblicazione: (2024)

JobResQA: A Benchmark for LLM Machine Reading Comprehension on Multilingual Résumés and JDs
di: Carrino, Casimiro Pio, et al.
Pubblicazione: (2026)

One Tokenizer To Rule Them All: Emergent Language Plasticity via Multilingual Tokenizers
di: Abagyan, Diana, et al.
Pubblicazione: (2025)

IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia
di: Pattnayak, Priyaranjan, et al.
Pubblicazione: (2026)

Contamination Report for Multilingual Benchmarks
di: Ahuja, Sanchit, et al.
Pubblicazione: (2024)

Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding
di: Yoo, Haneul, et al.
Pubblicazione: (2024)

MMATH: A Multilingual Benchmark for Mathematical Reasoning
di: Luo, Wenyang, et al.
Pubblicazione: (2025)

MUCH: A Multilingual Claim Hallucination Benchmark
di: Dentan, Jérémie, et al.
Pubblicazione: (2025)

FactNet: A Billion-Scale Knowledge Graph for Multilingual Factual Grounding
di: Shen, Yingli, et al.
Pubblicazione: (2026)

Dial HEALTHDIAL for Advice: A Multilingual and Multi-Parallel Spoken Dialogue Dataset for Knowledge-Grounded Information Seeking
di: Hu, Songbo, et al.
Pubblicazione: (2026)

How Language Directions Align with Token Geometry in Multilingual LLMs
di: Kim, JaeSeong, et al.
Pubblicazione: (2025)

TASE: Token Awareness and Structured Evaluation for Multilingual Language Models
di: Zhao, Chenzhuo, et al.
Pubblicazione: (2025)

Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
di: Karthika, N J, et al.
Pubblicazione: (2025)

SubTokenTest: A Practical Benchmark for Real-World Sub-token Understanding
di: Hou, Shuyang, et al.
Pubblicazione: (2026)