Buchumschlag

The Tokenizer Tax Across 25 European Languages: Domain Invariance, Cross-Lingual Few-Shot Effects, and the Ukrainian Penalty

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Ovcharov, Volodymyr
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study
von: Ovcharov, Volodymyr
Veröffentlicht: (2026)

Temporal Concept Drift in Legal Judgment Prediction: Neural Baselines Across Three Epochs of Ukrainian Court Decisions
von: Ovcharov, Volodymyr
Veröffentlicht: (2026)

UA-Legal-Bench: A Benchmark for Evaluating Large Language Models on Ukrainian Legal Reasoning
von: Ovcharov, Volodymyr
Veröffentlicht: (2026)

Automatic Construction of a Legal Citation Graph from 100 Million Ukrainian Court Decisions: Large-Scale Extraction, Topological Analysis, and Ontology-Driven Clustering
von: Ovcharov, Volodymyr
Veröffentlicht: (2026)

Temporal Decay of Co-Citation Predictability: A 20-Year Statute Retrieval Benchmark from 396M Ukrainian Court Citations
von: Ovcharov, Volodymyr
Veröffentlicht: (2026)

Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs
von: Ovcharov, Volodymyr
Veröffentlicht: (2026)

Low-Resource Cross-Lingual Summarization through Few-Shot Learning with Large Language Models
von: Park, Gyutae, et al.
Veröffentlicht: (2024)

SumTra: A Differentiable Pipeline for Few-Shot Cross-Lingual Summarization
von: Parnell, Jacob, et al.
Veröffentlicht: (2024)

Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in Low-Resource Languages
von: Toukmaji, Christopher
Veröffentlicht: (2024)

Benchmarking Multimodal Models for Ukrainian Language Understanding Across Academic and Cultural Domains
von: Paniv, Yurii, et al.
Veröffentlicht: (2024)

Towards Cross-Lingual Audio Abuse Detection in Low-Resource Settings with Few-Shot Learning
von: Sankaran, Aditya Narayan, et al.
Veröffentlicht: (2024)

Model-Based Ranking of Source Languages for Zero-Shot Cross-Lingual Transfer
von: Ebrahimi, Abteen, et al.
Veröffentlicht: (2025)

Generalization Measures for Zero-Shot Cross-Lingual Transfer
von: Bassi, Saksham, et al.
Veröffentlicht: (2024)

Parallel Tokenizers: Rethinking Vocabulary Design for Cross-Lingual Transfer
von: Kautsar, Muhammad Dehan Al, et al.
Veröffentlicht: (2025)

Cross-Domain Transfer and Few-Shot Learning for Personal Identifiable Information Recognition
von: Ye, Junhong, et al.
Veröffentlicht: (2025)

Marvelous Agglutinative Language Effect on Cross Lingual Transfer Learning
von: Kim, Wooyoung, et al.
Veröffentlicht: (2022)

Tokenization and Morphological Fidelity in Uralic NLP: A Cross-Lingual Evaluation
von: Xu, Nuo, et al.
Veröffentlicht: (2026)

Cross-Lingual Response Consistency in Large Language Models: An ILR-Informed Evaluation of Claude Across Six Languages
von: Baluta, Camelia
Veröffentlicht: (2026)

Deep Exploration of Cross-Lingual Zero-Shot Generalization in Instruction Tuning
von: Han, Janghoon, et al.
Veröffentlicht: (2024)

Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models
von: Xu, Zixiang, et al.
Veröffentlicht: (2025)

Traveling Across Languages: Benchmarking Cross-Lingual Consistency in Multimodal LLMs
von: Wang, Hao, et al.
Veröffentlicht: (2025)

Zero-Shot Cross-Lingual NER Using Phonemic Representations for Low-Resource Languages
von: Sohn, Jimin, et al.
Veröffentlicht: (2024)

EfficientXLang: Towards Improving Token Efficiency Through Cross-Lingual Reasoning
von: Ahuja, Sanchit, et al.
Veröffentlicht: (2025)

Setting up the Data Printer with Improved English to Ukrainian Machine Translation
von: Paniv, Yurii, et al.
Veröffentlicht: (2024)

Cross-Lingual IPA Contrastive Learning for Zero-Shot NER
von: Sohn, Jimin, et al.
Veröffentlicht: (2025)

Layer Swapping for Zero-Shot Cross-Lingual Transfer in Large Language Models
von: Bandarkar, Lucas, et al.
Veröffentlicht: (2024)

Taxation Perspectives from Large Language Models: A Case Study on Additional Tax Penalties
von: Choi, Eunkyung, et al.
Veröffentlicht: (2025)

A Case Study of Cross-Lingual Zero-Shot Generalization for Classical Languages in LLMs
von: Akavarapu, V. S. D. S. Mahesh, et al.
Veröffentlicht: (2025)

Investigating the Effect of Parallel Data in the Cross-Lingual Transfer for Vision-Language Encoders
von: Manea, Andrei-Alexandru, et al.
Veröffentlicht: (2025)

Language Anisotropic Cross-Lingual Model Editing
von: Xu, Yang, et al.
Veröffentlicht: (2022)

UniPSDA: Unsupervised Pseudo Semantic Data Augmentation for Zero-Shot Cross-Lingual Natural Language Understanding
von: Li, Dongyang, et al.
Veröffentlicht: (2024)

On the Applicability of Zero-Shot Cross-Lingual Transfer Learning for Sentiment Classification in Distant Language Pairs
von: Rusli, Andre, et al.
Veröffentlicht: (2024)

ToPro: Token-Level Prompt Decomposition for Cross-Lingual Sequence Labeling Tasks
von: Ma, Bolei, et al.
Veröffentlicht: (2024)

ANHALTEN: Cross-Lingual Transfer for German Token-Level Reference-Free Hallucination Detection
von: Herrlein, Janek, et al.
Veröffentlicht: (2024)

Building a Few-Shot Cross-Domain Multilingual NLU Model for Customer Care
von: Kumar, Saurabh, et al.
Veröffentlicht: (2025)

Reuse Your Rewards: Reward Model Transfer for Zero-Shot Cross-Lingual Alignment
von: Wu, Zhaofeng, et al.
Veröffentlicht: (2024)

Cross-Lingual Optimization for Language Transfer in Large Language Models
von: Lee, Jungseob, et al.
Veröffentlicht: (2025)

On the Potential and Limitations of Few-Shot In-Context Learning to Generate Metamorphic Specifications for Tax Preparation Software
von: Srinivas, Dananjay, et al.
Veröffentlicht: (2023)

Meta-Pretraining for Zero-Shot Cross-Lingual Named Entity Recognition in Low-Resource Philippine Languages
von: Africa, David Demitri, et al.
Veröffentlicht: (2025)

Enhancing Small Language Models for Cross-Lingual Generalized Zero-Shot Classification with Soft Prompt Tuning
von: Philippy, Fred, et al.
Veröffentlicht: (2025)