Buchumschlag

SSA-COMET: Do LLMs Outperform Learned Metrics in Evaluating MT for Under-Resourced African Languages?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Senyu, Wang, Jiayi, Ali, Felermino D. M. A., Cherry, Colin, Deutsch, Daniel, Briakou, Eleftheria, Sousa-Silva, Rui, Cardoso, Henrique Lopes, Stenetorp, Pontus, Adelani, David Ifeoluwa
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Warmup Generations: A Task-Agnostic Approach for Guiding Sequence-to-Sequence Learning with Unsupervised Initial State Generation
von: Li, Senyu, et al.
Veröffentlicht: (2025)

Translating Step-by-Step: Decomposing the Translation Process for Improved Translation Quality of Long-Form Texts
von: Briakou, Eleftheria, et al.
Veröffentlicht: (2024)

On the Implications of Verbose LLM Outputs: A Case Study in Translation Evaluation
von: Briakou, Eleftheria, et al.
Veröffentlicht: (2024)

Leveraging Domain Knowledge at Inference Time for LLM Translation: Retrieval versus Generation
von: Li, Bryan, et al.
Veröffentlicht: (2025)

AfroBench: How Good are Large Language Models on African Languages?
von: Ojo, Jessica, et al.
Veröffentlicht: (2023)

Overestimation in LLM Evaluation: A Controlled Large-Scale Study on Data Contamination's Impact on Machine Translation
von: Kocyigit, Muhammed Yusuf, et al.
Veröffentlicht: (2025)

Natural language processing for African languages
von: Adelani, David Ifeoluwa
Veröffentlicht: (2025)

AfriMTE and AfriCOMET: Enhancing COMET to Embrace Under-resourced African Languages
von: Wang, Jiayi, et al.
Veröffentlicht: (2023)

Machine Translation Hallucination Detection for Low and High Resource Languages using Large Language Models
von: Benkirane, Kenza, et al.
Veröffentlicht: (2024)

Expanding FLORES+ Benchmark for more Low-Resource Settings: Portuguese-Emakhuwa Machine Translation Evaluation
von: Ali, Felermino D. M. Antonio, et al.
Veröffentlicht: (2024)

Improving Language Plasticity via Pretraining with Active Forgetting
von: Chen, Yihong, et al.
Veröffentlicht: (2023)

TukaBench: A Culturally Grounded Jailbreak Benchmark for African Languages
von: Akinode, Victor, et al.
Veröffentlicht: (2026)

Don't Throw Away Data: Better Sequence Knowledge Distillation
von: Wang, Jun, et al.
Veröffentlicht: (2024)

Quantifying Generative Media Bias with a Corpus of Real-world and Generated News Articles
von: Trhlik, Filip, et al.
Veröffentlicht: (2024)

AfriMTEB and AfriE5: Benchmarking and Adapting Text Embedding Models for African Languages
von: Uemura, Kosei, et al.
Veröffentlicht: (2025)

Multilingual Language Model Pretraining using Machine-translated Data
von: Wang, Jiayi, et al.
Veröffentlicht: (2025)

Lugha-Llama: Adapting Large Language Models for African Languages
von: Buzaaba, Happy, et al.
Veröffentlicht: (2025)

Rethinking Cross-lingual Alignment: Balancing Transfer and Cultural Erasure in Multilingual LLMs
von: Han, HyoJung, et al.
Veröffentlicht: (2025)

AFRIDOC-MT: Document-level MT Corpus for African Languages
von: Alabi, Jesujoba O., et al.
Veröffentlicht: (2025)

AfriHG: News headline generation for African Languages
von: Ogunremi, Toyib, et al.
Veröffentlicht: (2024)

Strings from the Library of Babel: Random Sampling as a Strong Baseline for Prompt Optimisation
von: Lu, Yao, et al.
Veröffentlicht: (2023)

ANGOFA: Leveraging OFA Embedding Initialization and Synthetic Data for Angolan Language Model
von: Quinjica, Osvaldo Luamba, et al.
Veröffentlicht: (2024)

Charting the Landscape of African NLP: Mapping Progress and Shaping the Road Ahead
von: Alabi, Jesujoba O., et al.
Veröffentlicht: (2025)

xCOMET-lite: Bridging the Gap Between Efficiency and Quality in Learned MT Evaluation Metrics
von: Larionov, Daniil, et al.
Veröffentlicht: (2024)

Improving Multilingual Math Reasoning for African Languages
von: Ogundepo, Odunayo, et al.
Veröffentlicht: (2025)

DIVERS-Bench: Evaluating Language Identification Across Domain Shifts and Code-Switching
von: Ojo, Jessica, et al.
Veröffentlicht: (2025)

An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages
von: Lu, Yinhan, et al.
Veröffentlicht: (2026)

MINERS: Multilingual Language Models as Semantic Retrievers
von: Winata, Genta Indra, et al.
Veröffentlicht: (2024)

Déjà Vu: Multilingual LLM Evaluation through the Lens of Machine Translation Evaluation
von: Kreutzer, Julia, et al.
Veröffentlicht: (2025)

Multilingual Pretraining Using a Large Corpus Machine-Translated from a Single Source Language
von: Wang, Jiayi, et al.
Veröffentlicht: (2024)

AfriqueLLM: How Data Mixing and Model Architecture Impact Continued Pre-training for African Languages
von: Yu, Hao, et al.
Veröffentlicht: (2026)

Lost in Inference: Rediscovering the Role of Natural Language Inference for Large Language Models
von: Madaan, Lovish, et al.
Veröffentlicht: (2024)

Jet Expansions of Residual Computation
von: Chen, Yihong, et al.
Veröffentlicht: (2024)

Multilinguality as Sense Adaptation
von: Cruz, Jan Christian Blaise, et al.
Veröffentlicht: (2026)

Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding
von: Schmidt, Fabian David, et al.
Veröffentlicht: (2025)

Does Generative AI speak Nigerian-Pidgin?: Issues about Representativeness and Bias for Multilingualism in LLMs
von: Adelani, David Ifeoluwa, et al.
Veröffentlicht: (2024)

COMET-poly: Machine Translation Metric Grounded in Other Candidates
von: Züfle, Maike, et al.
Veröffentlicht: (2025)

Using Natural Language Explanations to Improve Robustness of In-context Learning
von: He, Xuanli, et al.
Veröffentlicht: (2023)

ÌròyìnSpeech: A multi-purpose Yorùbá Speech Corpus
von: Ogunremi, Tolulope, et al.
Veröffentlicht: (2023)

Comparing LLM prompting with Cross-lingual transfer performance on Indigenous and Low-resource Brazilian Languages
von: Adelani, David Ifeoluwa, et al.
Veröffentlicht: (2024)