Buchumschlag

One ruler to measure them all: Benchmarking multilingual long-context language models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kim, Yekyung, Russell, Jenna, Karpinska, Marzena, Iyyer, Mohit
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

One Thousand and One Pairs: A "novel" challenge for long-context language models
von: Karpinska, Marzena, et al.
Veröffentlicht: (2024)

People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text
von: Russell, Jenna, et al.
Veröffentlicht: (2025)

Does quantization affect models' performance on long-context tasks?
von: Mekala, Anmol, et al.
Veröffentlicht: (2025)

VERISCORE: Evaluating the factuality of verifiable claims in long-form text generation
von: Song, Yixiao, et al.
Veröffentlicht: (2024)

FABLES: Evaluating faithfulness and content selection in book-length summarization
von: Kim, Yekyung, et al.
Veröffentlicht: (2024)

AI use in American newspapers is widespread, uneven, and rarely disclosed
von: Russell, Jenna, et al.
Veröffentlicht: (2025)

CaLMQA: Exploring culturally specific long-form question answering across 23 languages
von: Arora, Shane, et al.
Veröffentlicht: (2024)

Frankentext: Stitching random text fragments into long-form narratives
von: Pham, Chau Minh, et al.
Veröffentlicht: (2025)

Argument Collapse: LLMs Flatten Long-Form Public Debate
von: Kim, Yekyung, et al.
Veröffentlicht: (2026)

CLIPPER: Compression enables long-context synthetic data generation
von: Pham, Chau Minh, et al.
Veröffentlicht: (2025)

OWL: Probing Cross-Lingual Recall of Memorized Texts via World Literature
von: Srivastava, Alisha, et al.
Veröffentlicht: (2025)

StoryScope: Investigating idiosyncrasies in AI fiction
von: Russell, Jenna, et al.
Veröffentlicht: (2026)

BLEUBERI: BLEU is a surprisingly effective reward for instruction following
von: Chang, Yapei, et al.
Veröffentlicht: (2025)

Literary Evidence Retrieval via Long-Context Language Models
von: Thai, Katherine, et al.
Veröffentlicht: (2025)

VeriFastScore: Speeding up long-form factuality evaluation
von: Rajendhran, Rishanth, et al.
Veröffentlicht: (2025)

Beyond Precision: Importance-Aware Recall for Factuality Evaluation in Long-Form LLM Generation
von: Jafari, Nazanin, et al.
Veröffentlicht: (2026)

Recovering Diversity Without Losing Alignment: A DPO Recipe for Post-Trained LLMs
von: Samuel, Vinay, et al.
Veröffentlicht: (2026)

Suri: Multi-constraint Instruction Following for Long-form Text Generation
von: Pham, Chau Minh, et al.
Veröffentlicht: (2024)

Can LLMs reason over extended multilingual contexts? Towards long-context evaluation beyond retrieval and haystacks
von: Hengle, Amey, et al.
Veröffentlicht: (2025)

EditLens: Quantifying the Extent of AI Editing in Text
von: Thai, Katherine, et al.
Veröffentlicht: (2025)

Localizing and Mitigating Errors in Long-form Question Answering
von: Sachdeva, Rachneet, et al.
Veröffentlicht: (2024)

Effective vocabulary expanding of multilingual language models for extremely low-resource languages
von: Zheng, Jianyu
Veröffentlicht: (2026)

NarrativeTime: Dense Temporal Annotation on a Timeline
von: Rogers, Anna, et al.
Veröffentlicht: (2019)

EuroGEST: Investigating gender stereotypes in multilingual language models
von: Rowe, Jacqueline, et al.
Veröffentlicht: (2025)

Continuous sentiment scores for literary and multilingual contexts
von: Lyngbaek, Laurits, et al.
Veröffentlicht: (2025)

Whose story is it? Personalizing story generation by inferring author styles
von: Kumar, Nischal Ashok, et al.
Veröffentlicht: (2025)

Iteratively Prompting Multimodal LLMs to Reproduce Natural and AI-Generated Images
von: Naseh, Ali, et al.
Veröffentlicht: (2024)

BooookScore: A systematic exploration of book-length summarization in the era of LLMs
von: Chang, Yapei, et al.
Veröffentlicht: (2023)

TopicGPT: A Prompt-based Topic Modeling Framework
von: Pham, Chau Minh, et al.
Veröffentlicht: (2023)

Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation
von: Kocmi, Tom, et al.
Veröffentlicht: (2024)

Empirical study of pretrained multilingual language models for zero-shot cross-lingual knowledge transfer in generation
von: Chirkova, Nadezhda, et al.
Veröffentlicht: (2023)

OverThink: Slowdown Attacks on Reasoning LLMs
von: Kumar, Abhinav, et al.
Veröffentlicht: (2025)

SRS-Stories: Vocabulary-constrained multilingual story generation for language learning
von: Kamzela, Wiktor, et al.
Veröffentlicht: (2025)

Understanding the effects of language-specific class imbalance in multilingual fine-tuning
von: Jung, Vincent, et al.
Veröffentlicht: (2024)

Investigating the interaction of linguistic and mathematical reasoning in language models using multilingual number puzzles
von: Bhattacharya, Antara Raaghavi, et al.
Veröffentlicht: (2025)

Contextualized Evaluations: Judging Language Model Responses to Underspecified Queries
von: Malaviya, Chaitanya, et al.
Veröffentlicht: (2024)

Training language models to be warm and empathetic makes them less reliable and more sycophantic
von: Ibrahim, Lujain, et al.
Veröffentlicht: (2025)

Symbol tuning improves in-context learning in language models
von: Wei, Jerry, et al.
Veröffentlicht: (2023)

WorldMedQA-V: a multilingual, multimodal medical examination dataset for multimodal language models evaluation
von: Matos, João, et al.
Veröffentlicht: (2024)

Information availability in different languages and various technological constraints related to multilinguism on the Internet
von: Khosla, Sonal, et al.
Veröffentlicht: (2025)