Buchumschlag

Changing Answer Order Can Decrease MMLU Accuracy

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gupta, Vipul, Pantoja, David, Ross, Candace, Williams, Adina, Ung, Megan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Improving Model Evaluation using SMART Filtering of Benchmark Datasets
von: Gupta, Vipul, et al.
Veröffentlicht: (2024)

Beg to Differ: Understanding Reasoning-Answer Misalignment Across Languages
von: Ovalle, Anaelia, et al.
Veröffentlicht: (2025)

What makes a good metric? Evaluating automatic metrics for text-to-image consistency
von: Ross, Candace, et al.
Veröffentlicht: (2024)

Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks
von: Radharapu, Bhaktipriya, et al.
Veröffentlicht: (2025)

Chained Tuning Leads to Biased Forgetting
von: Ung, Megan, et al.
Veröffentlicht: (2024)

MMLU-Pro+: Evaluating Higher-Order Reasoning and Shortcut Learning in LLMs
von: Taghanaki, Saeid Asgari, et al.
Veröffentlicht: (2024)

Are We Done with MMLU?
von: Gema, Aryo Pradipta, et al.
Veröffentlicht: (2024)

Improving Text-to-Image Consistency via Automatic Prompt Optimization
von: Mañas, Oscar, et al.
Veröffentlicht: (2024)

[Call for Papers] The 2nd BabyLM Challenge: Sample-efficient pretraining on a developmentally plausible corpus
von: Choshen, Leshem, et al.
Veröffentlicht: (2024)

Can LLMs Rank the Harmfulness of Smaller LLMs? We are Not There Yet
von: Atil, Berk, et al.
Veröffentlicht: (2025)

Findings of the Second BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora
von: Hu, Michael Y., et al.
Veröffentlicht: (2024)

No Answer Needed: Predicting LLM Answer Accuracy from Question-Only Linear Probes
von: Cencerrado, Iván Vicente Moreno, et al.
Veröffentlicht: (2025)

Spanish and LLM Benchmarks: is MMLU Lost in Translation?
von: Plaza, Irene, et al.
Veröffentlicht: (2024)

TurkishMMLU: Measuring Massive Multitask Language Understanding in Turkish
von: Yüksel, Arda, et al.
Veröffentlicht: (2024)

ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic
von: Koto, Fajri, et al.
Veröffentlicht: (2024)

IslamicMMLU: A Benchmark for Evaluating LLMs on Islamic Knowledge
von: Abdelaal, Ali, et al.
Veröffentlicht: (2026)

LAG-MMLU: Benchmarking Frontier LLM Understanding in Latvian and Giriama
von: Etori, Naome A., et al.
Veröffentlicht: (2025)

BnMMLU: Measuring Massive Multitask Language Understanding in Bengali
von: Joy, Saman Sarker, et al.
Veröffentlicht: (2025)

Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation
von: Singh, Shivalika, et al.
Veröffentlicht: (2024)

Are Female Carpenters like Blue Bananas? A Corpus Investigation of Occupation Gender Typicality
von: Ju, Da, et al.
Veröffentlicht: (2024)

Domain Regeneration: How well do LLMs match syntactic properties of text domains?
von: Ju, Da, et al.
Veröffentlicht: (2025)

KazMMLU: Evaluating Language Models on Kazakh, Russian, and Regional Knowledge of Kazakhstan
von: Togmanov, Mukhammed, et al.
Veröffentlicht: (2025)

SinhalaMMLU: A Comprehensive Benchmark for Evaluating Multitask Language Understanding in Sinhala
von: Pramodya, Ashmari, et al.
Veröffentlicht: (2025)

Mobile-MMLU: A Mobile Intelligence Language Understanding Benchmark
von: Bsharat, Sondos Mahmoud, et al.
Veröffentlicht: (2025)

Model Unlearning Objectives Vary for Distinct Language Functions
von: Atil, Berk, et al.
Veröffentlicht: (2026)

MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark
von: Wang, Yubo, et al.
Veröffentlicht: (2024)

GreekMMLU: A Native-Sourced Multitask Benchmark for Evaluating Language Models in Greek
von: Zhang, Yang, et al.
Veröffentlicht: (2026)

MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation
von: Xuan, Weihao, et al.
Veröffentlicht: (2025)

Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts
von: Chen, Yi-Chang, et al.
Veröffentlicht: (2026)

What's in Common? Multimodal Models Hallucinate When Reasoning Across Scenes
von: Ross, Candace, et al.
Veröffentlicht: (2025)

Khayyam Challenge (PersianMMLU): Is Your LLM Truly Wise to The Persian Language?
von: Ghahroodi, Omid, et al.
Veröffentlicht: (2024)

Reactor Mk.1 performances: MMLU, HumanEval and BBH test results
von: Dunham, TJ, et al.
Veröffentlicht: (2024)

DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models
von: Altakrori, Malik H., et al.
Veröffentlicht: (2025)

BabyLM Turns 3: Call for papers for the 2025 BabyLM workshop
von: Charpentier, Lucas, et al.
Veröffentlicht: (2025)

LLMs Can Generate a Better Answer by Aggregating Their Own Responses
von: Li, Zichong, et al.
Veröffentlicht: (2025)

Reverse Question Answering: Can an LLM Write a Question so Hard (or Bad) that it Can't Answer?
von: Balepur, Nishant, et al.
Veröffentlicht: (2024)

BioACE: An Automated Framework for Biomedical Answer and Citation Evaluations
von: Gupta, Deepak, et al.
Veröffentlicht: (2026)

IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding
von: KJ, Sankalp, et al.
Veröffentlicht: (2025)

SWE-QA: Can Language Models Answer Repository-level Code Questions?
von: Peng, Weihan, et al.
Veröffentlicht: (2025)

Semantic Consistency for Assuring Reliability of Large Language Models
von: Raj, Harsh, et al.
Veröffentlicht: (2023)