Buchumschlag

Beyond Benchmarks: MathArena as an Evaluation Platform for Mathematics with LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Dekoninck, Jasper, Jovanović, Nikola, Gehrunger, Tim, Rögnvaldsson, Kári, Petrov, Ivo, Sun, Chenhao, Vechev, Martin
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MathArena: Evaluating LLMs on Uncontaminated Math Competitions
von: Balunović, Mislav, et al.
Veröffentlicht: (2025)

BrokenMath: A Benchmark for Sycophancy in Theorem Proving with LLMs
von: Petrov, Ivo, et al.
Veröffentlicht: (2025)

Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad
von: Petrov, Ivo, et al.
Veröffentlicht: (2025)

Not All Proofs Are Equal: Evaluating LLM Proof Quality Beyond Correctness
von: Petrov, Ivo, et al.
Veröffentlicht: (2026)

MathConstruct: Challenging LLM Reasoning with Constructive Proofs
von: Balunović, Mislav, et al.
Veröffentlicht: (2025)

A Unified Approach to Routing and Cascading for LLMs
von: Dekoninck, Jasper, et al.
Veröffentlicht: (2024)

Learning from Saturated Data: Signals Beyond Correctness for LLM Training
von: Hiss, Hanno, et al.
Veröffentlicht: (2026)

Polyrating: A Cost-Effective and Bias-Aware Rating System for LLM Evaluation
von: Dekoninck, Jasper, et al.
Veröffentlicht: (2024)

Constrained Decoding of Diffusion LLMs with Context-Free Grammars
von: Mündler, Niels, et al.
Veröffentlicht: (2025)

ConStat: Performance-Based Contamination Detection in Large Language Models
von: Dekoninck, Jasper, et al.
Veröffentlicht: (2024)

Controlled Text Generation via Language Model Arithmetic
von: Dekoninck, Jasper, et al.
Veröffentlicht: (2023)

Adaptive Generation of Bias-Eliciting Questions for LLMs
von: Staab, Robin, et al.
Veröffentlicht: (2025)

Evading Data Contamination Detection for Language Models is (too) Easy
von: Dekoninck, Jasper, et al.
Veröffentlicht: (2024)

The Open Proof Corpus: A Large-Scale Study of LLM-Generated Mathematical Proofs
von: Dekoninck, Jasper, et al.
Veröffentlicht: (2025)

MathBench: Evaluating the Theory and Application Proficiency of LLMs with a Hierarchical Mathematics Benchmark
von: Liu, Hongwei, et al.
Veröffentlicht: (2024)

COMPL-AI Framework: A Technical Interpretation and LLM Benchmarking Suite for the EU Artificial Intelligence Act
von: Guldimann, Philipp, et al.
Veröffentlicht: (2024)

MathHay: An Automated Benchmark for Long-Context Mathematical Reasoning in LLMs
von: Wang, Lei, et al.
Veröffentlicht: (2024)

WirelessMathBench: A Mathematical Modeling Benchmark for LLMs in Wireless Communications
von: Li, Xin, et al.
Veröffentlicht: (2025)

Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference
von: Chiang, Wei-Lin, et al.
Veröffentlicht: (2024)

PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts
von: Wang, Yiming, et al.
Veröffentlicht: (2025)

IMProofBench: Benchmarking AI on Research-Level Mathematical Proof Generation
von: Schmitt, Johannes, et al.
Veröffentlicht: (2025)

MathClean: A Benchmark for Synthetic Mathematical Data Cleaning
von: Liang, Hao, et al.
Veröffentlicht: (2025)

MathOPEval: A Fine-grained Evaluation Benchmark for Visual Operations of MLLMs in Mathematical Reasoning
von: Li, Xiaoyuan, et al.
Veröffentlicht: (2025)

SKYLENAGE Technical Report: Mathematical Reasoning and Contest-Innovation Benchmarks for Multi-Level Math Evaluation
von: Wei, Hu, et al.
Veröffentlicht: (2025)

RoMath: A Mathematical Reasoning Benchmark in Romanian
von: Cosma, Adrian, et al.
Veröffentlicht: (2024)

Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs
von: Son, Guijin, et al.
Veröffentlicht: (2026)

ReliableMath: Benchmark of Reliable Mathematical Reasoning on Large Language Models
von: Xue, Boyang, et al.
Veröffentlicht: (2025)

VisAidMath: Benchmarking Visual-Aided Mathematical Reasoning
von: Ma, Jingkun, et al.
Veröffentlicht: (2024)

Personalized Benchmarking: Evaluating LLMs by Individual Preferences
von: Garbacea, Cristina, et al.
Veröffentlicht: (2026)

MatheMagic: Generating Dynamic Mathematics Benchmarks Robust to Memorization
von: O'Brien, Dayyán, et al.
Veröffentlicht: (2025)

FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models
von: Liu, Yan, et al.
Veröffentlicht: (2024)

EternalMath: A Living Benchmark of Frontier Mathematics that Evolves with Human Discovery
von: Ma, Jicheng, et al.
Veröffentlicht: (2026)

MathScape: Benchmarking Multimodal Large Language Models in Real-World Mathematical Contexts
von: Liang, Hao, et al.
Veröffentlicht: (2024)

CMM-Math: A Chinese Multimodal Math Dataset To Evaluate and Enhance the Mathematics Reasoning of Large Multimodal Models
von: Liu, Wentao, et al.
Veröffentlicht: (2024)

Can LLMs $\textit{understand}$ Math? -- Exploring the Pitfalls in Mathematical Reasoning
von: Roy, Tiasa Singha, et al.
Veröffentlicht: (2025)

SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers
von: Manem, Chaitanya, et al.
Veröffentlicht: (2025)

Beyond Math: Stories as a Testbed for Memorization-Constrained Reasoning in LLMs
von: Jiang, Yuxuan, et al.
Veröffentlicht: (2024)

MathOdyssey: Benchmarking Mathematical Problem-Solving Skills in Large Language Models Using Odyssey Math Data
von: Fang, Meng, et al.
Veröffentlicht: (2024)

MathMist: A Parallel Multilingual Benchmark Dataset for Mathematical Problem Solving and Reasoning
von: Sobhani, Mahbub E, et al.
Veröffentlicht: (2025)

Guiding LLMs The Right Way: Fast, Non-Invasive Constrained Generation
von: Beurer-Kellner, Luca, et al.
Veröffentlicht: (2024)