Buchumschlag

OLMES: A Standard for Language Model Evaluations

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gu, Yuling, Tafjord, Oyvind, Kuehl, Bailey, Haddad, Dany, Dodge, Jesse, Hajishirzi, Hannaneh
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Digital Socrates: Evaluating LLMs through Explanation Critiques
von: Gu, Yuling, et al.
Veröffentlicht: (2023)

Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions
von: Wiegreffe, Sarah, et al.
Veröffentlicht: (2024)

Establishing Task Scaling Laws via Compute-Efficient Model Ladders
von: Bhagia, Akshita, et al.
Veröffentlicht: (2024)

Paloma: A Benchmark for Evaluating Language Model Fit
von: Magnusson, Ian, et al.
Veröffentlicht: (2023)

HREF: Human Response-Guided Evaluation of Instruction Following in Language Models
von: Lyu, Xinxi, et al.
Veröffentlicht: (2024)

BTR: Binary Token Representations for Efficient Retrieval Augmented Language Models
von: Cao, Qingqing, et al.
Veröffentlicht: (2023)

BaRDa: A Belief and Reasoning Dataset that Separates Factual Accuracy and Reasoning Ability
von: Clark, Peter, et al.
Veröffentlicht: (2023)

SimpleToM: Exposing the Gap between Explicit ToM Inference and Implicit ToM Application in LLMs
von: Gu, Yuling, et al.
Veröffentlicht: (2024)

Signal and Noise: A Framework for Reducing Uncertainty in Language Model Evaluation
von: Heineman, David, et al.
Veröffentlicht: (2025)

Fluid Language Model Benchmarking
von: Hofmann, Valentin, et al.
Veröffentlicht: (2025)

TurnWise: The Gap between Single- and Multi-turn Language Model Capabilities
von: Graf, Victoria, et al.
Veröffentlicht: (2026)

Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning
von: Kim, Joongwon, et al.
Veröffentlicht: (2024)

ASTRO: Teaching Language Models to Reason by Reflecting and Backtracking In-Context
von: Kim, Joongwon, et al.
Veröffentlicht: (2025)

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens
von: Liu, Jiacheng, et al.
Veröffentlicht: (2024)

Data Engineering for Scaling Language Models to 128K Context
von: Fu, Yao, et al.
Veröffentlicht: (2024)

Learning to Detect Language Model Training Data via Active Reconstruction
von: Yin, Junjie Oscar, et al.
Veröffentlicht: (2026)

OLMoE: Open Mixture-of-Experts Language Models
von: Muennighoff, Niklas, et al.
Veröffentlicht: (2024)

OMEGA: Can LLMs Reason Outside the Box in Math? Evaluating Exploratory, Compositional, and Transformative Generalization
von: Sun, Yiyou, et al.
Veröffentlicht: (2025)

DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents
von: Jansen, Peter, et al.
Veröffentlicht: (2024)

SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore
von: Min, Sewon, et al.
Veröffentlicht: (2023)

Reliable, Adaptable, and Attributable Language Models with Retrieval
von: Asai, Akari, et al.
Veröffentlicht: (2024)

Merge to Learn: Efficiently Adding Skills to Language Models with Model Merging
von: Morrison, Jacob, et al.
Veröffentlicht: (2024)

SciArena: An Open Evaluation Platform for Non-Verifiable Scientific Literature-Grounded Tasks
von: Zhao, Yilun, et al.
Veröffentlicht: (2025)

ParaPO: Aligning Language Models to Reduce Verbatim Reproduction of Pre-training Data
von: Chen, Tong, et al.
Veröffentlicht: (2025)

Don't throw away your value model! Generating more preferable text with Value-Guided Monte-Carlo Tree Search decoding
von: Liu, Jiacheng, et al.
Veröffentlicht: (2023)

Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic
von: Weir, Nathaniel, et al.
Veröffentlicht: (2024)

SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature
von: Wadden, David, et al.
Veröffentlicht: (2024)

CodeScientist: End-to-End Semi-Automated Scientific Discovery with Code-based Experimentation
von: Jansen, Peter, et al.
Veröffentlicht: (2025)

PreScience: A Benchmark for Forecasting Scientific Contributions
von: Ajith, Anirudh, et al.
Veröffentlicht: (2026)

Olmix: A Framework for Data Mixing Throughout LM Development
von: Chen, Mayee F., et al.
Veröffentlicht: (2026)

The Art of Saying No: Contextual Noncompliance in Language Models
von: Brahman, Faeze, et al.
Veröffentlicht: (2024)

MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts
von: Lu, Pan, et al.
Veröffentlicht: (2023)

A Systematic Examination of Preference Learning through the Lens of Instruction-Following
von: Kim, Joongwon, et al.
Veröffentlicht: (2024)

SalamahBench: Toward Standardized Safety Evaluation for Arabic Language Models
von: Abdelnasser, Omar, et al.
Veröffentlicht: (2026)

Efficient Self-Evaluation for Diffusion Language Models via Sequence Regeneration
von: Zhong, Linhao, et al.
Veröffentlicht: (2026)

APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference
von: Zhao, Bowen, et al.
Veröffentlicht: (2024)

Standardizing Longitudinal Radiology Report Evaluation via Large Language Model Annotation
von: Wang, Xinyi, et al.
Veröffentlicht: (2026)

AttentionRAG: Attention-Guided Context Pruning in Retrieval-Augmented Generation
von: Fang, Yixiong, et al.
Veröffentlicht: (2025)

FlexOlmo: Open Language Models for Flexible Data Use
von: Shi, Weijia, et al.
Veröffentlicht: (2025)

ScienceMeter: Tracking Scientific Knowledge Updates in Language Models
von: Wang, Yike, et al.
Veröffentlicht: (2025)