Buchumschlag

The Scaling Law of Evaluation Failure: Why Simple Averaging Collapses Under Data Sparsity and Item Difficulty Gaps, and How Item Response Theory Recovers Ground Truth Across Domains

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Kang, Jung Min
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Impact of Item-Writing Flaws on Difficulty and Discrimination in Item Response Theory
von: Schmucker, Robin, et al.
Veröffentlicht: (2025)

RIDE: Difficulty Evolving Perturbation with Item Response Theory for Mathematical Reasoning
von: Li, Xinyuan, et al.
Veröffentlicht: (2025)

Prediction of Item Difficulty for Reading Comprehension Items by Creation of Annotated Item Repository
von: Kapoor, Radhika, et al.
Veröffentlicht: (2025)

Fairness Evaluation with Item Response Theory
von: Xu, Ziqi, et al.
Veröffentlicht: (2024)

SMART: Simulated Students Aligned with Item Response Theory for Question Difficulty Prediction
von: Scarlatos, Alexander, et al.
Veröffentlicht: (2025)

Item Response Theory Analysis of the Classroom Level Adversity Scale
von: Allyson L. Hayward, et al.
Veröffentlicht: (2026)

Estimating LLM Grading Ability and Response Difficulty in Automatic Short Answer Grading via Item Response Theory
von: Cong, Longwei, et al.
Veröffentlicht: (2026)

Estimating Heterogeneous Treatment Effects with Item-Level Outcome Data: Insights from Item Response Theory
von: Gilbert, Joshua B., et al.
Veröffentlicht: (2024)

Robust Estimation of Item Parameters via Divergence Measures in Item Response Theory
von: Itaya, Yuki, et al.
Veröffentlicht: (2025)

On Truthful Item-Acquiring Mechanisms for Reward Maximization
von: Shan, Liang, et al.
Veröffentlicht: (2024)

Truthful Matching with Online Items and Offline Agents
von: Feldman, Michal, et al.
Veröffentlicht: (2022)

Auditing LLM Benchmarks with Item Response Theory
von: Land, Sander, et al.
Veröffentlicht: (2026)

Sparse Bayesian Multidimensional Item Response Theory
von: Li, Jiguang, et al.
Veröffentlicht: (2023)

Scalable Learning of Item Response Theory Models
von: Frick, Susanne, et al.
Veröffentlicht: (2024)

Estimating Item Difficulty with Large Language Models as Experts
von: Kolesnikova, Diana, et al.
Veröffentlicht: (2026)

Using Vision + Language Models to Predict Item Difficulty
von: Khan, Samin
Veröffentlicht: (2026)

Identifying Word‐Problem Difficulty: An Item Response Analysis of an Additive Word‐Problem Screener
von: Alison M. Hardy, et al.
Veröffentlicht: (2025)

Estimating Racial and Ethnic Healthcare Quality Disparities Using Exploratory Item Response Theory and Latent Class Item Response Theory Models
von: Normand, Sharon-Lise, et al.
Veröffentlicht: (2023)

Known-Item Search Failure in an OPAC.
von: Dwyer, Catherine M., et al.
Veröffentlicht: (1991)

Modeling Local Item Dependence in Cloze and Reading Comprehension Test Items Using Testlet Response Theory
von: Purya Baghaei
Veröffentlicht: (2016)

An Item Response Tree Model for Items with Multiple‐Choice and Constructed‐Response Parts
von: Junhuan Wei, et al.
Veröffentlicht: (2024)

Multidimensional Item Response Theory in the Style of Collaborative Filtering
von: Bergner, Yoav, et al.
Veröffentlicht: (2023)

Synthesizing the Ability in Multidimensional Item Response Theory Models
von: ÁLVARO MAURICIO MONTENEGRO DÍAZ
Veröffentlicht: (2010)

Difficulty as a Proxy for Measuring Intrinsic Cognitive Load Item
von: Cai, Minghao, et al.
Veröffentlicht: (2025)

Crowdsourcing with Difficulty: A Bayesian Rating Model for Heterogeneous Items
von: Han, Seong Woo, et al.
Veröffentlicht: (2024)

Introducing Flexible Monotone Multiple Choice Item Response Theory Models and Bit Scales
von: Wallmark, Joakim, et al.
Veröffentlicht: (2024)

Text-Based Approaches to Item Difficulty Modeling in Large-Scale Assessments: A Systematic Review
von: Peters, Sydney, et al.
Veröffentlicht: (2025)

Simultaneous Detection of Compromised Items and Examinees with Item Preknowledge in Online Assessments Using Response Time Data
von: Cengiz Zopluoglu
Veröffentlicht: (2026)

Correcting Human Labels for Rater Effects in AI Evaluation: An Item Response Theory Approach
von: Casabianca, Jodi M., et al.
Veröffentlicht: (2026)

Evaluating Cross-Modal Reasoning Ability and Problem Characteristics with Multimodal Item Response Theory
von: Uebayashi, Shunki, et al.
Veröffentlicht: (2026)

Asymptotic Standard Errors for Reliability Coefficients in Item Response Theory
von: Sung, Youjin, et al.
Veröffentlicht: (2025)

UnibucLLM: Harnessing LLMs for Automated Prediction of Item Difficulty and Response Time for Multiple-Choice Questions
von: Rogoz, Ana-Cristina, et al.
Veröffentlicht: (2024)

Item Selection Strategies Combining Response Time with Item Exposure Control in MCAT
von: Yuwei Luo, et al.
Veröffentlicht: (2026)

Development of a Japanese Version of the Creative Mindset Scale (CMS) Using Item Response Theory
von: Chiaki Ishiguro, et al.
Veröffentlicht: (2024)

Using Item Response Theory Models in Scaling Severity Scores in Alcohol Research—A Tutorial
von: Daniel Schulze, et al.
Veröffentlicht: (2025)

Refining Scale Measurement: Reassessing Oral Impacts on Daily Performances Properties With Item Response Theory
von: Roger Keller Celeste, et al.
Veröffentlicht: (2025)

A Doubly Latent Space Joint Model for Local Item and Person Dependence in the Analysis of Item Response Data
von: Jin, Ick Hoon, et al.
Veröffentlicht: (2016)

Measuring Competency, Not Performance: Item-Aware Evaluation Across Medical Benchmarks
von: Luo, Zhimeng, et al.
Veröffentlicht: (2025)

Differences in Item Discrimination of the 25‐Question Geriatric Locomotive Function Scale Between Younger and Middle‐Aged Adults and Older Adults: An Analysis Using the Item Response Theory
von: Shunsuke Yamashina, et al.
Veröffentlicht: (2026)

The Development and Evaluation of an Alternative Abbreviated Nutrition Risk Screening Tool Using Item Response Theory
von: Meagan S. Jackson, et al.
Veröffentlicht: (2026)