Buchumschlag

PATCH! {P}sychometrics-{A}ssis{T}ed Ben{CH}marking of Large Language Models against Human Populations: A Case Study of Proficiency in 8th Grade Mathematics

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fang, Qixiang, Oberski, Daniel L., Nguyen, Dong
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Computers and Society
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

General-Purpose User Modeling with Behavioral Logs: A Snapchat Case Study
von: Fang, Qixiang, et al.
Veröffentlicht: (2023)

Improving Stance Detection by Leveraging Measurement Knowledge from Social Sciences: A Case Study of Dutch Political Tweets and Traditional Gender Role Division
von: Fang, Qixiang, et al.
Veröffentlicht: (2022)

A Methodological Guide on Using Large Language Models for Reproducible Text Annotation in the Social Sciences and Humanities with Python and R
von: Fang, Qixiang, et al.
Veröffentlicht: (2026)

Human-in-the-Loop LLM Grading for Handwritten Mathematics Assessments
von: Vanhoyweghen, Arne, et al.
Veröffentlicht: (2026)

FinBen: A Holistic Financial Benchmark for Large Language Models
von: Xie, Qianqian, et al.
Veröffentlicht: (2024)

Explainability in Practice: A Survey of Explainable NLP Across Various Domains
von: Mohammadi, Hadi, et al.
Veröffentlicht: (2025)

Tracing Mathematical Proficiency Through Problem-Solving Processes
von: Park, Jungyang, et al.
Veröffentlicht: (2025)

AceTone: Bridging Words and Colors for Conditional Image Grading
von: Ma, Tianren, et al.
Veröffentlicht: (2026)

MathBench: Evaluating the Theory and Application Proficiency of LLMs with a Hierarchical Mathematics Benchmark
von: Liu, Hongwei, et al.
Veröffentlicht: (2024)

Explainability-Based Token Replacement on LLM-Generated Text
von: Mohammadi, Hadi, et al.
Veröffentlicht: (2025)

Evaluating Telugu Proficiency in Large Language Models_ A Comparative Analysis of ChatGPT and Gemini
von: Kishore, Katikela Sreeharsha, et al.
Veröffentlicht: (2024)

Eyes on the Game: Deciphering Implicit Human Signals to Infer Human Proficiency, Trust, and Intent
von: Hulle, Nikhil, et al.
Veröffentlicht: (2024)

PATCH: Mitigating PII Leakage in Language Models with Privacy-Aware Targeted Circuit PatcHing
von: Hughes, Anthony, et al.
Veröffentlicht: (2025)

BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP
von: Kabir, Mohsinul, et al.
Veröffentlicht: (2023)

De-mark: Watermark Removal in Large Language Models
von: Chen, Ruibo, et al.
Veröffentlicht: (2024)

AI Meets Mathematics Education: A Case Study on Supporting an Instructor in a Large Mathematics Class with Context-Aware AI
von: Barghorn, Jérémy, et al.
Veröffentlicht: (2026)

Unleashing Large Language Models' Proficiency in Zero-shot Essay Scoring
von: Lee, Sanwoo, et al.
Veröffentlicht: (2024)

We-Math: Does Your Large Multimodal Model Achieve Human-like Mathematical Reasoning?
von: Qiao, Runqi, et al.
Veröffentlicht: (2024)

Automated Grading of Handwritten Mathematics Using Vision-Capable LLMs
von: Levine, Jacob, et al.
Veröffentlicht: (2026)

PATCH: a deep learning method to assess heterogeneity of artistic practice in historical paintings
von: Van Horn, Andrew, et al.
Veröffentlicht: (2025)

Grading Scale Impact on LLM-as-a-Judge: Human-LLM Alignment Is Highest on 0-5 Grading Scale
von: Li, Weiyue, et al.
Veröffentlicht: (2026)

Social Perceptions of English Spelling Variation on Twitter: A Comparative Analysis of Human and LLM Responses
von: Nguyen, Dong, et al.
Veröffentlicht: (2025)

MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application
von: Peng, Xueqing, et al.
Veröffentlicht: (2025)

Can LLMs Estimate Student Struggles? Human-AI Difficulty Alignment with Proficiency Simulation for Item Difficulty Prediction
von: Li, Ming, et al.
Veröffentlicht: (2025)

Testing Low-Resource Language Support in LLMs Using Language Proficiency Exams: the Case of Luxembourgish
von: Lothritz, Cedric, et al.
Veröffentlicht: (2025)

Classifying German Language Proficiency Levels Using Large Language Models
von: Ahlers, Elias-Leander, et al.
Veröffentlicht: (2025)

Can Large Language Models Automatically Score Proficiency of Written Essays?
von: Mansour, Watheq, et al.
Veröffentlicht: (2024)

SciEx: Benchmarking Large Language Models on Scientific Exams with Human Expert Grading and Automatic Grading
von: Dinh, Tu Anh, et al.
Veröffentlicht: (2024)

A Case for Specialisation in Non-Human Entities
von: El-Mhamdi, El-Mahdi, et al.
Veröffentlicht: (2025)

BenHalluEval: A Multi-Task Hallucination Evaluation Framework for Large Language Models on Bengali
von: Adib, Shefayat E Shams, et al.
Veröffentlicht: (2026)

BenCao: An Instruction-Tuned Large Language Model for Traditional Chinese Medicine
von: Xie, Jiacheng, et al.
Veröffentlicht: (2025)

Does Continued Pretraining on a Learner Corpus Improve Automated Essay Scoring on English Proficiency Tests? Evidence from EFCAMDAT
von: Nguyen, Duy Anh
Veröffentlicht: (2026)

BenTo: Benchmark Task Reduction with In-Context Transferability
von: Zhao, Hongyu, et al.
Veröffentlicht: (2024)

SimGrade: Using Code Similarity Measures for More Accurate Human Grading
von: Johnson-Yu, Sonja, et al.
Veröffentlicht: (2024)

Thinking with Images via Self-Calling Agent
von: Yang, Wenxi, et al.
Veröffentlicht: (2025)

Qayyem: A Real-time Platform for Scoring Proficiency of Arabic Essays
von: Elbahnasawi, Hoor, et al.
Veröffentlicht: (2026)

ProLex: A Benchmark for Language Proficiency-oriented Lexical Substitution
von: Zhang, Xuanming, et al.
Veröffentlicht: (2024)

TimeSense:Making Large Language Models Proficient in Time-Series Analysis
von: Zhang, Zhirui, et al.
Veröffentlicht: (2025)

EPPCMinerBen: A Novel Benchmark for Evaluating Large Language Models on Electronic Patient-Provider Communication via the Patient Portal
von: Fodeh, Samah, et al.
Veröffentlicht: (2026)

SciAssess: Benchmarking LLM Proficiency in Scientific Literature Analysis
von: Cai, Hengxing, et al.
Veröffentlicht: (2024)