Buchumschlag

Leveraging LLM-Respondents for Item Evaluation: a Psychometric Analysis

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Yunting, Bhandari, Shreya, Pardos, Zachary A.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computers and Society Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Psychometric Item Validation Using Virtual Respondents with Trait-Response Mediators
von: Lim, Sungjib, et al.
Veröffentlicht: (2025)

The RIGID Framework: Research-Integrated, Generative AI-Mediated Instructional Design
von: Kwak, Yerin, et al.
Veröffentlicht: (2026)

The Impact of Item-Writing Flaws on Difficulty and Discrimination in Item Response Theory
von: Schmucker, Robin, et al.
Veröffentlicht: (2025)

Psychometric Comparability of LLM-Based Digital Twins
von: Zhang, Yufei, et al.
Veröffentlicht: (2025)

NLP Cluster Analysis of Common Core State Standards and NAEP Item Specifications
von: Camilli, Gregory, et al.
Veröffentlicht: (2024)

PromptHive: Bringing Subject Matter Experts Back to the Forefront with Collaborative Prompt Engineering for Educational Content Creation
von: Reza, Mohi, et al.
Veröffentlicht: (2024)

Leveraging LLM respondents for item evaluation: A psychometric analysis
von: Yunting Liu, et al.
Veröffentlicht: (2025)

Advancing credit mobility through stakeholder-informed AI design and adoption
von: Kwak, Yerin, et al.
Veröffentlicht: (2026)

Teaching at Scale: Leveraging AI to Evaluate and Elevate Engineering Education
von: Chamberland, Jean-Francois, et al.
Veröffentlicht: (2025)

SHIELD: Evaluation and Defense Strategies for Copyright Compliance in LLM Text Generation
von: Liu, Xiaoze, et al.
Veröffentlicht: (2024)

Evaluating how LLM annotations represent diverse views on contentious topics
von: Brown, Megan A., et al.
Veröffentlicht: (2025)

QG-SMS: Enhancing Test Item Analysis via Student Modeling and Simulation
von: Nguyen, Bang, et al.
Veröffentlicht: (2025)

Political Alignment in Large Language Models: A Multidimensional Audit of Psychometric Identity and Behavioral Bias
von: Sakhawat, Adib, et al.
Veröffentlicht: (2026)

Controlling Cloze-test Question Item Difficulty with PLM-based Surrogate Models for IRT Assessment
von: Zhang, Jingshen, et al.
Veröffentlicht: (2024)

Do GPT Language Models Suffer From Split Personality Disorder? The Advent Of Substrate-Free Psychometrics
von: Romero, Peter, et al.
Veröffentlicht: (2024)

Augmenting Rating-Scale Measures with Text-Derived Items Using the Information-Determined Scoring (IDS) Framework
von: Watson, Joe, et al.
Veröffentlicht: (2025)

Evaluation of LLM Vulnerabilities to Being Misused for Personalized Disinformation Generation
von: Zugecova, Aneta, et al.
Veröffentlicht: (2024)

In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores
von: Tang, Zeyu, et al.
Veröffentlicht: (2026)

Sacred or Synthetic? Evaluating LLM Reliability and Abstention for Religious Questions
von: Atif, Farah, et al.
Veröffentlicht: (2025)

Can LLMs Estimate Student Struggles? Human-AI Difficulty Alignment with Proficiency Simulation for Item Difficulty Prediction
von: Li, Ming, et al.
Veröffentlicht: (2025)

Machine Learning for Detection and Analysis of Novel LLM Jailbreaks
von: Hawkins, John, et al.
Veröffentlicht: (2025)

Evaluating Implicit Biases in LLM Reasoning through Logic Grid Puzzles
von: Jahara, Fatima, et al.
Veröffentlicht: (2025)

LLM BiasScope: A Real-Time Bias Analysis Platform for Comparative LLM Evaluation
von: Ghosh, Himel, et al.
Veröffentlicht: (2026)

Automated Item Neutralization for Non-Cognitive Scales: A Large Language Model Approach to Reducing Social-Desirability Bias
von: Wu, Sirui, et al.
Veröffentlicht: (2025)

From Demographics to Survey Anchors: Evaluating LLM Agents for Modeling Retirement Attitudes
von: Garzón, Rubén, et al.
Veröffentlicht: (2026)

Embedding Enhancement via Fine-Tuned Language Models for Learner-Item Cognitive Modeling
von: Liu, Yuanhao, et al.
Veröffentlicht: (2026)

Mass-Scale Analysis of In-the-Wild Conversations Reveals Complexity Bounds on LLM Jailbreaking
von: Creo, Aldan, et al.
Veröffentlicht: (2025)

Detecting AI-Generated Text in Educational Content: Leveraging Machine Learning and Explainable AI for Academic Integrity
von: Najjar, Ayat A., et al.
Veröffentlicht: (2025)

Gender and Positional Biases in LLM-Based Hiring Decisions: Evidence from Comparative CV/Résumé Evaluations
von: Rozado, David
Veröffentlicht: (2025)

Bias in the Tails: How Name-conditioned Evaluative Framing in Resume Summaries Destabilizes LLM-based Hiring
von: Nghiem, Huy, et al.
Veröffentlicht: (2026)

Leveraging Prompts in LLMs to Overcome Imbalances in Complex Educational Text Data
von: McClure, Jeanne, et al.
Veröffentlicht: (2024)

Evaluating the Impact of Advanced LLM Techniques on AI-Lecture Tutors for a Robotics Course
von: Kahl, Sebastian, et al.
Veröffentlicht: (2024)

Think Like a Person Before Responding: A Multi-Faceted Evaluation of Persona-Guided LLMs for Countering Hate
von: Ngueajio, Mikel K., et al.
Veröffentlicht: (2025)

PersLLM: A Personified Training Approach for Large Language Models
von: Zeng, Zheni, et al.
Veröffentlicht: (2024)

Leveraging Lecture Content for Improved Feedback: Explorations with GPT-4 and Retrieval Augmented Generation
von: Jacobs, Sven, et al.
Veröffentlicht: (2024)

Leveraging Social Determinants of Health in Alzheimer's Research Using LLM-Augmented Literature Mining and Knowledge Graphs
von: Shang, Tianqi, et al.
Veröffentlicht: (2024)

Large Language Models Leverage External Knowledge to Extend Clinical Insight Beyond Language Boundaries
von: Wu, Jiageng, et al.
Veröffentlicht: (2023)

A Scoping Review of LLM-as-a-Judge in Healthcare and the MedJUDGE Framework
von: Li, Chenyu, et al.
Veröffentlicht: (2026)

Mental Health Equity in LLMs: Leveraging Multi-Hop Question Answering to Detect Amplified and Silenced Perspectives
von: Haider, Batool, et al.
Veröffentlicht: (2025)

Intelligent Tutor: Leveraging ChatGPT and Microsoft Copilot Studio to Deliver a Generative AI Student Support and Feedback System within Teams
von: Chen, Wei-Yu
Veröffentlicht: (2024)