Buchumschlag

Analysis of instruction-based LLMs' capabilities to score and judge text-input problems in an academic setting

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ramirez-Garcia, Valeria, de-Fitero-Dominguez, David, Garcia-Cabot, Antonio, Garcia-Lopez, Eva
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Self-Bootstrapping Automated Program Repair: Using LLMs to Generate and Evaluate Synthetic Training Data for Bug Repair
von: de-Fitero-Dominguez, David, et al.
Veröffentlicht: (2025)

RePaCA: Leveraging Reasoning Large Language Models for Static Automated Patch Correctness Assessment
von: Fuster-Pena, Marcos, et al.
Veröffentlicht: (2025)

Evaluating Large Language Models for automatic analysis of teacher simulations
von: de-Fitero-Dominguez, David, et al.
Veröffentlicht: (2024)

Enhanced Automated Code Vulnerability Repair using Large Language Models
von: de-Fitero-Dominguez, David, et al.
Veröffentlicht: (2024)

Discerning minds or generic tutors? Evaluating instructional guidance capabilities in Socratic LLMs
von: Liu, Ying, et al.
Veröffentlicht: (2025)

GAOKAO-Eval: Does high scores truly reflect strong capabilities in LLMs?
von: Lei, Zhikai, et al.
Veröffentlicht: (2024)

ReadCtrl: Personalizing text generation with readability-controlled instruction learning
von: Tran, Hieu, et al.
Veröffentlicht: (2024)

MedReadCtrl: Personalizing medical text generation with readability-controlled instruction learning
von: Tran, Hieu, et al.
Veröffentlicht: (2025)

Do LLMs estimate uncertainty well in instruction-following?
von: Heo, Juyeon, et al.
Veröffentlicht: (2024)

Do LLMs "know" internally when they follow instructions?
von: Heo, Juyeon, et al.
Veröffentlicht: (2024)

Is your LLM trapped in a Mental Set? Investigative study on how mental sets affect the reasoning capabilities of LLMs
von: Haq, Saiful, et al.
Veröffentlicht: (2025)

LLMs can hide text in other text of the same length
von: Norelli, Antonio, et al.
Veröffentlicht: (2025)

Cross-Platform Evaluation of Reasoning Capabilities in Foundation Models
von: de Curtò, J., et al.
Veröffentlicht: (2025)

Abusive text transformation using LLMs
von: Chandra, Rohitash, et al.
Veröffentlicht: (2025)

From Generation to Judgment: Opportunities and Challenges of LLM-as-a-judge
von: Li, Dawei, et al.
Veröffentlicht: (2024)

When Wording Steers the Evaluation: Framing Bias in LLM judges
von: Hwang, Yerin, et al.
Veröffentlicht: (2026)

From Calculation to Adjudication: Examining LLM judges on Mathematical Reasoning Tasks
von: Stephan, Andreas, et al.
Veröffentlicht: (2024)

LLM-as-a-qualitative-judge: automating error analysis in natural language generation
von: Chirkova, Nadezhda, et al.
Veröffentlicht: (2025)

Towards the Holographic Characteristic of LLMs for Efficient Short-text Generation
von: Qian, Shun, et al.
Veröffentlicht: (2026)

Preference Leakage: A Contamination Problem in LLM-as-a-judge
von: Li, Dawei, et al.
Veröffentlicht: (2025)

Persona-judge: Personalized Alignment of Large Language Models via Token-level Self-judgment
von: Zhang, Xiaotian, et al.
Veröffentlicht: (2025)

A Machine Learning-based Approach for Solving Recurrence Relations and its use in Cost Analysis of Logic Programs
von: Rustenholz, Louis, et al.
Veröffentlicht: (2024)

Among Them: A game-based framework for assessing persuasion capabilities of LLMs
von: Idziejczak, Mateusz, et al.
Veröffentlicht: (2025)

Humans can learn to detect AI-generated texts, or at least learn when they can't
von: Milička, Jiří, et al.
Veröffentlicht: (2025)

Can reasoning models comprehend mathematical problems in Chinese ancient texts? An empirical study based on data from Suanjing Shishu
von: Liu, Chang, et al.
Veröffentlicht: (2025)

TIC: Translate-Infer-Compile for accurate "text to plan" using LLMs and Logical Representations
von: Agarwal, Sudhir, et al.
Veröffentlicht: (2024)

Mind the Language Gap: Automated and Augmented Evaluation of Bias in LLMs for High- and Low-Resource Languages
von: Buscemi, Alessio, et al.
Veröffentlicht: (2025)

Multi-Agent LLM Judge: automatic personalized LLM judge design for evaluating natural language generation applications
von: Cao, Hongliu, et al.
Veröffentlicht: (2025)

A survey on cutting-edge relation extraction techniques based on language models
von: Diaz-Garcia, Jose A., et al.
Veröffentlicht: (2024)

ClinText-SP and RigoBERTa Clinical: a new set of open resources for Spanish Clinical NLP
von: Subies, Guillem García, et al.
Veröffentlicht: (2025)

<think> So let's replace this phrase with insult... </think> Lessons learned from generation of toxic texts with LLMs
von: Pletenev, Sergey, et al.
Veröffentlicht: (2025)

Evidence of interrelated cognitive-like capabilities in large language models: Indications of artificial general intelligence or achievement?
von: Ilić, David, et al.
Veröffentlicht: (2023)

URL: Universal Referential Knowledge Linking via Task-instructed Representation Compression
von: Li, Zhuoqun, et al.
Veröffentlicht: (2024)

Reinforcement learning fine-tuning of language model for instruction following and math reasoning
von: Han, Yifu, et al.
Veröffentlicht: (2025)

Zero-shot cross-lingual transfer in instruction tuning of large language models
von: Chirkova, Nadezhda, et al.
Veröffentlicht: (2024)

A Chat About Boring Problems: Studying GPT-based text normalization
von: Zhang, Yang, et al.
Veröffentlicht: (2023)

Causality extraction from medical text using Large Language Models (LLMs)
von: Gopalakrishnan, Seethalakshmi, et al.
Veröffentlicht: (2024)

LLMs left, right, and center: Assessing GPT's capabilities to label political bias from web domains
von: Hernandes, Raphael, et al.
Veröffentlicht: (2024)

Who judges the judges? Governance from metrics: a runtime framework for continuous LLM compliance monitoring
von: Dussert, Jehanne
Veröffentlicht: (2026)

WizardLM: Empowering large pre-trained language models to follow complex instructions
von: Xu, Can, et al.
Veröffentlicht: (2023)