Buchumschlag

Rethinking Atomic Decomposition for LLM Judges: A Prompt-Controlled Study of Reference-Grounded QA Evaluation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Zhang, Xinran
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Judging Against the Reference: Uncovering Knowledge-Driven Failures in LLM-Judges on QA Evaluation
von: Lee, Dongryeol, et al.
Veröffentlicht: (2026)

Who Judges the Judge? Evaluating LLM-as-a-Judge for French Medical open-ended QA
von: Belmadani, Ikram, et al.
Veröffentlicht: (2026)

How Sensitive Are Safety Benchmarks to Judge Configuration Choices?
von: Zhang, Xinran
Veröffentlicht: (2026)

Cross-Lingual LLM-Judge Transfer via Evaluation Decomposition
von: Sheth, Ivaxi, et al.
Veröffentlicht: (2026)

JudgeSense: A Benchmark for Prompt Sensitivity in LLM-as-a-Judge Systems
von: Bellibatlu, Rohith Reddy, et al.
Veröffentlicht: (2026)

Assessing Large Language Models for Medical QA: Zero-Shot and LLM-as-a-Judge Evaluation
von: Adib, Shefayat E Shams, et al.
Veröffentlicht: (2026)

Reassessing Extractive QA Datasets at Scale: LLM-as-a-Judge and In-Depth Analyses
von: Ho, Xanh, et al.
Veröffentlicht: (2025)

Exploiting LLM-as-a-Judge Disposition on Free Text Legal QA via Prompt Optimization
von: Elganayni, Mohamed Hesham, et al.
Veröffentlicht: (2026)

Systematic Evaluation of LLM-as-a-Judge in LLM Alignment Tasks: Explainable Metrics and Diverse Prompt Templates
von: Wei, Hui, et al.
Veröffentlicht: (2024)

Evaluating the Utility of Grounding Documents with Reference-Free LLM-based Metrics
von: Hua, Yilun, et al.
Veröffentlicht: (2026)

Structured Chain-of-Thought Prompting for Few-Shot Generation of Content-Grounded QA Conversations
von: Sultan, Md Arafat, et al.
Veröffentlicht: (2024)

Prompting a Weighting Mechanism into LLM-as-a-Judge in Two-Step: A Case Study
von: Xie, Wenwen, et al.
Veröffentlicht: (2025)

Beyond the Illusion of Consensus: From Surface Heuristics to Knowledge-Grounded Evaluation in LLM-as-a-Judge
von: Song, Mingyang, et al.
Veröffentlicht: (2026)

CPJ: Explainable Agricultural Pest Diagnosis via Caption-Prompt-Judge with LLM-Judged Refinement
von: Zhang, Wentao, et al.
Veröffentlicht: (2025)

Do Before You Judge: Self-Reference as a Pathway to Better LLM Evaluation
von: Lin, Wei-Hsiang, et al.
Veröffentlicht: (2025)

Prompt Attack Detection with LLM-as-a-Judge and Mixture-of-Models
von: Le, Hieu Xuan, et al.
Veröffentlicht: (2026)

An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-tuned Judge Model is not a General Substitute for GPT-4
von: Huang, Hui, et al.
Veröffentlicht: (2024)

RevisEval: Improving LLM-as-a-Judge via Response-Adapted References
von: Zhang, Qiyuan, et al.
Veröffentlicht: (2024)

CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation
von: Zhu, Ziyi, et al.
Veröffentlicht: (2026)

Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form QA
von: Badshah, Sher, et al.
Veröffentlicht: (2024)

BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation
von: Gisserot-Boukhlef, Hippolyte, et al.
Veröffentlicht: (2026)

No Free Labels: Limitations of LLM-as-a-Judge Without Human Grounding
von: Krumdick, Michael, et al.
Veröffentlicht: (2025)

From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges
von: Hong, Yihan, et al.
Veröffentlicht: (2026)

Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge
von: Shi, Lin, et al.
Veröffentlicht: (2024)

Same Content, Different Representations: A Controlled Study for Table QA
von: Zhang, Yue, et al.
Veröffentlicht: (2025)

Investigating the Vulnerability of LLM-as-a-Judge Architectures to Prompt-Injection Attacks
von: Maloyan, Narek, et al.
Veröffentlicht: (2025)

Evaluating Scoring Bias in LLM-as-a-Judge
von: Li, Qingquan, et al.
Veröffentlicht: (2025)

Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators
von: Zhou, Yilun, et al.
Veröffentlicht: (2025)

Rethinking How to Remember: Beyond Atomic Facts in Lifelong LLM Agent Memory
von: Sun, Jingwei, et al.
Veröffentlicht: (2026)

SEC-QA: A Systematic Evaluation Corpus for Financial QA
von: Lai, Viet Dac, et al.
Veröffentlicht: (2024)

Benchmarking LLM-as-a-Judge for Long-Form Output Evaluation
von: Chen, Junjie, et al.
Veröffentlicht: (2026)

JudgeBench: A Benchmark for Evaluating LLM-based Judges
von: Tan, Sijun, et al.
Veröffentlicht: (2024)

BIT.UA-AAUBS at ArchEHR-QA 2026: Evaluating Open-Source and Proprietary LLMs via Prompting in Low-Resource QA
von: Jonker, Richard A. A., et al.
Veröffentlicht: (2026)

Evaluating Metrics for Safety with LLM-as-Judges
von: Clegg, Kester, et al.
Veröffentlicht: (2025)

An Empirical Study of LLM-as-a-Judge: How Design Choices Impact Evaluation Reliability
von: Yamauchi, Yusuke, et al.
Veröffentlicht: (2025)

Have We Designed Generalizable Structural Knowledge Promptings? Systematic Evaluation and Rethinking
von: Zhang, Yichi, et al.
Veröffentlicht: (2024)

Rethinking LLM-as-a-Judge: Representation-as-a-Judge with Small Language Models via Semantic Capacity Asymmetry
von: Li, Zhuochun, et al.
Veröffentlicht: (2026)

JELV: A Judge of Edit-Level Validity for Evaluation and Automated Reference Expansion in Grammatical Error Correction
von: Zhan, Yuhao, et al.
Veröffentlicht: (2025)

sebis at ArchEHR-QA 2026: How Much Can You Do Locally? Evaluating Grounded EHR QA on a Single Notebook
von: Yurt, Ibrahim Ebrar, et al.
Veröffentlicht: (2026)

PersonaEval: Are LLM Evaluators Human Enough to Judge Role-Play?
von: Zhou, Lingfeng, et al.
Veröffentlicht: (2025)