Buchumschlag

Evaluating the Consistency of LLM Evaluators

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lee, Noah, Hong, Jiwoo, Thorne, James
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

ORPO: Monolithic Preference Optimization without Reference Model
von: Hong, Jiwoo, et al.
Veröffentlicht: (2024)

Cross-lingual Transfer of Reward Models in Multilingual Alignment
von: Hong, Jiwoo, et al.
Veröffentlicht: (2024)

Linguistic Generalizability of Test-Time Scaling in Mathematical Reasoning
von: Son, Guijin, et al.
Veröffentlicht: (2025)

Stable Language Model Pre-training by Reducing Embedding Variability
von: Chung, Woojin, et al.
Veröffentlicht: (2024)

On the Robustness of Reward Models for Language Model Alignment
von: Hong, Jiwoo, et al.
Veröffentlicht: (2025)

Pragmatic Competence Evaluation of Large Language Models for the Korean Language
von: Park, Dojun, et al.
Veröffentlicht: (2024)

Evaluating Large language models on Understanding Korean indirect Speech acts
von: Koo, Youngeun, et al.
Veröffentlicht: (2025)

ConsistencyChecker: Tree-based Evaluation of LLM Generalization Capabilities
von: Hong, Zhaochen, et al.
Veröffentlicht: (2025)

Evaluating Consistencies in LLM responses through a Semantic Clustering of Question Answering
von: Lee, Yanggyu, et al.
Veröffentlicht: (2024)

Evaluating LLM-Based Grant Proposal Review via Structured Perturbations
von: Thorne, William, et al.
Veröffentlicht: (2026)

Poor-Supervised Evaluation for SuperLLM via Mutual Consistency
von: Yuan, Peiwen, et al.
Veröffentlicht: (2024)

MultiPragEval: Multilingual Pragmatic Evaluation of Large Language Models
von: Park, Dojun, et al.
Veröffentlicht: (2024)

Found in Translation: Measuring Multilingual LLM Consistency as Simple as Translate then Evaluate
von: Gupta, Ashim, et al.
Veröffentlicht: (2025)

PICon: A Multi-Turn Interrogation Framework for Evaluating Persona Agent Consistency
von: Kim, Minseo, et al.
Veröffentlicht: (2026)

AlphaPO: Reward Shape Matters for LLM Alignment
von: Gupta, Aman, et al.
Veröffentlicht: (2025)

Margin-aware Preference Optimization for Aligning Diffusion Models without Reference
von: Hong, Jiwoo, et al.
Veröffentlicht: (2024)

The Comparative Trap: Pairwise Comparisons Amplifies Biased Preferences of LLM Evaluators
von: Jeong, Hawon, et al.
Veröffentlicht: (2024)

Teaching Language Models to Think in Code
von: Hwang, Hyeon, et al.
Veröffentlicht: (2026)

Dialectal Toxicity Detection: Evaluating LLM-as-a-Judge Consistency Across Language Varieties
von: Faisal, Fahim, et al.
Veröffentlicht: (2024)

A 2-step Framework for Automated Literary Translation Evaluation: Its Promises and Pitfalls
von: Shafayat, Sheikh, et al.
Veröffentlicht: (2024)

Anchoring LLM Gender Bias to Human Baselines: A Cross-Lingual Audit
von: Choi, Jiwoo, et al.
Veröffentlicht: (2026)

Style over Story: Measuring LLM Narrative Preferences via Structured Selection
von: Jung, Donghoon, et al.
Veröffentlicht: (2025)

Comparing Two Model Designs for Clinical Note Generation; Is an LLM a Useful Evaluator of Consistency?
von: Brake, Nathan, et al.
Veröffentlicht: (2024)

Mind the Blind Spots: A Focus-Level Evaluation Framework for LLM Reviews
von: Shin, Hyungyu, et al.
Veröffentlicht: (2025)

Bayesian Preference Learning for Test-Time Steerable Reward Models
von: Hong, Jiwoo, et al.
Veröffentlicht: (2026)

Line of Duty: Evaluating LLM Self-Knowledge via Consistency in Feasibility Boundaries
von: Kale, Sahil, et al.
Veröffentlicht: (2025)

STED and Consistency Scoring: A Framework for Evaluating LLM Structured Output Reliability
von: Wang, Guanghui, et al.
Veröffentlicht: (2025)

Epistemology of Language Models: Do Language Models Have Holistic Knowledge?
von: Kim, Minsu, et al.
Veröffentlicht: (2024)

Context Filtering with Reward Modeling in Question Answering
von: Kim, Sangryul, et al.
Veröffentlicht: (2024)

PEEM: Prompt Engineering Evaluation Metrics for Interpretable Joint Evaluation of Prompts and Responses
von: Hong, Minki, et al.
Veröffentlicht: (2026)

Integrated Framework for LLM Evaluation with Answer Generation
von: Lee, Sujeong, et al.
Veröffentlicht: (2025)

LLM-as-a-tutor in EFL Writing Education: Focusing on Evaluation of Student-LLM Interaction
von: Han, Jieun, et al.
Veröffentlicht: (2023)

Using Similarity to Evaluate Factual Consistency in Summaries
von: Ye, Yuxuan, et al.
Veröffentlicht: (2024)

TriBench-Ko: Evaluating LLM Risks in Judicial Workflows
von: Lee, Haesung, et al.
Veröffentlicht: (2026)

From KMMLU-Redux to KMMLU-Pro: A Professional Korean Benchmark Suite for LLM Evaluation
von: Hong, Seokhee, et al.
Veröffentlicht: (2025)

CORAL: Adaptive Retrieval Loop for Culturally-Aligned Multilingual RAG
von: Lee, Nayeon, et al.
Veröffentlicht: (2026)

ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
von: Bae, Suyoung, et al.
Veröffentlicht: (2026)

DeduCE: Deductive Consistency as a Framework to Evaluate LLM Reasoning
von: Pandey, Atharva, et al.
Veröffentlicht: (2025)

Self-Training Meets Consistency: Improving LLMs' Reasoning with Consistency-Driven Rationale Evaluation
von: Lee, Jaehyeok, et al.
Veröffentlicht: (2024)

Fine-Tuning Lowers Safety and Disrupts Evaluation Consistency
von: Fraser, Kathleen C., et al.
Veröffentlicht: (2025)