Buchumschlag

CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lee, Ayoung, Kwon, Ryan Sungmo, Railton, Peter, Wang, Lu
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

JudgeBoard: Benchmarking and Enhancing Small Language Models for Reasoning Evaluation
von: Bi, Zhenyu, et al.
Veröffentlicht: (2025)

Implicit Behavioral Alignment of Language Agents in High-Stakes Crowd Simulations
von: Wang, Yunzhe, et al.
Veröffentlicht: (2025)

SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification
von: Yoon, Kanghoon, et al.
Veröffentlicht: (2025)

JudgeLM: Fine-tuned Large Language Models are Scalable Judges
von: Zhu, Lianghui, et al.
Veröffentlicht: (2023)

Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation
von: Khalifa, Muhammad, et al.
Veröffentlicht: (2026)

Understanding the Dilemma of Unlearning for Large Language Models
von: Zhang, Qingjie, et al.
Veröffentlicht: (2025)

StakeBench: Evaluating Language Understanding Grounded in Market Commitment
von: Pei, Yunhua, et al.
Veröffentlicht: (2026)

Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges
von: Thakur, Aman Singh, et al.
Veröffentlicht: (2024)

Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification
von: Zhang, Yichi, et al.
Veröffentlicht: (2026)

LiveOIBench: Can Large Language Models Outperform Human Contestants in Informatics Olympiads?
von: Zou, Kaijian, et al.
Veröffentlicht: (2025)

A Distributional Perspective on Word Learning in Neural Language Models
von: Ficarra, Filippo, et al.
Veröffentlicht: (2025)

Exploring the Trade-Offs: Quantization Methods, Task Difficulty, and Model Size in Large Language Models From Edge to Giant
von: Lee, Jemin, et al.
Veröffentlicht: (2024)

Is LLM an Overconfident Judge? Unveiling the Capabilities of LLMs in Detecting Offensive Language with Annotation Disagreement
von: Lu, Junyu, et al.
Veröffentlicht: (2025)

Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models
von: Zhang, Bang, et al.
Veröffentlicht: (2025)

JudgeLRM: Large Reasoning Models as a Judge
von: Chen, Nuo, et al.
Veröffentlicht: (2025)

Who is a Better Matchmaker? Human vs. Algorithmic Judge Assignment in a High-Stakes Startup Competition
von: Xi, Sarina, et al.
Veröffentlicht: (2025)

EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models
von: Mohammadi, Hadi, et al.
Veröffentlicht: (2025)

Identifying Multiple Personalities in Large Language Models with External Evaluation
von: Song, Xiaoyang, et al.
Veröffentlicht: (2024)

Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models
von: Kumar, Shachi H, et al.
Veröffentlicht: (2024)

M3-SLU: Evaluating Speaker-Attributed Reasoning in Multimodal Large Language Models
von: Kwon, Yejin, et al.
Veröffentlicht: (2025)

Evaluating Metrics for Safety with LLM-as-Judges
von: Clegg, Kester, et al.
Veröffentlicht: (2025)

Evaluating the Retrieval Robustness of Large Language Models
von: Cao, Shuyang, et al.
Veröffentlicht: (2025)

Context Over Content: Exposing Evaluation Faking in Automated Judges
von: Gupta, Manan, et al.
Veröffentlicht: (2026)

Meta-Judging with Large Language Models: Concepts, Methods, and Challenges
von: Silva, Hugo, et al.
Veröffentlicht: (2026)

MM-JudgeBias: A Benchmark for Evaluating Compositional Biases in MLLM-as-a-Judge
von: Lee, Sua, et al.
Veröffentlicht: (2026)

Rethinking Toxicity Evaluation in Large Language Models: A Multi-Label Perspective
von: Kou, Zhiqiang, et al.
Veröffentlicht: (2025)

Can Vision Language Models Judge Action Quality? An Empirical Evaluation
von: Freitas, Miguel Monte e, et al.
Veröffentlicht: (2026)

Learning to Plan & Reason for Evaluation with Thinking-LLM-as-a-Judge
von: Saha, Swarnadeep, et al.
Veröffentlicht: (2025)

CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution
von: Cao, Maosong, et al.
Veröffentlicht: (2024)

JudgeBench: A Benchmark for Evaluating LLM-based Judges
von: Tan, Sijun, et al.
Veröffentlicht: (2024)

JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking
von: Niu, Tong, et al.
Veröffentlicht: (2024)

Logit Arithmetic Elicits Long Reasoning Capabilities Without Training
von: Zhang, Yunxiang, et al.
Veröffentlicht: (2025)

Igniting Creative Writing in Small Language Models: LLM-as-a-Judge versus Multi-Agent Refined Rewards
von: Wei, Xiaolong, et al.
Veröffentlicht: (2025)

A Perspective on Large Language Models, Intelligent Machines, and Knowledge Acquisition
von: Cherkassky, Vladimir, et al.
Veröffentlicht: (2024)

Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models
von: Verga, Pat, et al.
Veröffentlicht: (2024)

Multilingual Prompt Localization for Agent-as-a-Judge: Language and Backbone Sensitivity in Requirement-Level Evaluation
von: Mahmood, Alhasan, et al.
Veröffentlicht: (2026)

Evaluating Language Models' Evaluations of Games
von: Collins, Katherine M., et al.
Veröffentlicht: (2025)

Audio-Aware Large Language Models as Judges for Speaking Styles
von: Chiang, Cheng-Han, et al.
Veröffentlicht: (2025)

GRADE: Generating multi-hop QA and fine-gRAined Difficulty matrix for RAG Evaluation
von: Lee, Jeongsoo, et al.
Veröffentlicht: (2025)

MCJudgeBench: A Benchmark for Constraint-Level Judge Evaluation in Multi-Constraint Instruction Following
von: Lee, Jaeyun, et al.
Veröffentlicht: (2026)