Buchumschlag

LLM Judges Inconsistently Disagree Across Safety Criteria and Harm Categories

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Vishnubhotla, Krishnapriya, Vajjala, Soumya, Vij, Akriti, Nejadgholi, Isar
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Defining Cultural Capabilities for AI Evaluation: A Taxonomy Grounded in Intercultural Communication Theory
von: Nejadgholi, Isar, et al.
Veröffentlicht: (2026)

The GPT-WritingPrompts Dataset: A Comparative Analysis of Character Portrayal in Short Stories
von: Huang, Xi Yu, et al.
Veröffentlicht: (2024)

Fine-Tuning Lowers Safety and Disrupts Evaluation Consistency
von: Fraser, Kathleen C., et al.
Veröffentlicht: (2025)

The Emotion Dynamics of Literary Novels
von: Vishnubhotla, Krishnapriya, et al.
Veröffentlicht: (2024)

WMT24 Test Suite: Gender Resolution in Speaker-Listener Dialogue Roles
von: Dawkins, Hillary, et al.
Veröffentlicht: (2024)

Gender-Neutral Machine Translation Strategies in Practice
von: Dawkins, Hillary, et al.
Veröffentlicht: (2025)

The Problem with Safety Classification is not just the Models
von: Vajjala, Sowmya
Veröffentlicht: (2025)

Affect, Body, Cognition, Demographics, and Emotion: The ABCDE of Text Features for Computational Affective Science
von: Wahle, Jan Philip, et al.
Veröffentlicht: (2025)

Socially Aware Synthetic Data Generation for Suicidal Ideation Detection Using Large Language Models
von: Ghanadian, Hamideh, et al.
Veröffentlicht: (2024)

The crime of being poor
von: Curto, Georgina, et al.
Veröffentlicht: (2023)

Projective Methods for Mitigating Gender Bias in Pre-trained Language Models
von: Dawkins, Hillary, et al.
Veröffentlicht: (2024)

Challenging Negative Gender Stereotypes: A Study on the Effectiveness of Automated Counter-Stereotypes
von: Nejadgholi, Isar, et al.
Veröffentlicht: (2024)

A Taxonomy for Design and Evaluation of Prompt-Based Natural Language Explanations
von: Nejadgholi, Isar, et al.
Veröffentlicht: (2025)

Emotion Granularity from Text: An Aggregate-Level Indicator of Mental Health
von: Vishnubhotla, Krishnapriya, et al.
Veröffentlicht: (2024)

Adaptable Moral Stances of Large Language Models on Sexist Content: Implications for Society and Gender Discourse
von: Guo, Rongchen, et al.
Veröffentlicht: (2024)

Semantic Differentiation in Speech Emotion Recognition: Insights from Descriptive and Expressive Speech Roles
von: Guo, Rongchen, et al.
Veröffentlicht: (2025)

Text Classification in the LLM Era -- Where do we stand?
von: Vajjala, Sowmya, et al.
Veröffentlicht: (2025)

TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them
von: Wang, Yidong, et al.
Veröffentlicht: (2025)

Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks
von: Haldar, Rajarshi, et al.
Veröffentlicht: (2025)

When Metrics Disagree: Automatic Similarity vs. LLM-as-a-Judge for Clinical Dialogue Evaluation
von: Sun, Bian, et al.
Veröffentlicht: (2026)

HarmMetric Eval: Benchmarking Metrics and Judges for LLM Harmfulness Assessment
von: Yang, Langqi, et al.
Veröffentlicht: (2025)

IndicGEC: Powerful Models, or a Measurement Mirage?
von: Vajjala, Sowmya
Veröffentlicht: (2025)

Tackling Social Bias against the Poor: A Dataset and Taxonomy on Aporophobia
von: Curto, Georgina, et al.
Veröffentlicht: (2025)

Same Input, Different Scores: A Multi Model Study on the Inconsistency of LLM Judge
von: Lau, Fiona
Veröffentlicht: (2026)

Agree to Disagree? A Meta-Evaluation of LLM Misgendering
von: Subramonian, Arjun, et al.
Veröffentlicht: (2025)

Dravidian language family through Universal Dependencies lens
von: Rama, Taraka, et al.
Veröffentlicht: (2024)

MetricalARGS: A Taxonomy for Studying Metrical Poetry with LLMs
von: Kranti, Chalamalasetti, et al.
Veröffentlicht: (2025)

Does Synthetic Data Help Named Entity Recognition for Low-Resource Languages?
von: Kamath, Gaurav, et al.
Veröffentlicht: (2025)

MATA: Mindful Assessment of the Telugu Abilities of Large Language Models
von: Kranti, Chalamalasetti, et al.
Veröffentlicht: (2025)

Should LLM Safety Be More Than Refusing Harmful Instructions?
von: Maskey, Utsav, et al.
Veröffentlicht: (2025)

Evaluating Metrics for Safety with LLM-as-Judges
von: Clegg, Kester, et al.
Veröffentlicht: (2025)

Test Set Quality in Multilingual LLM Evaluation
von: Kranti, Chalamalasetti, et al.
Veröffentlicht: (2025)

Annotation Errors and NER: A Study with OntoNotes 5.0
von: Bernier-Colborne, Gabriel, et al.
Veröffentlicht: (2024)

Social and Ethical Risks Posed by General-Purpose LLMs for Settling Newcomers in Canada
von: Nejadgholi, Isar, et al.
Veröffentlicht: (2024)

Guardians and Offenders: A Survey on Harmful Content Generation and Safety Mitigation of LLM
von: Zhang, Chi, et al.
Veröffentlicht: (2025)

Modeling Contextual Passage Utility for Multihop Question Answering
von: Jain, Akriti, et al.
Veröffentlicht: (2025)

Knowing What's Missing: Assessing Information Sufficiency in Question Answering
von: Jain, Akriti, et al.
Veröffentlicht: (2025)

Prompt-Reverse Inconsistency: LLM Self-Inconsistency Beyond Generative Randomness and Prompt Paraphrasing
von: Ahn, Jihyun Janice, et al.
Veröffentlicht: (2025)

Dialectal Toxicity Detection: Evaluating LLM-as-a-Judge Consistency Across Language Varieties
von: Faisal, Fahim, et al.
Veröffentlicht: (2024)

R-Judge: Benchmarking Safety Risk Awareness for LLM Agents
von: Yuan, Tongxin, et al.
Veröffentlicht: (2024)