Buchumschlag

When AIs Judge AIs: The Rise of Agent-as-a-Judge Evaluation for LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Yu, Fangyi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The AI Double Standard: Humans Judge All AIs for the Actions of One
von: Manoli, Aikaterina, et al.
Veröffentlicht: (2024)

AIs and Humans with Agency
von: Mumford, David
Veröffentlicht: (2026)

Bootstrapping Developmental AIs: From Simple Competences to Intelligent Human-Compatible AIs
von: Stefik, Mark, et al.
Veröffentlicht: (2023)

Roots and Requirements for Collaborative AIs
von: Stefik, Mark
Veröffentlicht: (2023)

What AIs are not Learning (and Why)
von: Stefik, Mark
Veröffentlicht: (2024)

Do Consumers Accept AIs as Moral Compliance Agents?
von: Nyilasy, Greg, et al.
Veröffentlicht: (2026)

Can Go AIs be adversarially robust?
von: Tseng, Tom, et al.
Veröffentlicht: (2024)

Guillotine: Hypervisors for Isolating Malicious AIs
von: Mickens, James, et al.
Veröffentlicht: (2025)

Draw an Ugly Person An Exploration of Generative AIs Perceptions of Ugliness
von: Kim, Garyoung, et al.
Veröffentlicht: (2025)

How to Count AIs: Individuation and Liability for AI Agents
von: Arbel, Yonathan, et al.
Veröffentlicht: (2026)

Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges
von: Thakur, Aman Singh, et al.
Veröffentlicht: (2024)

A mathematical theory of evolution for self-designing AIs
von: Harris, Kenneth D
Veröffentlicht: (2026)

When Your AIs Deceive You: Challenges of Partial Observability in Reinforcement Learning from Human Feedback
von: Lang, Leon, et al.
Veröffentlicht: (2024)

Alignment-Process-Outcome: Rethinking How AIs and Humans Collaborate
von: Li, Haichang, et al.
Veröffentlicht: (2026)

Agent-as-a-Judge: Evaluate Agents with Agents
von: Zhuge, Mingchen, et al.
Veröffentlicht: (2024)

Runtime Monitoring and Enforcement of Conditional Fairness in Generative AIs
von: Cheng, Chih-Hong, et al.
Veröffentlicht: (2024)

Embedding Democratic Values into Social Media AIs via Societal Objective Functions
von: Jia, Chenyan, et al.
Veröffentlicht: (2023)

Utility Engineering: Analyzing and Controlling Emergent Value Systems in AIs
von: Mazeika, Mantas, et al.
Veröffentlicht: (2025)

Agent-as-a-Judge
von: You, Runyang, et al.
Veröffentlicht: (2026)

Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines
von: Soumik, Sadman Kabir
Veröffentlicht: (2026)

OpenAIs HealthBench in Action: Evaluating an LLM-Based Medical Assistant on Realistic Clinical Queries
von: Ravichandran, Sandhanakrishnan, et al.
Veröffentlicht: (2025)

Leveraging LLMs as Meta-Judges: A Multi-Agent Framework for Evaluating LLM Judgments
von: Li, Yuran, et al.
Veröffentlicht: (2025)

Bringing AI Participation Down to Scale: A Comment on Open AIs Democratic Inputs to AI Project
von: Moats, David, et al.
Veröffentlicht: (2024)

Cooperative Evolutionary Pressure and Diminishing Returns Might Explain the Fermi Paradox: On What Super-AIs Are Like
von: Vallstrom, Daniel
Veröffentlicht: (2024)

On Evaluating LLM Alignment by Evaluating LLMs as Judges
von: Liu, Yixin, et al.
Veröffentlicht: (2025)

AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation
von: Shi, Wentao, et al.
Veröffentlicht: (2026)

Math Education Digital Shadows for facilitating learning with LLMs: Math performance, anxiety and confidence in simulated students and AIs
von: Esposito, Naomi, et al.
Veröffentlicht: (2026)

PentestJudge: Judging Agent Behavior Against Operational Requirements
von: Caldwell, Shane, et al.
Veröffentlicht: (2025)

Murine AI excels at cats and cheese: Structural differences between human and mouse neurons and their implementation in generative AIs
von: Saiga, Rino, et al.
Veröffentlicht: (2024)

Cognitive Architecture Toward Common Ground Sharing Among Humans and Generative AIs: Trial on Model-Model Interactions in Tangram Naming Task
von: Morita, Junya, et al.
Veröffentlicht: (2023)

LLMs Judging LLMs: A Simplex Perspective
von: Vossler, Patrick, et al.
Veröffentlicht: (2025)

Mind2Web 2: Evaluating Agentic Search with Agent-as-a-Judge
von: Gou, Boyu, et al.
Veröffentlicht: (2025)

When AIs Design Themselves: A Triadic Blueprint for the Next Generation
von: GPT-4.5, et al.
Veröffentlicht: (2025)

DPO Learning with LLMs-Judge Signal for Computer Use Agents
von: Luo, Man, et al.
Veröffentlicht: (2025)

Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge
von: Shi, Lin, et al.
Veröffentlicht: (2024)

MCTS-Judge: Test-Time Scaling in LLM-as-a-Judge for Code Correctness Evaluation
von: Wang, Yutong, et al.
Veröffentlicht: (2025)

JudgeBench: A Benchmark for Evaluating LLM-based Judges
von: Tan, Sijun, et al.
Veröffentlicht: (2024)

EasyJudge: an Easy-to-use Tool for Comprehensive Response Evaluation of LLMs
von: Li, Yijie, et al.
Veröffentlicht: (2024)

ChatGPT and other AIs will change all scientific research: initial reflections on uses and consequences
von: Sampaio, Rafael Cardoso, et al.
Veröffentlicht: (2023)

JAF: Judge Agent Forest
von: Garg, Sahil, et al.
Veröffentlicht: (2026)