Buchumschlag

Judging the Judges: A Collection of LLM-Generated Relevance Judgements

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Rahmani, Hossein A., Siro, Clemencia, Aliannejadi, Mohammad, Craswell, Nick, Clarke, Charles L. A., Faggioli, Guglielmo, Mitra, Bhaskar, Thomas, Paul, Yilmaz, Emine
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Information Retrieval
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LLMJudge: LLMs for Relevance Judgments
von: Rahmani, Hossein A., et al.
Veröffentlicht: (2024)

Report on the 1st Workshop on Large Language Model for Evaluation in Information Retrieval (LLM4Eval 2024) at SIGIR 2024
von: Rahmani, Hossein A., et al.
Veröffentlicht: (2024)

JudgeBlender: Ensembling Judgments for Automatic Relevance Assessment
von: Rahmani, Hossein A., et al.
Veröffentlicht: (2024)

Synthetic Test Collections for Retrieval Evaluation
von: Rahmani, Hossein A., et al.
Veröffentlicht: (2024)

SynDL: A Large-Scale Synthetic Test Collection for Passage Retrieval
von: Rahmani, Hossein A., et al.
Veröffentlicht: (2024)

Towards Understanding Bias in Synthetic Data for Evaluation
von: Rahmani, Hossein A., et al.
Veröffentlicht: (2025)

Learning to Judge: LLMs Designing and Applying Evaluation Rubrics
von: Siro, Clemencia, et al.
Veröffentlicht: (2026)

Overview of the TREC 2021 deep learning track
von: Craswell, Nick, et al.
Veröffentlicht: (2025)

Clarifying the Path to User Satisfaction: An Investigation into Clarification Usefulness
von: Rahmani, Hossein A., et al.
Veröffentlicht: (2024)

Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs
von: Siro, Clemencia, et al.
Veröffentlicht: (2024)

Overview of the TREC 2023 deep learning track
von: Craswell, Nick, et al.
Veröffentlicht: (2025)

To Judge or not to Judge: Using LLM Judgements for Advertiser Keyphrase Relevance at eBay
von: Dey, Soumik, et al.
Veröffentlicht: (2025)

Context Does Matter: Implications for Crowdsourced Evaluation Labels in Task-Oriented Dialogue Systems
von: Siro, Clemencia, et al.
Veröffentlicht: (2024)

Towards Group-aware Search Success
von: Wu, Haolun, et al.
Veröffentlicht: (2024)

AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs
von: Siro, Clemencia, et al.
Veröffentlicht: (2024)

Re-Rankers as Relevance Judges
von: Meng, Chuan, et al.
Veröffentlicht: (2026)

Large language models can accurately predict searcher preferences
von: Thomas, Paul, et al.
Veröffentlicht: (2023)

Overview of the TREC 2022 deep learning track
von: Craswell, Nick, et al.
Veröffentlicht: (2025)

Do Images Clarify? A Study on the Effect of Images on Clarifying Questions in Conversational Search
von: Siro, Clemencia, et al.
Veröffentlicht: (2026)

Multi-Turn Multi-Modal Question Clarification for Enhanced Conversational Understanding
von: Ramezan, Kimia, et al.
Veröffentlicht: (2025)

Support Evaluation for the TREC 2024 RAG Track: Comparing Human versus LLM Judges
von: Thakur, Nandan, et al.
Veröffentlicht: (2025)

Variations in Relevance Judgments and the Shelf Life of Test Collections
von: Parry, Andrew, et al.
Veröffentlicht: (2025)

When LLM Judges Inflate Scores: Exploring Overrating in Relevance Assessment
von: Yu, Chuting, et al.
Veröffentlicht: (2026)

Benchmarking LLM-based Relevance Judgment Methods
von: Arabzadeh, Negar, et al.
Veröffentlicht: (2025)

Understanding the Role of User Profile in the Personalization of Large Language Models
von: Wu, Bin, et al.
Veröffentlicht: (2024)

Illusions of Relevance: Arbitrary Content Injection Attacks Deceive Retrievers, Rerankers, and LLM Judges
von: Tamber, Manveer Singh, et al.
Veröffentlicht: (2025)

Judging with Personality and Confidence: A Study on Personality-Conditioned LLM Relevance Assessment
von: Chen, Nuo, et al.
Veröffentlicht: (2026)

Topic-Specific Classifiers are Better Relevance Judges than Prompted LLMs
von: Gienapp, Lukas, et al.
Veröffentlicht: (2025)

A Human-AI Comparative Analysis of Prompt Sensitivity in LLM-Based Relevance Judgment
von: Arabzadeh, Negar, et al.
Veröffentlicht: (2025)

LLM-Evaluation Tropes: Perspectives on the Validity of LLM-Evaluations
von: Dietz, Laura, et al.
Veröffentlicht: (2025)

Improving the Reusability of Conversational Search Test Collections
von: Abbasiantaeb, Zahra, et al.
Veröffentlicht: (2025)

Can We Use Large Language Models to Fill Relevance Judgment Holes?
von: Abbasiantaeb, Zahra, et al.
Veröffentlicht: (2024)

Search and Society: Reimagining Information Access for Radical Futures
von: Mitra, Bhaskar
Veröffentlicht: (2024)

Words Blending Boxes. Obfuscating Queries in Information Retrieval using Differential Privacy
von: De Faveri, Francesco Luigi, et al.
Veröffentlicht: (2024)

DiSCo: LLM Knowledge Distillation for Efficient Sparse Retrieval in Conversational Search
von: Lupart, Simon, et al.
Veröffentlicht: (2024)

IRLab@iKAT24: Learned Sparse Retrieval with Multi-aspect LLM Query Generation for Conversational Search
von: Lupart, Simon, et al.
Veröffentlicht: (2024)

Emancipatory Information Retrieval
von: Mitra, Bhaskar
Veröffentlicht: (2025)

A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look
von: Upadhyay, Shivani, et al.
Veröffentlicht: (2024)

Interactions with Generative Information Retrieval Systems
von: Aliannejadi, Mohammad, et al.
Veröffentlicht: (2024)

Generating Multi-Aspect Queries for Conversational Search
von: Abbasiantaeb, Zahra, et al.
Veröffentlicht: (2024)