Buchumschlag

Rankers, Judges, and Assistants: Towards Understanding the Interplay of LLMs in Information Retrieval Evaluation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Balog, Krisztian, Metzler, Donald, Qin, Zhen
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Information Retrieval Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Generating Usage-related Questions for Preference Elicitation in Conversational Recommender Systems
von: Kostric, Ivica, et al.
Veröffentlicht: (2021)

Towards Reliable and Factual Response Generation: Detecting Unanswerable Questions in Information-Seeking Conversations
von: Łajewska, Weronika, et al.
Veröffentlicht: (2024)

User Simulation for Evaluating Information Access Systems
von: Balog, Krisztian, et al.
Veröffentlicht: (2023)

GINGER: Grounded Information Nugget-Based Generation of Responses
von: Łajewska, Weronika, et al.
Veröffentlicht: (2025)

Re-Rankers as Relevance Judges
von: Meng, Chuan, et al.
Veröffentlicht: (2026)

Are LLMs Reliable Rankers? Rank Manipulation via Two-Stage Token Optimization
von: Xing, Tiancheng, et al.
Veröffentlicht: (2025)

ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs
von: Ferraretto, Fernando, et al.
Veröffentlicht: (2024)

Towards Self-Contained Answers: Entity-Based Answer Rewriting in Conversational Search
von: Sekulić, Ivan, et al.
Veröffentlicht: (2024)

LLM Alignment as Retriever Optimization: An Information Retrieval Perspective
von: Jin, Bowen, et al.
Veröffentlicht: (2025)

User Simulation in the Era of Generative AI: User Modeling, Synthetic Data Generation, and System Evaluation
von: Balog, Krisztian, et al.
Veröffentlicht: (2025)

InPars-Light: Cost-Effective Unsupervised Training of Efficient Rankers
von: Boytsov, Leonid, et al.
Veröffentlicht: (2023)

Retrieval-Augmented Generation by Evidence Retroactivity in LLMs
von: Xiao, Liang, et al.
Veröffentlicht: (2025)

Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval
von: Macmillan-Scott, Olivia, et al.
Veröffentlicht: (2025)

A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models
von: Fan, Wenqi, et al.
Veröffentlicht: (2024)

GISA: A Benchmark for General Information-Seeking Assistant
von: Zhu, Yutao, et al.
Veröffentlicht: (2026)

Bridging Language Gaps: Advances in Cross-Lingual Information Retrieval with Multilingual LLMs
von: Goworek, Roksana, et al.
Veröffentlicht: (2025)

Are LLMs Truly Multilingual? Exploring Zero-Shot Multilingual Capability of LLMs for Information Retrieval: An Italian Healthcare Use Case
von: Kembu, Vignesh Kumar, et al.
Veröffentlicht: (2025)

Leveraging Information Retrieval to Enhance Spoken Language Understanding Prompts in Few-Shot Learning
von: Lepagnol, Pierre, et al.
Veröffentlicht: (2025)

Hard Negatives, Hard Lessons: Revisiting Training Data Quality for Robust Information Retrieval with LLMs
von: Thakur, Nandan, et al.
Veröffentlicht: (2025)

AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant
von: Zhou, Yujia, et al.
Veröffentlicht: (2024)

Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
von: Qin, Zhen, et al.
Veröffentlicht: (2023)

Retro*: Optimizing LLMs for Reasoning-Intensive Document Retrieval
von: Lan, Junwei, et al.
Veröffentlicht: (2025)

TREC iKAT 2023: A Test Collection for Evaluating Conversational and Interactive Knowledge Assistants
von: Aliannejadi, Mohammad, et al.
Veröffentlicht: (2024)

Benchmarking Information Retrieval Models on Complex Retrieval Tasks
von: Killingback, Julian, et al.
Veröffentlicht: (2025)

Support Evaluation for the TREC 2024 RAG Track: Comparing Human versus LLM Judges
von: Thakur, Nandan, et al.
Veröffentlicht: (2025)

RAG-based Architectures for Drug Side Effect Retrieval in LLMs
von: Nygren, Shad, et al.
Veröffentlicht: (2025)

EnrichIndex: Using LLMs to Enrich Retrieval Indices Offline
von: Chen, Peter Baile, et al.
Veröffentlicht: (2025)

Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling
von: Zhang, Hengran, et al.
Veröffentlicht: (2025)

PRISM: Agentic Retrieval with LLMs for Multi-Hop Question Answering
von: Nahid, Md Mahadi Hasan, et al.
Veröffentlicht: (2025)

Graph Neural Network Enhanced Retrieval for Question Answering of LLMs
von: Li, Zijian, et al.
Veröffentlicht: (2024)

The Impact of Quantization on Retrieval-Augmented Generation: An Analysis of Small LLMs
von: Yazan, Mert, et al.
Veröffentlicht: (2024)

Structured Attention Matters to Multimodal LLMs in Document Understanding
von: Liu, Chang, et al.
Veröffentlicht: (2025)

Estimating the Usefulness of Clarifying Questions and Answers for Conversational Search
von: Sekulić, Ivan, et al.
Veröffentlicht: (2024)

R^2AG: Incorporating Retrieval Information into Retrieval Augmented Generation
von: Ye, Fuda, et al.
Veröffentlicht: (2024)

Leveraging LLM-Assisted Query Understanding for Live Retrieval-Augmented Generation
von: Dong, Guanting, et al.
Veröffentlicht: (2025)

Second SIGIR Workshop on Simulations for Information Access (Sim4IA 2025)
von: Schaer, Philipp, et al.
Veröffentlicht: (2025)

Tabular PDF Information Extraction with Local LLMs and Layout-Aware Parsing: A Reliability Evaluation
von: Hilmi, Muhammad Anis Al, et al.
Veröffentlicht: (2026)

Distillation Enhanced Generative Retrieval
von: Li, Yongqi, et al.
Veröffentlicht: (2024)

Neural Retrievers are Biased Towards LLM-Generated Content
von: Dai, Sunhao, et al.
Veröffentlicht: (2023)

HIRO: Hierarchical Information Retrieval Optimization
von: Goel, Krish, et al.
Veröffentlicht: (2024)