Buchumschlag

The LLM Effect on IR Benchmarks: A Meta-Analysis of Effectiveness, Baselines, and Contamination

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Staudinger, Moritz, Kusa, Wojciech, Hanbury, Allan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Information Retrieval
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Reproducibility and Generalizability Study of Large Language Models for Query Generation
von: Staudinger, Moritz, et al.
Veröffentlicht: (2024)

Compare: A Framework for Scientific Comparisons
von: Staudinger, Moritz, et al.
Veröffentlicht: (2025)

ASPIRE: Assistive System for Performance Evaluation in IR
von: Peikos, Georgios, et al.
Veröffentlicht: (2024)

Reproducible Hybrid Time-Travel Retrieval in Evolving Corpora
von: Staudinger, Moritz, et al.
Veröffentlicht: (2024)

LLM-Driven Usefulness Labeling for IR Evaluation
von: Dewan, Mouly, et al.
Veröffentlicht: (2025)

Lighting the Way for BRIGHT: Reproducible Baselines with Anserini, Pyserini, and RankLLM
von: Sharifymoghaddam, Sahel, et al.
Veröffentlicht: (2025)

SimEval-IR: A Unified Toolkit and Benchmark Suite for Evaluating User Simulators and Search Sessions
von: Zerhoudi, Saber
Veröffentlicht: (2026)

FactIR: A Real-World Zero-shot Open-Domain Retrieval Benchmark for Fact-Checking
von: V, Venktesh, et al.
Veröffentlicht: (2025)

From Questions to Trust Reports: A LLM-IR Framework for the TREC 2025 DRAGUN Track
von: Alwasiak, Ignacy, et al.
Veröffentlicht: (2026)

CoIR: A Comprehensive Benchmark for Code Information Retrieval Models
von: Li, Xiangyang, et al.
Veröffentlicht: (2024)

DisastIR: A Comprehensive Information Retrieval Benchmark for Disaster Management
von: Yin, Kai, et al.
Veröffentlicht: (2025)

Training on the Test Model: Contamination in Ranking Distillation
von: Kalal, Vishakha Suresh, et al.
Veröffentlicht: (2024)

PosIR: Position-Aware Heterogeneous Information Retrieval Benchmark
von: Zeng, Ziyang, et al.
Veröffentlicht: (2026)

A Comparison of Methods for Evaluating Generative IR
von: Arabzadeh, Negar, et al.
Veröffentlicht: (2024)

Meta Lattice: Model Space Redesign for Cost-Effective Industry-Scale Ads Recommendations
von: Luo, Liang, et al.
Veröffentlicht: (2025)

Revisiting BPR: A Replicability Study of a Common Recommender System Baseline
von: Milogradskii, Aleksandr, et al.
Veröffentlicht: (2024)

Recommending Missed Citations Identified by Reviewers: A New Task, Dataset and Baselines
von: Long, Kehan, et al.
Veröffentlicht: (2024)

MechIR: A Mechanistic Interpretability Framework for Information Retrieval
von: Parry, Andrew, et al.
Veröffentlicht: (2025)

Reproducing Adaptive Reranking for Reasoning-Intensive IR
von: Rathee, Mandeep, et al.
Veröffentlicht: (2026)

Indexing Depth and Retrieval Effectiveness
von: Seely, Barbara J.
Veröffentlicht: (1972)

ExcluIR: Exclusionary Neural Information Retrieval
von: Zhang, Wenhao, et al.
Veröffentlicht: (2024)

Evaluation of Temporal Change in IR Test Collections
von: Keller, Jüri, et al.
Veröffentlicht: (2024)

MiLQ: Benchmarking IR Models for Bilingual Web Search with Mixed Language Queries
von: Kim, Jonghwi, et al.
Veröffentlicht: (2025)

ViLLA-MMBench: A Unified Benchmark Suite for LLM-Augmented Multimodal Movie Recommendation
von: Nazary, Fatemeh, et al.
Veröffentlicht: (2025)

The Effects of Demographic Instructions on LLM Personas
von: de Paula, Angel Felipe Magnossão, et al.
Veröffentlicht: (2025)

Probing Ranking LLMs: A Mechanistic Analysis for Information Retrieval
von: Chowdhury, Tanya, et al.
Veröffentlicht: (2024)

Accuracy Assessment of OpenAlex and Clarivate Scholar ID with an LLM-Assisted Benchmark
von: Zhao, Renyu, et al.
Veröffentlicht: (2025)

Reproducing NevIR: Negation in Neural Information Retrieval
von: Elsen, Coen van den, et al.
Veröffentlicht: (2025)

Lost in Transliteration: Bridging the Script Gap in Neural IR
von: Chari, Andreas, et al.
Veröffentlicht: (2025)

LifeIR at the NTCIR-18 Lifelog-6 Task
von: Chen, Jiahan, et al.
Veröffentlicht: (2025)

Improving GenIR Systems Based on User Feedback
von: Ai, Qingyao, et al.
Veröffentlicht: (2025)

Scientometric Analysis of the German IR Community within TREC & CLEF
von: Kruff, A. K., et al.
Veröffentlicht: (2025)

Same Ranking, Different Winner: How Scoring Targets Shape LLM Memory Benchmarks
von: Panthi, Sugam, et al.
Veröffentlicht: (2026)

MultiConIR: Towards multi-condition Information Retrieval
von: Lu, Xuan, et al.
Veröffentlicht: (2025)

ir_explain: a Python Library of Explainable IR Methods
von: Saha, Sourav, et al.
Veröffentlicht: (2024)

Establishing Performance Baselines in Fine-Tuning, Retrieval-Augmented Generation and Soft-Prompting for Non-Specialist LLM Users
von: Dodgson, Jennifer, et al.
Veröffentlicht: (2023)

Rank-DistiLLM: Closing the Effectiveness Gap Between Cross-Encoders and LLMs for Passage Re-Ranking
von: Schlatt, Ferdinand, et al.
Veröffentlicht: (2024)

AutoBool: An Reinforcement-Learning trained LLM for Effective Automated Boolean Query Generation for Systematic Reviews
von: Wang, Shuai, et al.
Veröffentlicht: (2025)

Cultural Analytics for Good: Building Inclusive Evaluation Frameworks for Historical IR
von: Datta, Suchana, et al.
Veröffentlicht: (2026)

RoutIR: Fast Serving of Retrieval Pipelines for Retrieval-Augmented Generation
von: Yang, Eugene, et al.
Veröffentlicht: (2026)