Copertina

The LLM Effect on IR Benchmarks: A Meta-Analysis of Effectiveness, Baselines, and Contamination

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Staudinger, Moritz, Kusa, Wojciech, Hanbury, Allan
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Information Retrieval
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

A Reproducibility and Generalizability Study of Large Language Models for Query Generation
di: Staudinger, Moritz, et al.
Pubblicazione: (2024)

Compare: A Framework for Scientific Comparisons
di: Staudinger, Moritz, et al.
Pubblicazione: (2025)

ASPIRE: Assistive System for Performance Evaluation in IR
di: Peikos, Georgios, et al.
Pubblicazione: (2024)

Reproducible Hybrid Time-Travel Retrieval in Evolving Corpora
di: Staudinger, Moritz, et al.
Pubblicazione: (2024)

LLM-Driven Usefulness Labeling for IR Evaluation
di: Dewan, Mouly, et al.
Pubblicazione: (2025)

Lighting the Way for BRIGHT: Reproducible Baselines with Anserini, Pyserini, and RankLLM
di: Sharifymoghaddam, Sahel, et al.
Pubblicazione: (2025)

SimEval-IR: A Unified Toolkit and Benchmark Suite for Evaluating User Simulators and Search Sessions
di: Zerhoudi, Saber
Pubblicazione: (2026)

FactIR: A Real-World Zero-shot Open-Domain Retrieval Benchmark for Fact-Checking
di: V, Venktesh, et al.
Pubblicazione: (2025)

From Questions to Trust Reports: A LLM-IR Framework for the TREC 2025 DRAGUN Track
di: Alwasiak, Ignacy, et al.
Pubblicazione: (2026)

CoIR: A Comprehensive Benchmark for Code Information Retrieval Models
di: Li, Xiangyang, et al.
Pubblicazione: (2024)

DisastIR: A Comprehensive Information Retrieval Benchmark for Disaster Management
di: Yin, Kai, et al.
Pubblicazione: (2025)

Training on the Test Model: Contamination in Ranking Distillation
di: Kalal, Vishakha Suresh, et al.
Pubblicazione: (2024)

PosIR: Position-Aware Heterogeneous Information Retrieval Benchmark
di: Zeng, Ziyang, et al.
Pubblicazione: (2026)

A Comparison of Methods for Evaluating Generative IR
di: Arabzadeh, Negar, et al.
Pubblicazione: (2024)

Meta Lattice: Model Space Redesign for Cost-Effective Industry-Scale Ads Recommendations
di: Luo, Liang, et al.
Pubblicazione: (2025)

Revisiting BPR: A Replicability Study of a Common Recommender System Baseline
di: Milogradskii, Aleksandr, et al.
Pubblicazione: (2024)

Recommending Missed Citations Identified by Reviewers: A New Task, Dataset and Baselines
di: Long, Kehan, et al.
Pubblicazione: (2024)

MechIR: A Mechanistic Interpretability Framework for Information Retrieval
di: Parry, Andrew, et al.
Pubblicazione: (2025)

Reproducing Adaptive Reranking for Reasoning-Intensive IR
di: Rathee, Mandeep, et al.
Pubblicazione: (2026)

Indexing Depth and Retrieval Effectiveness
di: Seely, Barbara J.
Pubblicazione: (1972)

ExcluIR: Exclusionary Neural Information Retrieval
di: Zhang, Wenhao, et al.
Pubblicazione: (2024)

Evaluation of Temporal Change in IR Test Collections
di: Keller, Jüri, et al.
Pubblicazione: (2024)

MiLQ: Benchmarking IR Models for Bilingual Web Search with Mixed Language Queries
di: Kim, Jonghwi, et al.
Pubblicazione: (2025)

ViLLA-MMBench: A Unified Benchmark Suite for LLM-Augmented Multimodal Movie Recommendation
di: Nazary, Fatemeh, et al.
Pubblicazione: (2025)

The Effects of Demographic Instructions on LLM Personas
di: de Paula, Angel Felipe Magnossão, et al.
Pubblicazione: (2025)

Probing Ranking LLMs: A Mechanistic Analysis for Information Retrieval
di: Chowdhury, Tanya, et al.
Pubblicazione: (2024)

Accuracy Assessment of OpenAlex and Clarivate Scholar ID with an LLM-Assisted Benchmark
di: Zhao, Renyu, et al.
Pubblicazione: (2025)

Reproducing NevIR: Negation in Neural Information Retrieval
di: Elsen, Coen van den, et al.
Pubblicazione: (2025)

Lost in Transliteration: Bridging the Script Gap in Neural IR
di: Chari, Andreas, et al.
Pubblicazione: (2025)

LifeIR at the NTCIR-18 Lifelog-6 Task
di: Chen, Jiahan, et al.
Pubblicazione: (2025)

Improving GenIR Systems Based on User Feedback
di: Ai, Qingyao, et al.
Pubblicazione: (2025)

Scientometric Analysis of the German IR Community within TREC & CLEF
di: Kruff, A. K., et al.
Pubblicazione: (2025)

Same Ranking, Different Winner: How Scoring Targets Shape LLM Memory Benchmarks
di: Panthi, Sugam, et al.
Pubblicazione: (2026)

MultiConIR: Towards multi-condition Information Retrieval
di: Lu, Xuan, et al.
Pubblicazione: (2025)

ir_explain: a Python Library of Explainable IR Methods
di: Saha, Sourav, et al.
Pubblicazione: (2024)

Establishing Performance Baselines in Fine-Tuning, Retrieval-Augmented Generation and Soft-Prompting for Non-Specialist LLM Users
di: Dodgson, Jennifer, et al.
Pubblicazione: (2023)

Rank-DistiLLM: Closing the Effectiveness Gap Between Cross-Encoders and LLMs for Passage Re-Ranking
di: Schlatt, Ferdinand, et al.
Pubblicazione: (2024)

AutoBool: An Reinforcement-Learning trained LLM for Effective Automated Boolean Query Generation for Systematic Reviews
di: Wang, Shuai, et al.
Pubblicazione: (2025)

Cultural Analytics for Good: Building Inclusive Evaluation Frameworks for Historical IR
di: Datta, Suchana, et al.
Pubblicazione: (2026)

RoutIR: Fast Serving of Retrieval Pipelines for Retrieval-Augmented Generation
di: Yang, Eugene, et al.
Pubblicazione: (2026)