Practical RAG Evaluation: A Rarity-Aware Set-Based Metric and Cost-Latency-Quality Trade-offs
Fuente:
arXiv
Enregistré dans:
| Auteur principal: | Dallaire, Etienne |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Evaluating Cost-Accuracy Trade-offs in Multimodal Search Relevance Judgements
par: Terragni, Silvia, et autres
Publié: (2024)
par: Terragni, Silvia, et autres
Publié: (2024)
KET-RAG: A Cost-Efficient Multi-Granular Indexing Framework for Graph-RAG
par: Huang, Yiqian, et autres
Publié: (2025)
par: Huang, Yiqian, et autres
Publié: (2025)
Ensembles at Any Cost? Accuracy-Energy Trade-offs in Recommender Systems
par: Nitschke, Jannik, et autres
Publié: (2026)
par: Nitschke, Jannik, et autres
Publié: (2026)
ReMindRAG: Low-Cost LLM-Guided Knowledge Graph Traversal for Efficient RAG
par: Hu, Yikuan, et autres
Publié: (2025)
par: Hu, Yikuan, et autres
Publié: (2025)
Adaptive Quality-Diversity Trade-offs for Large-Scale Batch Recommendation
par: Réda, Clémence, et autres
Publié: (2026)
par: Réda, Clémence, et autres
Publié: (2026)
Negation is Not Semantic: Diagnosing Dense Retrieval Failure Modes for Trade-offs in Contradiction-Aware Biomedical QA
par: Sahoo, Soumya Ranjan, et autres
Publié: (2026)
par: Sahoo, Soumya Ranjan, et autres
Publié: (2026)
RAG vs. GraphRAG: A Systematic Evaluation and Key Insights
par: Han, Haoyu, et autres
Publié: (2025)
par: Han, Haoyu, et autres
Publié: (2025)
Topological Metric for Unsupervised Embedding Quality Evaluation
par: Shestov, Aleksei, et autres
Publié: (2025)
par: Shestov, Aleksei, et autres
Publié: (2025)
The Viability of Crowdsourcing for RAG Evaluation
par: Gienapp, Lukas, et autres
Publié: (2025)
par: Gienapp, Lukas, et autres
Publié: (2025)
On Efficiency-Effectiveness Trade-off of Diffusion-based Recommenders
par: Mao, Wenyu, et autres
Publié: (2025)
par: Mao, Wenyu, et autres
Publié: (2025)
A2RAG: Adaptive Agentic Graph Retrieval for Cost-Aware and Reliable Reasoning
par: Liu, Jiate, et autres
Publié: (2026)
par: Liu, Jiate, et autres
Publié: (2026)
More Clustering Quality Metrics for ABCDE
par: van Staden, Stephan
Publié: (2024)
par: van Staden, Stephan
Publié: (2024)
The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit
par: Zhou, Huixue, et autres
Publié: (2025)
par: Zhou, Huixue, et autres
Publié: (2025)
Resolving the Robustness-Precision Trade-off in Financial RAG through Hybrid Document-Routed Retrieval
par: Cheng, Zhiyuan, et autres
Publié: (2026)
par: Cheng, Zhiyuan, et autres
Publié: (2026)
On the Evaluation Metric for Hashing
par: Jiang, Qing-Yuan, et autres
Publié: (2019)
par: Jiang, Qing-Yuan, et autres
Publié: (2019)
A Systematic Study of Biomedical Retrieval Pipeline Trade-offs in Performance and Efficiency
par: Stepanyan, Hayk, et autres
Publié: (2026)
par: Stepanyan, Hayk, et autres
Publié: (2026)
Rank4Gen: RAG-Preference-Aligned Document Set Selection and Ranking
par: Fan, Yongqi, et autres
Publié: (2026)
par: Fan, Yongqi, et autres
Publié: (2026)
METIS: Fast Quality-Aware RAG Systems with Configuration Adaptation
par: Ray, Siddhant, et autres
Publié: (2024)
par: Ray, Siddhant, et autres
Publié: (2024)
Pointwise Metrics for Clustering Evaluation
par: van Staden, Stephan
Publié: (2024)
par: van Staden, Stephan
Publié: (2024)
Evaluating Hybrid Retrieval Augmented Generation using Dynamic Test Sets: LiveRAG Challenge
par: Fensore, Chase, et autres
Publié: (2025)
par: Fensore, Chase, et autres
Publié: (2025)
Doctor-RAG: Failure-Aware Repair for Agentic Retrieval-Augmented Generation
par: Jiao, Shuguang, et autres
Publié: (2026)
par: Jiao, Shuguang, et autres
Publié: (2026)
Understanding Accuracy-Fairness Trade-offs in Re-ranking through Elasticity in Economics
par: Xu, Chen, et autres
Publié: (2025)
par: Xu, Chen, et autres
Publié: (2025)
Constructing and Evaluating Declarative RAG Pipelines in PyTerrier
par: Macdonald, Craig, et autres
Publié: (2025)
par: Macdonald, Craig, et autres
Publié: (2025)
Sustainability Evaluation Metrics for Recommender Systems
par: Felfernig, Alexander, et autres
Publié: (2025)
par: Felfernig, Alexander, et autres
Publié: (2025)
SSE: A Metric for Evaluating Search System Explainability
par: Chen, Catherine, et autres
Publié: (2023)
par: Chen, Catherine, et autres
Publié: (2023)
Heterogeneous Multi-treatment Uplift Modeling for Trade-off Optimization in Short-Video Recommendation
par: Zhai, Chenhao, et autres
Publié: (2025)
par: Zhai, Chenhao, et autres
Publié: (2025)
Controlled Retrieval-augmented Context Evaluation for Long-form RAG
par: Ju, Jia-Huei, et autres
Publié: (2025)
par: Ju, Jia-Huei, et autres
Publié: (2025)
Trust or Abstain? A Self-Aware RAG Approach
par: Zhu, Xi, et autres
Publié: (2026)
par: Zhu, Xi, et autres
Publié: (2026)
Evaluating Multi-Hop Reasoning in RAG Systems: A Comparison of LLM-Based Retriever Evaluation Strategies
par: Brehme, Lorenz, et autres
Publié: (2026)
par: Brehme, Lorenz, et autres
Publié: (2026)
LiteSemRAG: Lightweight LLM-Free Semantic-Aware Graph Retrieval for Robust RAG
par: Yue, Xiao, et autres
Publié: (2026)
par: Yue, Xiao, et autres
Publié: (2026)
RankArena: A Unified Platform for Evaluating Retrieval, Reranking and RAG with Human and LLM Feedback
par: Abdallah, Abdelrahman, et autres
Publié: (2025)
par: Abdallah, Abdelrahman, et autres
Publié: (2025)
LURE-RAG: Lightweight Utility-driven Reranking for Efficient RAG
par: Chandra, Manish, et autres
Publié: (2026)
par: Chandra, Manish, et autres
Publié: (2026)
Know Your RAG: Dataset Taxonomy and Generation Strategies for Evaluating RAG Systems
par: de Lima, Rafael Teixeira, et autres
Publié: (2024)
par: de Lima, Rafael Teixeira, et autres
Publié: (2024)
The Hidden Cost of Defaults in Recommender System Evaluation
par: Berling, Hannah, et autres
Publié: (2025)
par: Berling, Hannah, et autres
Publié: (2025)
CARROT: A Learned Cost-Constrained Retrieval Optimization System for RAG
par: Wang, Ziting, et autres
Publié: (2024)
par: Wang, Ziting, et autres
Publié: (2024)
Clue-RAG: Towards Accurate and Cost-Efficient Graph-based RAG via Multi-Partite Graph and Query-Driven Iterative Retrieval
par: Su, Yaodong, et autres
Publié: (2025)
par: Su, Yaodong, et autres
Publié: (2025)
TC-RAG:Turing-Complete RAG's Case study on Medical LLM Systems
par: Jiang, Xinke, et autres
Publié: (2024)
par: Jiang, Xinke, et autres
Publié: (2024)
Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks
par: Su, Jinyan, et autres
Publié: (2024)
par: Su, Jinyan, et autres
Publié: (2024)
HaS: Accelerating RAG through Homology-Aware Speculative Retrieval
par: Peng, Peng, et autres
Publié: (2026)
par: Peng, Peng, et autres
Publié: (2026)
Cost-Effective, Low Latency Vector Search with Azure Cosmos DB
par: Upreti, Nitish, et autres
Publié: (2025)
par: Upreti, Nitish, et autres
Publié: (2025)
Documents similaires
-
Evaluating Cost-Accuracy Trade-offs in Multimodal Search Relevance Judgements
par: Terragni, Silvia, et autres
Publié: (2024) -
KET-RAG: A Cost-Efficient Multi-Granular Indexing Framework for Graph-RAG
par: Huang, Yiqian, et autres
Publié: (2025) -
Ensembles at Any Cost? Accuracy-Energy Trade-offs in Recommender Systems
par: Nitschke, Jannik, et autres
Publié: (2026) -
ReMindRAG: Low-Cost LLM-Guided Knowledge Graph Traversal for Efficient RAG
par: Hu, Yikuan, et autres
Publié: (2025) -
Adaptive Quality-Diversity Trade-offs for Large-Scale Batch Recommendation
par: Réda, Clémence, et autres
Publié: (2026)