Buchumschlag

RepLiQA: A Question-Answering Dataset for Benchmarking LLMs on Unseen Reference Content

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Monteiro, Joao, Noel, Pierre-Andre, Marcotte, Etienne, Rajeswar, Sai, Zantedeschi, Valentina, Vazquez, David, Chapados, Nicolas, Pal, Christopher, Taslakian, Perouz
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference
von: Monteiro, João, et al.
Veröffentlicht: (2024)

TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series
von: Ashok, Arjun, et al.
Veröffentlicht: (2023)

InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation
von: Sahu, Gaurav, et al.
Veröffentlicht: (2024)

StarFlow: Generating Structured Workflow Outputs From Sketch Images
von: Bechard, Patrice, et al.
Veröffentlicht: (2025)

Hierarchical Retrieval at Scale: Bridging Transparency and Efficiency
von: Gupta, Shubham, et al.
Veröffentlicht: (2025)

Learning to Defer for Causal Discovery with Imperfect Experts
von: Clivio, Oscar, et al.
Veröffentlicht: (2025)

BiXSE: Improving Dense Retrieval via Probabilistic Graded Relevance Distillation
von: Tsirigotis, Christos, et al.
Veröffentlicht: (2025)

PairBench: Are Vision-Language Models Reliable at Comparing What They See?
von: Feizi, Aarash, et al.
Veröffentlicht: (2025)

Beyond Naïve Prompting: Strategies for Improved Context-aided Forecasting with LLMs
von: Ashok, Arjun, et al.
Veröffentlicht: (2025)

UI-Vision: A Desktop-centric GUI Benchmark for Visual Perception and Interaction
von: Nayak, Shravan, et al.
Veröffentlicht: (2025)

VCR: A Task for Pixel-Level Complex Reasoning in Vision Language Models via Restoring Occluded Text
von: Zhang, Tianyu, et al.
Veröffentlicht: (2024)

PolQA: Polish Question Answering Dataset
von: Rybak, Piotr, et al.
Veröffentlicht: (2022)

WebMMU: A Benchmark for Multimodal Multilingual Website Understanding and Code Generation
von: Awal, Rabiul, et al.
Veröffentlicht: (2025)

Context is Key: A Benchmark for Forecasting with Essential Textual Information
von: Williams, Andrew Robert, et al.
Veröffentlicht: (2024)

FoQA: A Faroese Question-Answering Dataset
von: Simonsen, Annika, et al.
Veröffentlicht: (2025)

SyllabusQA: A Course Logistics Question Answering Dataset
von: Fernandez, Nigel, et al.
Veröffentlicht: (2024)

GRS-QA -- Graph Reasoning-Structured Question Answering Dataset
von: Pahilajani, Anish, et al.
Veröffentlicht: (2024)

ArabicaQA: A Comprehensive Dataset for Arabic Question Answering
von: Abdallah, Abdelrahman, et al.
Veröffentlicht: (2024)

Grounding Computer Use Agents on Human Demonstrations
von: Feizi, Aarash, et al.
Veröffentlicht: (2025)

Jamendo-QA: A Large-Scale Music Question Answering Dataset
von: Koh, Junyoung, et al.
Veröffentlicht: (2025)

KET-QA: A Dataset for Knowledge Enhanced Table Question Answering
von: Hu, Mengkang, et al.
Veröffentlicht: (2024)

AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Document Understanding
von: Masry, Ahmed, et al.
Veröffentlicht: (2025)

Improving GUI Grounding with Explicit Position-to-Coordinate Mapping
von: Wang, Suyuchen, et al.
Veröffentlicht: (2025)

Overcoming the Modality Gap in Context-Aided Forecasting
von: Zheng, Vincent Zhihao, et al.
Veröffentlicht: (2026)

Rendering-Aware Reinforcement Learning for Vector Graphics Generation
von: Rodriguez, Juan A., et al.
Veröffentlicht: (2025)

VectorGym: A Multitask Benchmark for SVG Code Generation, Sketching, and Editing
von: Rodriguez, Juan, et al.
Veröffentlicht: (2026)

PeerQA: A Scientific Question Answering Dataset from Peer Reviews
von: Baumgärtner, Tim, et al.
Veröffentlicht: (2025)

CondAmbigQA: A Benchmark and Dataset for Conditional Ambiguous Question Answering
von: Li, Zongxi, et al.
Veröffentlicht: (2025)

VeriSciQA: An Auto-Verified Dataset for Scientific Visual Question Answering
von: Li, Yuyi, et al.
Veröffentlicht: (2025)

FinTextQA: A Dataset for Long-form Financial Question Answering
von: Chen, Jian, et al.
Veröffentlicht: (2024)

CUS-QA: Local-Knowledge-Oriented Open-Ended Question Answering Dataset
von: Libovický, Jindřich, et al.
Veröffentlicht: (2025)

JDocQA: Japanese Document Question Answering Dataset for Generative Language Models
von: Onami, Eri, et al.
Veröffentlicht: (2024)

Performance Control in Early Exiting to Deploy Large Models at the Same Cost of Smaller Ones
von: Mofakhami, Mehrnaz, et al.
Veröffentlicht: (2024)

VoQA: Visual-only Question Answering
von: An, Jianing, et al.
Veröffentlicht: (2025)

STRIDE-QA: Visual Question Answering Dataset for Spatiotemporal Reasoning in Urban Driving Scenes
von: Ishihara, Keishi, et al.
Veröffentlicht: (2025)

RoadscapesQA: A Multitask, Multimodal Dataset for Visual Question Answering on Indian Roads
von: Iyer, Vijayasri, et al.
Veröffentlicht: (2026)

ComplexTempQA:A 100m Dataset for Complex Temporal Question Answering
von: Gruber, Raphael, et al.
Veröffentlicht: (2024)

OpenLifelogQA: An Open-Ended Multi-Modal Lifelog Question-Answering Dataset
von: Tran, Quang-Linh, et al.
Veröffentlicht: (2025)

Beyond Factual QA: Mentorship-Oriented Question Answering over Long-Form Multilingual Content
von: Bhalerao, Parth, et al.
Veröffentlicht: (2026)

BR-TaxQA-R: A Dataset for Question Answering with References for Brazilian Personal Income Tax Law, including case law
von: Júnior, Juvenal Domingos, et al.
Veröffentlicht: (2025)