Buchumschlag

Expect the Unexpected: FailSafe Long Context QA for Finance

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kamble, Kiran, Russak, Melisa, Mozolevskyi, Dmytro, Ali, Muayad, Russak, Mateusz, AlShikh, Waseem
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Writing in the Margins: Better Inference Pattern for Long Context Retrieval
von: Russak, Melisa, et al.
Veröffentlicht: (2024)

Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning
von: Bensal, Shelly, et al.
Veröffentlicht: (2025)

Towards Outcome-Oriented, Task-Agnostic Evaluation of AI Agents
von: AlShikh, Waseem, et al.
Veröffentlicht: (2025)

Comparative Analysis of Retrieval Systems in the Real World
von: Mozolevskyi, Dmytro, et al.
Veröffentlicht: (2024)

Accurate Failure Prediction in Agents Does Not Imply Effective Failure Prevention
von: Vasudev, Rakshith, et al.
Veröffentlicht: (2026)

OmniACT: A Dataset and Benchmark for Enabling Multimodal Generalist Autonomous Agents for Desktop and Web
von: Kapoor, Raghav, et al.
Veröffentlicht: (2024)

FailSafe: High-performance Resilient Serving
von: Xu, Ziyi, et al.
Veröffentlicht: (2025)

Exploring mental models of SEN among teachers of English for academic purposes: Themes and entanglements
von: Susie Russak, et al.
Veröffentlicht: (2026)

Expect the Unexpected? Testing the Surprisal of Salient Entities
von: Lin, Jessica, et al.
Veröffentlicht: (2026)

DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels
von: Xu, Zhe, et al.
Veröffentlicht: (2024)

When Refusals Fail: Unstable Safety Mechanisms in Long-Context LLM Agents
von: Hadeliya, Tsimur, et al.
Veröffentlicht: (2025)

FailSafe: Reasoning and Recovery from Failures in Vision-Language-Action Models
von: Lin, Zijun, et al.
Veröffentlicht: (2025)

Understanding AI Evaluation Patterns: How Different GPT Models Assess Vision-Language Descriptions
von: Abdoli, Sajjad, et al.
Veröffentlicht: (2025)

RepoQA: Evaluating Long Context Code Understanding
von: Liu, Jiawei, et al.
Veröffentlicht: (2024)

NovelHopQA: Diagnosing Multi-Hop Reasoning Failures in Long Narrative Contexts
von: Gupta, Abhay, et al.
Veröffentlicht: (2025)

DocFinQA: A Long-Context Financial Reasoning Dataset
von: Reddy, Varshini, et al.
Veröffentlicht: (2024)

Expecting the Unexpected: Exceptions in Grammar
Veröffentlicht: (2019)

Unchecked and Overlooked: Addressing the Checkbox Blind Spot in Large Language Models with CheckboxQA
von: Turski, Michał, et al.
Veröffentlicht: (2025)

Efficient Context Selection for Long-Context QA: No Tuning, No Iteration, Just Adaptive-$k$
von: Taguchi, Chihiro, et al.
Veröffentlicht: (2025)

DragonVerseQA: Open-Domain Long-Form Context-Aware Question-Answering
von: Lahiri, Aritra Kumar, et al.
Veröffentlicht: (2024)

Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA
von: Wang, Minzheng, et al.
Veröffentlicht: (2024)

Lost in the Middle, and In-Between: Enhancing Language Models' Ability to Reason Over Long Contexts in Multi-Hop QA
von: Baker, George Arthur, et al.
Veröffentlicht: (2024)

Syn-QA2: Evaluating False Assumptions in Long-tail Questions with Synthetic QA Datasets
von: Daswani, Ashwin, et al.
Veröffentlicht: (2024)

LiteraryQA: Towards Effective Evaluation of Long-document Narrative QA
von: Bonomo, Tommaso, et al.
Veröffentlicht: (2025)

Rolling the DICE on Idiomaticity: How LLMs Fail to Grasp Context
von: Mi, Maggie, et al.
Veröffentlicht: (2024)

KG-MuLQA: A Framework for KG-based Multi-Level QA Extraction and Long-Context LLM Evaluation
von: Tatarinov, Nikita, et al.
Veröffentlicht: (2025)

AUDITA: A New Dataset to Audit Humans vs. AI Skill at Audio QA
von: Kabir, Tasnim, et al.
Veröffentlicht: (2026)

Characterizing LLM Abstention Behavior in Science QA with Context Perturbations
von: Wen, Bingbing, et al.
Veröffentlicht: (2024)

FinanceQA: A Benchmark for Evaluating Financial Analysis Capabilities of Large Language Models
von: Mateega, Spencer, et al.
Veröffentlicht: (2025)

The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities
von: Bigoulaeva, Irina, et al.
Veröffentlicht: (2025)

Standard Benchmarks Fail -- Auditing LLM Agents in Finance Must Prioritize Risk
von: Chen, Zichen, et al.
Veröffentlicht: (2025)

LFQA-E: Carefully Benchmarking Long-form QA Evaluation
von: Fan, Yuchen, et al.
Veröffentlicht: (2024)

LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA
von: Zhang, Jiajie, et al.
Veröffentlicht: (2024)

ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities
von: Xu, Peng, et al.
Veröffentlicht: (2024)

Investigating LLM Capabilities on Long Context Comprehension for Medical Question Answering
von: AlMannaa, Feras, et al.
Veröffentlicht: (2025)

AraHealthQA 2025: The First Shared Task on Arabic Health Question Answering
von: Alhuzali, Hassan, et al.
Veröffentlicht: (2025)

Masking in Multi-hop QA: An Analysis of How Language Models Perform with Context Permutation
von: Huang, Wenyu, et al.
Veröffentlicht: (2025)

Enhancing Reliability across Short and Long-Form QA via Reinforcement Learning
von: Wang, Yudong, et al.
Veröffentlicht: (2025)

DocTabQA: Answering Questions from Long Documents Using Tables
von: Wang, Haochen, et al.
Veröffentlicht: (2024)

Context-Masked Meta-Prompting for Privacy-Preserving LLM Adaptation in Finance
von: Hiraou, Sayash Raaj
Veröffentlicht: (2024)