Correctness Coverage Evaluation for Medical Multiple-Choice Question Answering Based on the Enhanced Conformal Prediction Framework
Fuente:
arXiv
Salvato in:
| Autori principali: | Ke, Yusong, Lin, Hongru, Ruan, Yuting, Tang, Junya, Li, Li |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Conformal Sets in Multiple-Choice Question Answering under Black-Box Settings with Provable Coverage Guarantees
di: Yang, Guang, et al.
Pubblicazione: (2025)
di: Yang, Guang, et al.
Pubblicazione: (2025)
Conformal P-Value in Multiple-Choice Question Answering Tasks with Provable Risk Control
di: Ye, Yuanchang
Pubblicazione: (2025)
di: Ye, Yuanchang
Pubblicazione: (2025)
Differentiating Choices via Commonality for Multiple-Choice Question Answering
di: Deng, Wenqing, et al.
Pubblicazione: (2024)
di: Deng, Wenqing, et al.
Pubblicazione: (2024)
Biomedical Entity Linking as Multiple Choice Question Answering
di: Lin, Zhenxi, et al.
Pubblicazione: (2024)
di: Lin, Zhenxi, et al.
Pubblicazione: (2024)
More Bias, Less Bias: BiasPrompting for Enhanced Multiple-Choice Question Answering
di: Vu, Duc Anh, et al.
Pubblicazione: (2025)
di: Vu, Duc Anh, et al.
Pubblicazione: (2025)
Improving LLM First-Token Predictions in Multiple-Choice Question Answering via Output Prefilling
di: Cappelletti, Silvia, et al.
Pubblicazione: (2025)
di: Cappelletti, Silvia, et al.
Pubblicazione: (2025)
Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering
di: Molfese, Francesco Maria, et al.
Pubblicazione: (2025)
di: Molfese, Francesco Maria, et al.
Pubblicazione: (2025)
LLM Distillation for Efficient Few-Shot Multiple Choice Question Answering
di: Sutanto, Patrick, et al.
Pubblicazione: (2024)
di: Sutanto, Patrick, et al.
Pubblicazione: (2024)
TRAQ: Trustworthy Retrieval Augmented Question Answering via Conformal Prediction
di: Li, Shuo, et al.
Pubblicazione: (2023)
di: Li, Shuo, et al.
Pubblicazione: (2023)
Applying Relation Extraction and Graph Matching to Answering Multiple Choice Questions
di: Shimoda, Naoki, et al.
Pubblicazione: (2025)
di: Shimoda, Naoki, et al.
Pubblicazione: (2025)
Mind the Gap: A Closer Look at Tokenization for Multiple-Choice Question Answering with LLMs
di: Sanz-Guerrero, Mario, et al.
Pubblicazione: (2025)
di: Sanz-Guerrero, Mario, et al.
Pubblicazione: (2025)
Hierarchical Vision-Language Reasoning for Multimodal Multiple-Choice Question Answering
di: Zhou, Ao, et al.
Pubblicazione: (2025)
di: Zhou, Ao, et al.
Pubblicazione: (2025)
Multiple-Choice Questions are Efficient and Robust LLM Evaluators
di: Zhang, Ziyin, et al.
Pubblicazione: (2024)
di: Zhang, Ziyin, et al.
Pubblicazione: (2024)
Trustworthy Medical Question Answering: An Evaluation-Centric Survey
di: Wang, Yinuo, et al.
Pubblicazione: (2025)
di: Wang, Yinuo, et al.
Pubblicazione: (2025)
Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions
di: Park, Yoonah, et al.
Pubblicazione: (2025)
di: Park, Yoonah, et al.
Pubblicazione: (2025)
Enhancing Clinical Multiple-Choice Questions Benchmarks with Knowledge Graph Guided Distractor Generation
di: Yang, Running, et al.
Pubblicazione: (2025)
di: Yang, Running, et al.
Pubblicazione: (2025)
Evaluating Small Open LLMs for Medical Question Answering: A Practical Framework
di: Buskila, Avi-ad Avraam
Pubblicazione: (2026)
di: Buskila, Avi-ad Avraam
Pubblicazione: (2026)
To Reason or Not to: Selective Chain-of-Thought in Medical Question Answering
di: Zhan, Zaifu, et al.
Pubblicazione: (2026)
di: Zhan, Zaifu, et al.
Pubblicazione: (2026)
Addressing Blind Guessing: Calibration of Selection Bias in Multiple-Choice Question Answering by Video Language Models
di: Loginova, Olga, et al.
Pubblicazione: (2024)
di: Loginova, Olga, et al.
Pubblicazione: (2024)
When Models Decide and When They Bind: A Two-Stage Computation for Multiple-Choice Question-Answering
di: Wong, Hugh Mee, et al.
Pubblicazione: (2026)
di: Wong, Hugh Mee, et al.
Pubblicazione: (2026)
A Study on Large Language Models' Limitations in Multiple-Choice Question Answering
di: Khatun, Aisha, et al.
Pubblicazione: (2024)
di: Khatun, Aisha, et al.
Pubblicazione: (2024)
Evaluating and Calibrating LLM Confidence on Questions with Multiple Correct Answers
di: Wang, Yuhan, et al.
Pubblicazione: (2026)
di: Wang, Yuhan, et al.
Pubblicazione: (2026)
MKG-Rank: Enhancing Large Language Models with Knowledge Graph for Multilingual Medical Question Answering
di: Li, Feiyang, et al.
Pubblicazione: (2025)
di: Li, Feiyang, et al.
Pubblicazione: (2025)
Collaboration among Multiple Large Language Models for Medical Question Answering
di: Shang, Kexin, et al.
Pubblicazione: (2025)
di: Shang, Kexin, et al.
Pubblicazione: (2025)
MedExQA: Medical Question Answering Benchmark with Multiple Explanations
di: Kim, Yunsoo, et al.
Pubblicazione: (2024)
di: Kim, Yunsoo, et al.
Pubblicazione: (2024)
Compound-QA: A Benchmark for Evaluating LLMs on Compound Questions
di: Hou, Yutao, et al.
Pubblicazione: (2024)
di: Hou, Yutao, et al.
Pubblicazione: (2024)
MCQG-SRefine: Multiple Choice Question Generation and Evaluation with Iterative Self-Critique, Correction, and Comparison Feedback
di: Yao, Zonghai, et al.
Pubblicazione: (2024)
di: Yao, Zonghai, et al.
Pubblicazione: (2024)
Bias Evaluation and Mitigation in Retrieval-Augmented Medical Question-Answering Systems
di: Ji, Yuelyu, et al.
Pubblicazione: (2025)
di: Ji, Yuelyu, et al.
Pubblicazione: (2025)
Can Large Language Models Self-Correct in Medical Question Answering? An Exploratory Study
di: Zhan, Zaifu, et al.
Pubblicazione: (2026)
di: Zhan, Zaifu, et al.
Pubblicazione: (2026)
Leveraging Inter-Chunk Interactions for Enhanced Retrieval in Large Language Model-Based Question Answering
di: Guo, Tiezheng, et al.
Pubblicazione: (2024)
di: Guo, Tiezheng, et al.
Pubblicazione: (2024)
MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering
di: Shi, Yucheng, et al.
Pubblicazione: (2023)
di: Shi, Yucheng, et al.
Pubblicazione: (2023)
Generating Plausible Distractors for Multiple-Choice Questions via Student Choice Prediction
di: Lee, Yooseop, et al.
Pubblicazione: (2025)
di: Lee, Yooseop, et al.
Pubblicazione: (2025)
The Role of the Availability Heuristic in Multiple-Choice Answering Behaviour
di: Zotos, Leonidas, et al.
Pubblicazione: (2026)
di: Zotos, Leonidas, et al.
Pubblicazione: (2026)
Pattern Recognition or Medical Knowledge? The Problem with Multiple-Choice Questions in Medicine
di: Griot, Maxime, et al.
Pubblicazione: (2024)
di: Griot, Maxime, et al.
Pubblicazione: (2024)
Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering
di: Adlakha, Vaibhav, et al.
Pubblicazione: (2023)
di: Adlakha, Vaibhav, et al.
Pubblicazione: (2023)
(WhyPHI) Fine-Tuning PHI-3 for Multiple-Choice Question Answering: Methodology, Results, and Challenges
di: Abdellatif, Mohamed Hisham
Pubblicazione: (2025)
di: Abdellatif, Mohamed Hisham
Pubblicazione: (2025)
Enhancing Distractor Generation for Multiple-Choice Questions with Retrieval Augmented Pretraining and Knowledge Graph Integration
di: Yu, Han-Cheng, et al.
Pubblicazione: (2024)
di: Yu, Han-Cheng, et al.
Pubblicazione: (2024)
It is Too Many Options: Pitfalls of Multiple-Choice Questions in Generative AI and Medical Education
di: Singh, Shrutika, et al.
Pubblicazione: (2025)
di: Singh, Shrutika, et al.
Pubblicazione: (2025)
Domain Fine-Tuning vs. Retrieval-Augmented Generation for Medical Multiple-Choice Question Answering: A Controlled Comparison at the 4B-Parameter Scale
di: Buskila, Avi-ad Avraam
Pubblicazione: (2026)
di: Buskila, Avi-ad Avraam
Pubblicazione: (2026)
IMB: An Italian Medical Benchmark for Question Answering
di: Romano, Antonio, et al.
Pubblicazione: (2025)
di: Romano, Antonio, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Conformal Sets in Multiple-Choice Question Answering under Black-Box Settings with Provable Coverage Guarantees
di: Yang, Guang, et al.
Pubblicazione: (2025) -
Conformal P-Value in Multiple-Choice Question Answering Tasks with Provable Risk Control
di: Ye, Yuanchang
Pubblicazione: (2025) -
Differentiating Choices via Commonality for Multiple-Choice Question Answering
di: Deng, Wenqing, et al.
Pubblicazione: (2024) -
Biomedical Entity Linking as Multiple Choice Question Answering
di: Lin, Zhenxi, et al.
Pubblicazione: (2024) -
More Bias, Less Bias: BiasPrompting for Enhanced Multiple-Choice Question Answering
di: Vu, Duc Anh, et al.
Pubblicazione: (2025)