Buchumschlag

MedInsightBench: Evaluating Medical Analytics Agents Through Multi-Step Insight Discovery in Multimodal Medical Data

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhu, Zhenghao, Cao, Chuxue, Han, Sirui, Song, Yuanfeng, Chen, Xing, Cao, Caleb Chen, Guo, Yike
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

InsightEval: An Expert-Curated Benchmark for Assessing Insight Discovery in LLM-Driven Data Agents
von: Zhu, Zhenghao, et al.
Veröffentlicht: (2025)

UniDataBench: Evaluating Data Analytics Agents Across Structured and Unstructured Data
von: Weng, Han, et al.
Veröffentlicht: (2025)

SafeLawBench: Towards Safe Alignment of Large Language Models
von: Cao, Chuxue, et al.
Veröffentlicht: (2025)

InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation
von: Sahu, Gaurav, et al.
Veröffentlicht: (2024)

Measuring Hong Kong Massive Multi-Task Language Understanding
von: Cao, Chuxue, et al.
Veröffentlicht: (2025)

LRAS: Advanced Legal Reasoning with Agentic Search
von: Zhou, Yujin, et al.
Veröffentlicht: (2026)

DataSage: Multi-agent Collaboration for Insight Discovery with External Knowledge Retrieval, Multi-role Debating, and Multi-path Reasoning
von: Liu, Xiaochuan, et al.
Veröffentlicht: (2025)

MedBench v4: A Robust and Scalable Benchmark for Evaluating Chinese Medical Language Models, Multimodal Models, and Intelligent Agents
von: Ding, Jinru, et al.
Veröffentlicht: (2025)

Doctorina MedBench: End-to-End Evaluation of Agent-Based Medical AI
von: Kozlova, Anna, et al.
Veröffentlicht: (2026)

MedOpenClaw and MedFlowBench: Auditing Medical Agents in Full-Study Workflows
von: Shen, Weixiang, et al.
Veröffentlicht: (2026)

MedSafetyBench: Evaluating and Improving the Medical Safety of Large Language Models
von: Han, Tessa, et al.
Veröffentlicht: (2024)

Med-StepBench: A Hierarchical Reasoning Framework for Evaluating Hallucinations in Medical Vision-Language Models
von: Nguyen, Minh Khoi, et al.
Veröffentlicht: (2026)

MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning
von: Tang, Xiangru, et al.
Veröffentlicht: (2025)

DataGovBench: Benchmarking LLM Agents for Real-World Data Governance Workflows
von: Liu, Zhou, et al.
Veröffentlicht: (2025)

MedCalc-Bench: Evaluating Large Language Models for Medical Calculations
von: Khandekar, Nikhil, et al.
Veröffentlicht: (2024)

MedAgentBench: A Realistic Virtual EHR Environment to Benchmark Medical LLM Agents
von: Jiang, Yixing, et al.
Veröffentlicht: (2025)

TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models
von: Zhang, Junyi, et al.
Veröffentlicht: (2025)

Pushing the Boundaries of Natural Reasoning: Interleaved Bonus from Formal-Logic Verification
von: Cao, Chuxue, et al.
Veröffentlicht: (2026)

Towards Advanced Mathematical Reasoning for LLMs via First-Order Logic Theorem Proving
von: Cao, Chuxue, et al.
Veröffentlicht: (2025)

Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models
von: Ding, Meidan, et al.
Veröffentlicht: (2025)

MedQ-Bench: Evaluating and Exploring Medical Image Quality Assessment Abilities in MLLMs
von: Liu, Jiyao, et al.
Veröffentlicht: (2025)

AutoMedBench: Towards Medical AutoResearch with Agentic AI Models
von: Liu, Junqi, et al.
Veröffentlicht: (2026)

AgentAda: Skill-Adaptive Data Analytics for Tailored Insight Discovery
von: Abaskohi, Amirhossein, et al.
Veröffentlicht: (2025)

Unlocking Data Value in Finance: A Study on Distillation and Difficulty-Aware Training
von: Cao, Chuxue, et al.
Veröffentlicht: (2026)

LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation
von: Yan, Zhiling, et al.
Veröffentlicht: (2026)

MedSG-Bench: A Benchmark for Medical Image Sequences Grounding
von: Yue, Jingkun, et al.
Veröffentlicht: (2025)

FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights
von: Wang, Zhen, et al.
Veröffentlicht: (2026)

MedSAM3: Delving into Segment Anything with Medical Concepts
von: Liu, Anglin, et al.
Veröffentlicht: (2025)

MedAutoCorrect: Image-Conditioned Autocorrection in Medical Reporting
von: Asiimwe, Arnold Caleb, et al.
Veröffentlicht: (2024)

MedReason: Eliciting Factual Medical Reasoning Steps in LLMs via Knowledge Graphs
von: Wu, Juncheng, et al.
Veröffentlicht: (2025)

OctoMed: Data Recipes for State-of-the-Art Multimodal Medical Reasoning
von: Ossowski, Timothy, et al.
Veröffentlicht: (2025)

MedMASLab: A Unified Orchestration Framework for Benchmarking Multimodal Medical Multi-Agent Systems
von: Qian, Yunhang, et al.
Veröffentlicht: (2026)

MedImageInsight: An Open-Source Embedding Model for General Domain Medical Imaging
von: Codella, Noel C. F., et al.
Veröffentlicht: (2024)

MedMKEB: A Comprehensive Knowledge Editing Benchmark for Medical Multimodal Large Language Models
von: Xu, Dexuan, et al.
Veröffentlicht: (2025)

An Electrocardiogram Multi-task Benchmark with Comprehensive Evaluations and Insightful Findings
von: Xu, Yuhao, et al.
Veröffentlicht: (2025)

FL-MedSegBench: A Comprehensive Benchmark for Federated Learning on Medical Image Segmentation
von: Zhu, Meilu, et al.
Veröffentlicht: (2026)

TeamMedAgents: Pareto-Efficient Multi-Agent Medical Reasoning Through Teamwork Theory
von: Mishra, Pranav Pushkar, et al.
Veröffentlicht: (2025)

Med-VRAgent: A Framework for Medical Visual Reasoning-Enhanced Agents
von: Guo, Guangfu, et al.
Veröffentlicht: (2025)

MedProbeBench: Systematic Benchmarking at Deep Evidence Integration for Expert-level Medical Guideline
von: Liu, Jiyao, et al.
Veröffentlicht: (2026)

MedConcept: Unsupervised Concept Discovery for Interpretability in Medical VLMs
von: Haque, Md Rakibul, et al.
Veröffentlicht: (2026)