Buchumschlag

Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Zhihao, Huang, Liting, Wu, Guanghao, Nakov, Preslav, Ji, Heng, Naseem, Usman
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models
von: Ren, Kaixuan, et al.
Veröffentlicht: (2025)

From Generation to Detection: A Multimodal Multi-Task Dataset for Benchmarking Health Misinformation
von: Zhang, Zhihao, et al.
Veröffentlicht: (2025)

VISPA: Pluralistic Alignment via Automatic Value Selection and Activation
von: Zheng, Shenyan, et al.
Veröffentlicht: (2026)

OR-Bench: An Over-Refusal Benchmark for Large Language Models
von: Cui, Justin, et al.
Veröffentlicht: (2024)

SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal
von: Xie, Tinghao, et al.
Veröffentlicht: (2024)

EngTrace: A Symbolic Benchmark for Verifiable Process Supervision of Engineering Reasoning
von: Gull, Ayesha, et al.
Veröffentlicht: (2025)

DenoiseRank: Learning to Rank by Diffusion Models
von: Wang, Ying, et al.
Veröffentlicht: (2026)

From Chaos to Clarity: Claim Normalization to Empower Fact-Checking
von: Sundriyal, Megha, et al.
Veröffentlicht: (2023)

Adapting Fake News Detection to the Era of Large Language Models
von: Su, Jinyan, et al.
Veröffentlicht: (2023)

Measuring What Matters Beyond Text: Evaluating Multimodal Summaries by Quality, Alignment, and Diversity
von: Ali, Abid, et al.
Veröffentlicht: (2026)

FalseReject: A Resource for Improving Contextual Safety and Mitigating Over-Refusals in LLMs via Structured Reasoning
von: Zhang, Zhehao, et al.
Veröffentlicht: (2025)

PHM-Bench: A Domain-Specific Benchmarking Framework for Systematic Evaluation of Large Models in Prognostics and Health Management
von: Yang, Puyu, et al.
Veröffentlicht: (2025)

ESL-Bench: An Event-Driven Synthetic Longitudinal Benchmark for Health Agents
von: Li, Chao, et al.
Veröffentlicht: (2026)

EVOREFUSE: Evolutionary Prompt Optimization for Evaluation and Mitigation of LLM Over-Refusal to Pseudo-Malicious Instructions
von: Wu, Xiaorui, et al.
Veröffentlicht: (2025)

ORFuzz: Fuzzing the "Other Side" of LLM Safety -- Testing Over-Refusal
von: Zhang, Haonan, et al.
Veröffentlicht: (2025)

LifeAgentBench: A Multi-dimensional Benchmark and Agent for Personal Health Assistants in Digital Health
von: Tian, Ye, et al.
Veröffentlicht: (2026)

Multimodal Large Language Models to Support Real-World Fact-Checking
von: Geng, Jiahui, et al.
Veröffentlicht: (2024)

Between Underthinking and Overthinking: An Empirical Study of Reasoning Length and correctness in LLMs
von: Su, Jinyan, et al.
Veröffentlicht: (2025)

Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control
von: Su, Jinyan, et al.
Veröffentlicht: (2025)

Over-Refusal and Representation Subspaces: A Mechanistic Analysis of Task-Conditioned Refusal in Aligned LLMs
von: Maskey, Utsav, et al.
Veröffentlicht: (2026)

CRADLE Bench: A Clinician-Annotated Benchmark for Multi-Faceted Mental Health Crisis and Safety Risk Detection
von: Byun, Grace, et al.
Veröffentlicht: (2025)

When Safety Blocks Sense: Measuring Semantic Confusion in LLM Refusals
von: Anonto, Riad Ahmed, et al.
Veröffentlicht: (2025)

From Hard Refusals to Safe-Completions: Toward Output-Centric Safety Training
von: Yuan, Yuan, et al.
Veröffentlicht: (2025)

RefusalBench: Generative Evaluation of Selective Refusal in Grounded Language Models
von: Muhamed, Aashiq, et al.
Veröffentlicht: (2025)

RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts
von: Weidener, Lukas, et al.
Veröffentlicht: (2026)

VITAL: A New Dataset for Benchmarking Pluralistic Alignment in Healthcare
von: Shetty, Anudeex, et al.
Veröffentlicht: (2025)

Agentic Moderation: Multi-Agent Design for Safer Vision-Language Models
von: Ren, Juan, et al.
Veröffentlicht: (2025)

Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training
von: Yuan, Youliang, et al.
Veröffentlicht: (2024)

COMMUNITYNOTES: A Dataset for Exploring the Helpfulness of Fact-Checking Explanations
von: Xing, Rui, et al.
Veröffentlicht: (2025)

HALF: Harm-Aware LLM Fairness Evaluation Aligned with Deployment
von: Mekky, Ali, et al.
Veröffentlicht: (2025)

Detecting Propaganda Techniques in Code-Switched Social Media Text
von: Salman, Muhammad Umar, et al.
Veröffentlicht: (2023)

Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models
von: Rubashevskii, Aleksandr, et al.
Veröffentlicht: (2026)

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models
von: Thareja, Rushil, et al.
Veröffentlicht: (2025)

$\texttt{Droid}$: A Resource Suite for AI-Generated Code Detection
von: Orel, Daniil, et al.
Veröffentlicht: (2025)

Rethinking Evidence Hierarchies in Medical Language Benchmarks: A Critical Evaluation of HealthBench
von: Mutisya, Fred, et al.
Veröffentlicht: (2025)

From Refusal Tokens to Refusal Control: Discovering and Steering Category-Specific Refusal Directions
von: Alagharu, Rishab, et al.
Veröffentlicht: (2026)

When Refusals Fail: Unstable Safety Mechanisms in Long-Context LLM Agents
von: Hadeliya, Tsimur, et al.
Veröffentlicht: (2025)

SWE Context Bench: A Benchmark for Context Learning in Coding
von: Zhu, Jiayuan, et al.
Veröffentlicht: (2026)

Towards Visually Grounded Multimodal Summarization via Cross-Modal Transformer and Gated Attention
von: Ali, Abid, et al.
Veröffentlicht: (2026)

oMeBench: Towards Robust Benchmarking of LLMs in Organic Mechanism Elucidation and Reasoning
von: Xu, Ruiling, et al.
Veröffentlicht: (2025)