Buchumschlag

DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ren, Kaixuan, Nakov, Preslav, Naseem, Usman
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Over-Refusal and Representation Subspaces: A Mechanistic Analysis of Task-Conditioned Refusal in Aligned LLMs
von: Maskey, Utsav, et al.
Veröffentlicht: (2026)

Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context
von: Zhang, Zhihao, et al.
Veröffentlicht: (2026)

TurnBench-MS: A Benchmark for Evaluating Multi-Turn, Multi-Step Reasoning in Large Language Models
von: Zhang, Yiran, et al.
Veröffentlicht: (2025)

SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering
von: Maskey, Utsav, et al.
Veröffentlicht: (2025)

Seeing the Threat: Vulnerabilities in Vision-Language Models to Adversarial Attack
von: Ren, Juan, et al.
Veröffentlicht: (2025)

Should LLM Safety Be More Than Refusing Harmful Instructions?
von: Maskey, Utsav, et al.
Veröffentlicht: (2025)

OR-Bench: An Over-Refusal Benchmark for Large Language Models
von: Cui, Justin, et al.
Veröffentlicht: (2024)

Mechanistic Interpretability for Large Language Model Alignment: Progress, Challenges, and Future Directions
von: Naseem, Usman
Veröffentlicht: (2026)

Rethinking STS and NLI in Large Language Models
von: Wang, Yuxia, et al.
Veröffentlicht: (2023)

VISPA: Pluralistic Alignment via Automatic Value Selection and Activation
von: Zheng, Shenyan, et al.
Veröffentlicht: (2026)

From Generation to Detection: A Multimodal Multi-Task Dataset for Benchmarking Health Misinformation
von: Zhang, Zhihao, et al.
Veröffentlicht: (2025)

PersoBench: Benchmarking Personalized Response Generation in Large Language Models
von: Afzoon, Saleh, et al.
Veröffentlicht: (2024)

Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition
von: Alhindi, Tariq, et al.
Veröffentlicht: (2023)

SHIELD: Classifier-Guided Prompting for Robust and Safer LVLMs
von: Ren, Juan, et al.
Veröffentlicht: (2025)

Adapting Fake News Detection to the Era of Large Language Models
von: Su, Jinyan, et al.
Veröffentlicht: (2023)

UNCERTAINTY-LINE: Length-Invariant Estimation of Uncertainty for Large Language Models
von: Vashurin, Roman, et al.
Veröffentlicht: (2025)

Steering Over-refusals Towards Safety in Retrieval Augmented Generation
von: Maskey, Utsav, et al.
Veröffentlicht: (2025)

ConspirED: A Dataset for Cognitive Traits of Conspiracy Theories and Large Language Model Safety
von: Bates, Luke, et al.
Veröffentlicht: (2025)

Multimodal Large Language Models to Support Real-World Fact-Checking
von: Geng, Jiahui, et al.
Veröffentlicht: (2024)

How Does Prefix Matter in Reasoning Model Tuning?
von: Tomar, Raj Vardhan, et al.
Veröffentlicht: (2026)

UnsafeChain: Enhancing Reasoning Model Safety via Hard Cases
von: Tomar, Raj Vardhan, et al.
Veröffentlicht: (2025)

Exploring Language Model Generalization in Low-Resource Extractive QA
von: Sengupta, Saptarshi, et al.
Veröffentlicht: (2024)

RefusalBench: Generative Evaluation of Selective Refusal in Grounded Language Models
von: Muhamed, Aashiq, et al.
Veröffentlicht: (2025)

Benchmarking Large Language Models for Cryptanalysis and Side-Channel Vulnerabilities
von: Maskey, Utsav, et al.
Veröffentlicht: (2025)

CoDet-M4: Detecting Machine-Generated Code in Multi-Lingual, Multi-Generator and Multi-Domain Settings
von: Orel, Daniil, et al.
Veröffentlicht: (2025)

Shaping the Safety Boundaries: Understanding and Defending Against Jailbreaks in Large Language Models
von: Gao, Lang, et al.
Veröffentlicht: (2024)

Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models
von: Rubashevskii, Aleksandr, et al.
Veröffentlicht: (2026)

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models
von: Thareja, Rushil, et al.
Veröffentlicht: (2025)

AlignCultura: Towards Culturally Aligned Large Language Models?
von: Kashyap, Gautam Siddharth, et al.
Veröffentlicht: (2026)

From Native Memes to Global Moderation: Cross-Cultural Evaluation of Vision-Language Models for Hateful Meme Detection
von: Wang, Mo, et al.
Veröffentlicht: (2026)

From Chaos to Clarity: Claim Normalization to Empower Fact-Checking
von: Sundriyal, Megha, et al.
Veröffentlicht: (2023)

EXAMS-V: A Multi-Discipline Multilingual Multimodal Exam Benchmark for Evaluating Vision Language Models
von: Das, Rocktim Jyoti, et al.
Veröffentlicht: (2024)

Con Instruction: Universal Jailbreaking of Multimodal Large Language Models via Non-Textual Modalities
von: Geng, Jiahui, et al.
Veröffentlicht: (2025)

SomaliBench Eval: Measuring English-to-Somali Refusal Gaps in Open-Weight Language Models
von: Dahir, Khalid Yusuf
Veröffentlicht: (2026)

MuDRiC: Multi-Dialect Reasoning for Arabic Commonsense Validation
von: Elozeiri, Kareem, et al.
Veröffentlicht: (2025)

Missci: Reconstructing Fallacies in Misrepresented Science
von: Glockner, Max, et al.
Veröffentlicht: (2024)

Grounding Fallacies Misrepresenting Scientific Publications in Evidence
von: Glockner, Max, et al.
Veröffentlicht: (2024)

MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing
von: Agarwal, Siddhant, et al.
Veröffentlicht: (2024)

XGUARD: A Graded Benchmark for Evaluating Safety Failures of Large Language Models on Extremist Content
von: Abishethvarman, Vadivel, et al.
Veröffentlicht: (2025)

A Survey of Confidence Estimation and Calibration in Large Language Models
von: Geng, Jiahui, et al.
Veröffentlicht: (2023)