Buchumschlag

SastBench: A Benchmark for Testing Agentic SAST Triage

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Feiglin, Jake, Dar, Guy
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Cryptography and Security Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

WAInjectBench: Benchmarking Prompt Injection Detections for Web Agents
von: Liu, Yinuo, et al.
Veröffentlicht: (2025)

RAT-Bench: A Comprehensive Benchmark for Text Anonymization
von: Krčo, Nataša, et al.
Veröffentlicht: (2026)

A Survey on Agentic Security: Applications, Threats and Defenses
von: Shahriar, Asif, et al.
Veröffentlicht: (2025)

SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models
von: Li, Lijun, et al.
Veröffentlicht: (2024)

RedacBench: Can AI Erase Your Secrets?
von: Jeon, Hyunjun, et al.
Veröffentlicht: (2026)

Text2VLM: Adapting Text-Only Datasets to Evaluate Alignment Training in Visual Language Models
von: Downer, Gabriel, et al.
Veröffentlicht: (2025)

AgentSOC: A Multi-Layer Agentic AI Framework for Security Operations Automation
von: Roy, Joyjit, et al.
Veröffentlicht: (2026)

PoisonBench: Assessing Large Language Model Vulnerability to Data Poisoning
von: Fu, Tingchen, et al.
Veröffentlicht: (2024)

What Was Your Prompt? A Remote Keylogging Attack on AI Assistants
von: Weiss, Roy, et al.
Veröffentlicht: (2024)

ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation
von: Wu, Yiran, et al.
Veröffentlicht: (2025)

Swiss-Bench 003: Evaluating LLM Reliability and Adversarial Security for Swiss Regulatory Contexts
von: Uenal, Fatih
Veröffentlicht: (2026)

Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models
von: Belkhiter, Yannis, et al.
Veröffentlicht: (2026)

AgentAlign: Navigating Safety Alignment in the Shift from Informative to Agentic Large Language Models
von: Zhang, Jinchuan, et al.
Veröffentlicht: (2025)

BELLS: A Framework Towards Future Proof Benchmarks for the Evaluation of LLM Safeguards
von: Dorn, Diego, et al.
Veröffentlicht: (2024)

SecureVibeBench: Benchmarking Secure Vibe Coding of AI Agents via Reconstructing Vulnerability-Introducing Scenarios
von: Chen, Junkai, et al.
Veröffentlicht: (2025)

Bag of Tricks: Benchmarking of Jailbreak Attacks on LLMs
von: Xu, Zhao, et al.
Veröffentlicht: (2024)

Evading Toxicity Detection with ASCII-art: A Benchmark of Spatial Attacks on Moderation Systems
von: Berezin, Sergey, et al.
Veröffentlicht: (2024)

Agent Tools Orchestration Leaks More: Dataset, Benchmark, and Mitigation
von: Qiao, Yuxuan, et al.
Veröffentlicht: (2025)

SciSafeEval: A Comprehensive Benchmark for Safety Alignment of Large Language Models in Scientific Tasks
von: Li, Tianhao, et al.
Veröffentlicht: (2024)

Test-Time Immunization: A Universal Defense Framework Against Jailbreaks for (Multimodal) Large Language Models
von: Yu, Yongcan, et al.
Veröffentlicht: (2025)

JailBreakV: A Benchmark for Assessing the Robustness of MultiModal Large Language Models against Jailbreak Attacks
von: Luo, Weidi, et al.
Veröffentlicht: (2024)

Attestable Audits: Verifiable AI Safety Benchmarks Using Trusted Execution Environments
von: Schnabl, Christoph, et al.
Veröffentlicht: (2025)

InjecGuard: Benchmarking and Mitigating Over-defense in Prompt Injection Guardrail Models
von: Li, Hao, et al.
Veröffentlicht: (2024)

Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test
von: Zhu, Xiaoyuan, et al.
Veröffentlicht: (2025)

ChineseHarm-Bench: A Chinese Harmful Content Detection Benchmark
von: Liu, Kangwei, et al.
Veröffentlicht: (2025)

AutoPenBench: Benchmarking Generative Agents for Penetration Testing
von: Gioacchini, Luca, et al.
Veröffentlicht: (2024)

"Moralized" Multi-Step Jailbreak Prompts: Black-Box Testing of Guardrails in Large Language Models for Verbal Attacks
von: Wang, Libo
Veröffentlicht: (2024)

Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory
von: Mireshghallah, Niloofar, et al.
Veröffentlicht: (2023)

Tool Preferences in Agentic LLMs are Unreliable
von: Faghih, Kazem, et al.
Veröffentlicht: (2025)

Holistic Automated Red Teaming for Large Language Models through Top-Down Test Case Generation and Multi-turn Interaction
von: Zhang, Jinchuan, et al.
Veröffentlicht: (2024)

TaeBench: Improving Quality of Toxic Adversarial Examples
von: Zhu, Xuan, et al.
Veröffentlicht: (2024)

MCPSecBench: A Systematic Security Benchmark and Playground for Testing Model Context Protocols
von: Yang, Yixuan, et al.
Veröffentlicht: (2025)

PII-Bench: Evaluating Query-Aware Privacy Protection Systems
von: Shen, Hao, et al.
Veröffentlicht: (2025)

ContraFix: Agentic Vulnerability Repair via Differential Runtime Evidence and Skill Reuse
von: Liu, Simiao, et al.
Veröffentlicht: (2026)

BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems
von: Zhang, Andy K., et al.
Veröffentlicht: (2025)

Adversarial Intent is a Latent Variable: Stateful Trust Inference for Securing Multimodal Agentic RAG
von: Singh, Inderjeet, et al.
Veröffentlicht: (2026)

SoK: Agentic Retrieval-Augmented Generation (RAG): Taxonomy, Architectures, Evaluation, and Research Directions
von: Mishra, Saroj, et al.
Veröffentlicht: (2026)

AgentRedBench: Dynamic Redteaming and Integration-Aware Defense for LLM Agents over SaaS Integrations
von: Dingeto, Hiskias, et al.
Veröffentlicht: (2026)

Triaging Threats to Specialized Guardrails
von: Mo, Wenjie Jacky, et al.
Veröffentlicht: (2026)

RedSage: A Cybersecurity Generalist LLM
von: Suryanto, Naufal, et al.
Veröffentlicht: (2026)