NESSiE: The Necessary Safety Benchmark -- Identifying Errors that should not Exist
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Bertram, Johannes, Geiping, Jonas |
|---|---|
| Format: | Preprint |
| Publié: |
2026
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
How to Secure Existing C and C++ Software without Memory Safety
par: Erlingsson, Úlfar
Publié: (2025)
par: Erlingsson, Úlfar
Publié: (2025)
SABER: Benchmarking Operational Safety of LLM Coding Agents in Stateful Project Workspaces
par: Hu, Qi, et autres
Publié: (2026)
par: Hu, Qi, et autres
Publié: (2026)
SafeToolBench: Pioneering a Prospective Benchmark to Evaluating Tool Utilization Safety in LLMs
par: Xia, Hongfei, et autres
Publié: (2025)
par: Xia, Hongfei, et autres
Publié: (2025)
Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks
par: Chu, Junjie, et autres
Publié: (2026)
par: Chu, Junjie, et autres
Publié: (2026)
Jailbreak Distillation: Renewable Safety Benchmarking
par: Zhang, Jingyu, et autres
Publié: (2025)
par: Zhang, Jingyu, et autres
Publié: (2025)
Identifying Adversary Tactics and Techniques in Malware Binaries with an LLM Agent
par: Xuan, Zhou, et autres
Publié: (2026)
par: Xuan, Zhou, et autres
Publié: (2026)
Managing Security Evidence in Safety-Critical Organizations
par: Mohamad, Mazen, et autres
Publié: (2024)
par: Mohamad, Mazen, et autres
Publié: (2024)
DITING: A Static Analyzer for Identifying Bad Partitioning Issues in TEE Applications
par: Ma, Chengyan, et autres
Publié: (2025)
par: Ma, Chengyan, et autres
Publié: (2025)
Automated TEE Adaptation with LLMs: Identifying, Transforming, and Porting Sensitive Functions in Programs
par: Han, Ruidong, et autres
Publié: (2025)
par: Han, Ruidong, et autres
Publié: (2025)
Uncover the Premeditated Attacks: Detecting Exploitable Reentrancy Vulnerabilities by Identifying Attacker Contracts
par: Yang, Shuo, et autres
Publié: (2024)
par: Yang, Shuo, et autres
Publié: (2024)
AutoFirm: Automatically Identifying Reused Libraries inside IoT Firmware at Large-Scale
par: Chen, YongLe, et autres
Publié: (2024)
par: Chen, YongLe, et autres
Publié: (2024)
Understanding, Implementing, and Supporting Security Assurance Cases in Safety-Critical Domains
par: Mohamad, Mazen
Publié: (2025)
par: Mohamad, Mazen
Publié: (2025)
Towards a Benchmark for Dependency Decision-Making
par: Singla, Tanmay, et autres
Publié: (2026)
par: Singla, Tanmay, et autres
Publié: (2026)
Safety Interventions against Adversarial Patches in an Open-Source Driver Assistance System
par: Chen, Cheng, et autres
Publié: (2025)
par: Chen, Cheng, et autres
Publié: (2025)
Match & Mend: Minimally Invasive Local Reassembly for Patching N-day Vulnerabilities in ARM Binaries
par: Jänich, Sebastian, et autres
Publié: (2025)
par: Jänich, Sebastian, et autres
Publié: (2025)
Evaluating Nova 2.0 Lite model under Amazon's Frontier Model Safety Framework
par: Krishna, Satyapriya, et autres
Publié: (2026)
par: Krishna, Satyapriya, et autres
Publié: (2026)
CNT: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer
par: Zhao, Yue, et autres
Publié: (2026)
par: Zhao, Yue, et autres
Publié: (2026)
Bridging Safety and Security in Complex Systems: A Model-Based Approach with SAFT-GT Toolchain
par: Pekaric, Irdin, et autres
Publié: (2026)
par: Pekaric, Irdin, et autres
Publié: (2026)
Usability as a Weapon: Attacking the Safety of LLM-Based Code Generation via Usability Requirements
par: Li, Yue, et autres
Publié: (2026)
par: Li, Yue, et autres
Publié: (2026)
Who Tests the Testers? Systematic Enumeration and Coverage Audit of LLM Agent Tool Call Safety
par: Chen, Xuan, et autres
Publié: (2026)
par: Chen, Xuan, et autres
Publié: (2026)
Failure Analysis of Safety Controllers in Autonomous Vehicles Under Object-Based LiDAR Attacks
par: Ganiuly, Daniyal, et autres
Publié: (2025)
par: Ganiuly, Daniyal, et autres
Publié: (2025)
FirmReBugger: A Benchmark Framework for Monolithic Firmware Fuzzers
par: Duong, Mathew, et autres
Publié: (2026)
par: Duong, Mathew, et autres
Publié: (2026)
CAShift: Benchmarking Log-Based Cloud Attack Detection under Normality Shift
par: Yu, Jiongchi, et autres
Publié: (2025)
par: Yu, Jiongchi, et autres
Publié: (2025)
PATCHEVAL: A New Benchmark for Evaluating LLMs on Patching Real-World Vulnerabilities
par: Wei, Zichao, et autres
Publié: (2025)
par: Wei, Zichao, et autres
Publié: (2025)
Uncovering Hidden Inclusions of Vulnerable Dependencies in Real-World Java Projects
par: Schott, Stefan, et autres
Publié: (2026)
par: Schott, Stefan, et autres
Publié: (2026)
Bytecode-centric Detection of Known-to-be-vulnerable Dependencies in Java Projects
par: Schott, Stefan, et autres
Publié: (2025)
par: Schott, Stefan, et autres
Publié: (2025)
RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories
par: Wang, Yanlin, et autres
Publié: (2026)
par: Wang, Yanlin, et autres
Publié: (2026)
AutoDFBench 1.0: A Benchmarking Framework for Digital Forensic Tool Testing and Generated Code Evaluation
par: Wickramasekara, Akila, et autres
Publié: (2025)
par: Wickramasekara, Akila, et autres
Publié: (2025)
SoK: Where to Fuzz? Assessing Target Selection Methods in Directed Fuzzing
par: Weissberg, Felix, et autres
Publié: (2025)
par: Weissberg, Felix, et autres
Publié: (2025)
Challenges in the Safety-Security Co-Assurance of Collaborative Industrial Robots
par: Gleirscher, Mario, et autres
Publié: (2020)
par: Gleirscher, Mario, et autres
Publié: (2020)
A Holistic Approach to E-Commerce Innovation: Redefining Security and User Experience
par: Akash, Mohammad Olid Ali, et autres
Publié: (2025)
par: Akash, Mohammad Olid Ali, et autres
Publié: (2025)
Identifier-Free Code Embedding Models for Scalable Search
par: Wolos, Eric, et autres
Publié: (2026)
par: Wolos, Eric, et autres
Publié: (2026)
Identifying the Supply Chain of AI for Trustworthiness and Risk Management in Critical Applications
par: Sheh, Raymond K., et autres
Publié: (2025)
par: Sheh, Raymond K., et autres
Publié: (2025)
Containment Verification: AI Safety Guarantees Independent of Alignment
par: Moon, Royce, et autres
Publié: (2026)
par: Moon, Royce, et autres
Publié: (2026)
Poisoned Identifiers Survive LLM Deobfuscation: A Case Study on Claude Opus 4.6
par: Lorenzo, Luis Guzmán
Publié: (2026)
par: Lorenzo, Luis Guzmán
Publié: (2026)
Inverting the Shield: Systematically Generating Safety Tests from Policy Specifications
par: Lu, Xiaoyue, et autres
Publié: (2026)
par: Lu, Xiaoyue, et autres
Publié: (2026)
AdaptiveGuard: Towards Adaptive Runtime Safety for LLM-Powered Software
par: Yang, Rui, et autres
Publié: (2025)
par: Yang, Rui, et autres
Publié: (2025)
Patch-to-PoC: A Systematic Study of Agentic LLM Systems for Linux Kernel N-Day Reproduction
par: Pu, Juefei, et autres
Publié: (2026)
par: Pu, Juefei, et autres
Publié: (2026)
Automatic, Expressive, and Scalable Fuzzing with Stitching
par: Green, Harrison, et autres
Publié: (2026)
par: Green, Harrison, et autres
Publié: (2026)
Where Do Smart Contract Security Analyzers Fall Short?
par: Abdelaziz, Tamer, et autres
Publié: (2026)
par: Abdelaziz, Tamer, et autres
Publié: (2026)
Documents similaires
-
How to Secure Existing C and C++ Software without Memory Safety
par: Erlingsson, Úlfar
Publié: (2025) -
SABER: Benchmarking Operational Safety of LLM Coding Agents in Stateful Project Workspaces
par: Hu, Qi, et autres
Publié: (2026) -
SafeToolBench: Pioneering a Prospective Benchmark to Evaluating Tool Utilization Safety in LLMs
par: Xia, Hongfei, et autres
Publié: (2025) -
Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks
par: Chu, Junjie, et autres
Publié: (2026) -
Jailbreak Distillation: Renewable Safety Benchmarking
par: Zhang, Jingyu, et autres
Publié: (2025)