Benchmarking LLMs and LLM-based Agents in Practical Vulnerability Detection for Code Repositories
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Yildiz, Alperen, Teo, Sin G., Lou, Yiling, Feng, Yebo, Wang, Chong, Divakaran, Dinil M. |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
AI-based Traffic Modeling for Network Security and Privacy: Challenges Ahead
par: Divakaran, Dinil Mon
Publié: (2025)
par: Divakaran, Dinil Mon
Publié: (2025)
LLMs for Cyber Security: New Opportunities
par: Divakaran, Dinil Mon, et autres
Publié: (2024)
par: Divakaran, Dinil Mon, et autres
Publié: (2024)
From ML to LLM: Evaluating the Robustness of Phishing Webpage Detection Models against Adversarial Attacks
par: Kulkarni, Aditya, et autres
Publié: (2024)
par: Kulkarni, Aditya, et autres
Publié: (2024)
Mitigating Bias in Machine Learning Models for Phishing Webpage Detection
par: Kulkarni, Aditya, et autres
Publié: (2024)
par: Kulkarni, Aditya, et autres
Publié: (2024)
Multimodal Large Language Models for Phishing Webpage Detection and Identification
par: Lee, Jehyun, et autres
Publié: (2024)
par: Lee, Jehyun, et autres
Publié: (2024)
Detecting Hard-Coded Credentials in Software Repositories via LLMs
par: Biringa, Chidera, et autres
Publié: (2025)
par: Biringa, Chidera, et autres
Publié: (2025)
UniNet: A Unified Multi-granular Traffic Modeling Framework for Network Security
par: Wu, Binghui, et autres
Publié: (2025)
par: Wu, Binghui, et autres
Publié: (2025)
ZEST: Attention-based Zero-Shot Learning for Unseen IoT Device Classification
par: Wu, Binghui, et autres
Publié: (2023)
par: Wu, Binghui, et autres
Publié: (2023)
EagleEye: Attention to Unveil Malicious Event Sequences from Provenance Graphs
par: Gysel, Philipp, et autres
Publié: (2024)
par: Gysel, Philipp, et autres
Publié: (2024)
Step-by-Step Reasoning Attack: Revealing 'Erased' Knowledge in Large Language Models
par: Sinha, Yash, et autres
Publié: (2025)
par: Sinha, Yash, et autres
Publié: (2025)
Enhancing Code Vulnerability Detection via Vulnerability-Preserving Data Augmentation
par: Liu, Shangqing, et autres
Publié: (2024)
par: Liu, Shangqing, et autres
Publié: (2024)
On Benchmarking Code LLMs for Android Malware Analysis
par: He, Yiling, et autres
Publié: (2025)
par: He, Yiling, et autres
Publié: (2025)
RECTor: Robust and Efficient Correlation Attack on Tor
par: Wu, Binghui, et autres
Publié: (2025)
par: Wu, Binghui, et autres
Publié: (2025)
An Empirical Study of Vulnerable Package Dependencies in LLM Repositories
par: Liu, Shuhan, et autres
Publié: (2025)
par: Liu, Shuhan, et autres
Publié: (2025)
RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories
par: Wang, Yanlin, et autres
Publié: (2026)
par: Wang, Yanlin, et autres
Publié: (2026)
SecRepoBench: Benchmarking Code Agents for Secure Code Completion in Real-World Repositories
par: Shen, Chihao, et autres
Publié: (2025)
par: Shen, Chihao, et autres
Publié: (2025)
Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks
par: Chu, Junjie, et autres
Publié: (2026)
par: Chu, Junjie, et autres
Publié: (2026)
Benchmarking ZK-Friendly Hash Functions and SNARK Proving Systems for EVM-compatible Blockchains
par: Guo, Hanze, et autres
Publié: (2024)
par: Guo, Hanze, et autres
Publié: (2024)
Security Vulnerabilities in AI-Generated Code: A Large-Scale Analysis of Public GitHub Repositories
par: Schreiber, Maximilian, et autres
Publié: (2025)
par: Schreiber, Maximilian, et autres
Publié: (2025)
SafeGenBench: A Benchmark Framework for Security Vulnerability Detection in LLM-Generated Code
par: Li, Xinghang, et autres
Publié: (2025)
par: Li, Xinghang, et autres
Publié: (2025)
Persistent Human Feedback, LLMs, and Static Analyzers for Secure Code Generation and Vulnerability Detection
par: Firouzi, Ehsan, et autres
Publié: (2026)
par: Firouzi, Ehsan, et autres
Publié: (2026)
VulEval: Towards Repository-Level Evaluation of Software Vulnerability Detection
par: Wen, Xin-Cheng, et autres
Publié: (2024)
par: Wen, Xin-Cheng, et autres
Publié: (2024)
Hedge Funds on a Swamp: Analyzing Patterns, Vulnerabilities, and Defense Measures in Blockchain Bridges
par: Azad, Poupak, et autres
Publié: (2025)
par: Azad, Poupak, et autres
Publié: (2025)
A Systematic Study of Code Obfuscation Against LLM-based Vulnerability Detection
par: Li, Xiao, et autres
Publié: (2025)
par: Li, Xiao, et autres
Publié: (2025)
SoK: Design, Vulnerabilities, and Security Measures of Cryptocurrency Wallets
par: Erinle, Yimika, et autres
Publié: (2023)
par: Erinle, Yimika, et autres
Publié: (2023)
Sealing the Audit-Runtime Gap for LLM Skills
par: Shen, Tingda, et autres
Publié: (2026)
par: Shen, Tingda, et autres
Publié: (2026)
LLM-based Vulnerable Code Augmentation: Generate or Refactor?
par: Ouchebara, Dyna Soumhane, et autres
Publié: (2025)
par: Ouchebara, Dyna Soumhane, et autres
Publié: (2025)
FuncVul: An Effective Function Level Vulnerability Detection Model using LLM and Code Chunk
par: Halder, Sajal, et autres
Publié: (2025)
par: Halder, Sajal, et autres
Publié: (2025)
Detecting Code Vulnerabilities with Heterogeneous GNN Training
par: Luo, Yu, et autres
Publié: (2025)
par: Luo, Yu, et autres
Publié: (2025)
Don't Trust Your Upstream: Exploiting LLM Multi-Agent System via Topology-Guided Adversarial Propagation
par: Liang, Ruichao, et autres
Publié: (2025)
par: Liang, Ruichao, et autres
Publié: (2025)
VulnLLM-R: Specialized Reasoning LLM with Agent Scaffold for Vulnerability Detection
par: Nie, Yuzhou, et autres
Publié: (2025)
par: Nie, Yuzhou, et autres
Publié: (2025)
SAGE: Signal-Amplified Guided Embeddings for LLM-based Vulnerability Detection
par: Shan, Zhengyang, et autres
Publié: (2026)
par: Shan, Zhengyang, et autres
Publié: (2026)
From LLMs to Agents: A Comparative Evaluation of LLMs and LLM-based Agents in Security Patch Detection
par: Han, Junxiao, et autres
Publié: (2025)
par: Han, Junxiao, et autres
Publié: (2025)
PhishDebate: An LLM-Based Multi-Agent Framework for Phishing Website Detection
par: Li, Wenhao, et autres
Publié: (2025)
par: Li, Wenhao, et autres
Publié: (2025)
Harnessing the Power of LLMs in Source Code Vulnerability Detection
par: Mahyari, Andrew A
Publié: (2024)
par: Mahyari, Andrew A
Publié: (2024)
Slot: Provenance-Driven APT Detection through Graph Reinforcement Learning
par: Qiao, Wei, et autres
Publié: (2024)
par: Qiao, Wei, et autres
Publié: (2024)
How Code Representation Shapes False-Positive Dynamics in Cross-Language LLM Vulnerability Detection
par: Chen, Maofei, et autres
Publié: (2026)
par: Chen, Maofei, et autres
Publié: (2026)
VulBinLLM: LLM-powered Vulnerability Detection for Stripped Binaries
par: Hussain, Nasir, et autres
Publié: (2025)
par: Hussain, Nasir, et autres
Publié: (2025)
PatchIsland: Orchestration of LLM Agents for Continuous Vulnerability Repair
par: Kim, Wonyoung, et autres
Publié: (2026)
par: Kim, Wonyoung, et autres
Publié: (2026)
MATRA: Modeling the Attack Surface of Agentic AI Systems -- OpenClaw Case Study
par: Van hamme, Tim, et autres
Publié: (2026)
par: Van hamme, Tim, et autres
Publié: (2026)
Documents similaires
-
AI-based Traffic Modeling for Network Security and Privacy: Challenges Ahead
par: Divakaran, Dinil Mon
Publié: (2025) -
LLMs for Cyber Security: New Opportunities
par: Divakaran, Dinil Mon, et autres
Publié: (2024) -
From ML to LLM: Evaluating the Robustness of Phishing Webpage Detection Models against Adversarial Attacks
par: Kulkarni, Aditya, et autres
Publié: (2024) -
Mitigating Bias in Machine Learning Models for Phishing Webpage Detection
par: Kulkarni, Aditya, et autres
Publié: (2024) -
Multimodal Large Language Models for Phishing Webpage Detection and Identification
par: Lee, Jehyun, et autres
Publié: (2024)