AgentAuditor: Human-Level Safety and Security Evaluation for LLM Agents
Fuente:
arXiv
Salvato in:
| Autori principali: | Luo, Hanjun, Dai, Shenyu, Ni, Chiming, Li, Xinfeng, Zhang, Guibin, Wang, Kun, Liu, Tongliang, Salam, Hanan |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
AtelierEval: Agentic Evaluation of Humans & LLMs as Text-to-Image Prompters
di: Luo, Hanjun, et al.
Pubblicazione: (2026)
di: Luo, Hanjun, et al.
Pubblicazione: (2026)
CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding
di: Luo, Hanjun, et al.
Pubblicazione: (2025)
di: Luo, Hanjun, et al.
Pubblicazione: (2025)
You Told Me to Do It: Measuring Instructional Text-induced Private Data Leakage in LLM Agents
di: Kao, Ching-Yu, et al.
Pubblicazione: (2026)
di: Kao, Ching-Yu, et al.
Pubblicazione: (2026)
The Capability Paradox: How Smarter Auditors Make Multi-Agent Systems Less Secure
di: Liu, Qiqi, et al.
Pubblicazione: (2026)
di: Liu, Qiqi, et al.
Pubblicazione: (2026)
PrefIx: Understand and Adapt to User Preference in Human-Agent Interaction
di: Li, Jialin, et al.
Pubblicazione: (2026)
di: Li, Jialin, et al.
Pubblicazione: (2026)
Graph-Augmented Large Language Model Agents: Current Progress and Future Prospects
di: Liu, Yixin, et al.
Pubblicazione: (2025)
di: Liu, Yixin, et al.
Pubblicazione: (2025)
Beyond One-Size-Fits-All: A Survey of Personalized Affective Computing in Human-Agent Interaction
di: Li, Jialin, et al.
Pubblicazione: (2023)
di: Li, Jialin, et al.
Pubblicazione: (2023)
The Supportiveness-Safety Tradeoff in LLM Well-Being Agents
di: Lalwani, Himanshi, et al.
Pubblicazione: (2026)
di: Lalwani, Himanshi, et al.
Pubblicazione: (2026)
"Are You Sure?": An Empirical Study of Human Perception Vulnerability in LLM-Driven Agentic Systems
di: Li, Xinfeng, et al.
Pubblicazione: (2026)
di: Li, Xinfeng, et al.
Pubblicazione: (2026)
SafePro: Evaluating the Safety of Professional-Level AI Agents
di: Zhou, Kaiwen, et al.
Pubblicazione: (2026)
di: Zhou, Kaiwen, et al.
Pubblicazione: (2026)
DynamicNER: A Dynamic, Multilingual, and Fine-Grained Dataset for LLM-based Named Entity Recognition
di: Luo, Hanjun, et al.
Pubblicazione: (2024)
di: Luo, Hanjun, et al.
Pubblicazione: (2024)
SafeSieve: From Heuristics to Experience in Progressive Pruning for LLM-based Multi-Agent Communication
di: Zhang, Ruijia, et al.
Pubblicazione: (2025)
di: Zhang, Ruijia, et al.
Pubblicazione: (2025)
MedSentry: Understanding and Mitigating Safety Risks in Medical LLM Multi-Agent Systems
di: Chen, Kai, et al.
Pubblicazione: (2025)
di: Chen, Kai, et al.
Pubblicazione: (2025)
Supporting Productivity Skill Development in College Students through Social Robot Coaching: A Proof-of-Concept
di: Lalwani, Himanshi, et al.
Pubblicazione: (2025)
di: Lalwani, Himanshi, et al.
Pubblicazione: (2025)
Small LLMs Do Not Learn a Generalizable Theory of Mind via Reinforcement Learning
di: Sarangi, Sneheel, et al.
Pubblicazione: (2025)
di: Sarangi, Sneheel, et al.
Pubblicazione: (2025)
PSG-Agent: Personality-Aware Safety Guardrail for LLM-based Agents
di: Wu, Yaozu, et al.
Pubblicazione: (2025)
di: Wu, Yaozu, et al.
Pubblicazione: (2025)
CUAAudit: Meta-Evaluation of Vision-Language Models as Auditors of Autonomous Computer-Use Agents
di: Sumyk, Marta, et al.
Pubblicazione: (2026)
di: Sumyk, Marta, et al.
Pubblicazione: (2026)
DialogGuard: Multi-Agent Psychosocial Safety Evaluation of Sensitive LLM Responses
di: Luo, Han, et al.
Pubblicazione: (2025)
di: Luo, Han, et al.
Pubblicazione: (2025)
FairAgent: Democratizing Fairness-Aware Machine Learning with LLM-Powered Agents
di: Dai, Yucong, et al.
Pubblicazione: (2025)
di: Dai, Yucong, et al.
Pubblicazione: (2025)
ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces
di: Li, Xiangyi, et al.
Pubblicazione: (2026)
di: Li, Xiangyi, et al.
Pubblicazione: (2026)
AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions
di: Sun, Jingwei, et al.
Pubblicazione: (2026)
di: Sun, Jingwei, et al.
Pubblicazione: (2026)
Agent Audit: A Security Analysis System for LLM Agent Applications
di: Zhang, Haiyue, et al.
Pubblicazione: (2026)
di: Zhang, Haiyue, et al.
Pubblicazione: (2026)
LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners
di: Zheng, Junhao, et al.
Pubblicazione: (2025)
di: Zheng, Junhao, et al.
Pubblicazione: (2025)
AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection
di: Luo, Weidi, et al.
Pubblicazione: (2025)
di: Luo, Weidi, et al.
Pubblicazione: (2025)
LLM Agents Should Employ Security Principles
di: Zhang, Kaiyuan, et al.
Pubblicazione: (2025)
di: Zhang, Kaiyuan, et al.
Pubblicazione: (2025)
Decompose-ToM: Enhancing Theory of Mind Reasoning in Large Language Models through Simulation and Task Decomposition
di: Sarangi, Sneheel, et al.
Pubblicazione: (2025)
di: Sarangi, Sneheel, et al.
Pubblicazione: (2025)
Agent2Agent Threats in Safety-Critical LLM Assistants: A Human-Centric Taxonomy
di: Stappen, Lukas, et al.
Pubblicazione: (2026)
di: Stappen, Lukas, et al.
Pubblicazione: (2026)
Efficient LLM Safety Evaluation through Multi-Agent Debate
di: Lin, Dachuan, et al.
Pubblicazione: (2025)
di: Lin, Dachuan, et al.
Pubblicazione: (2025)
Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents
di: Yehudai, Asaf, et al.
Pubblicazione: (2026)
di: Yehudai, Asaf, et al.
Pubblicazione: (2026)
OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety
di: Vijayvargiya, Sanidhya, et al.
Pubblicazione: (2025)
di: Vijayvargiya, Sanidhya, et al.
Pubblicazione: (2025)
MATEval: A Multi-Agent Discussion Framework for Advancing Open-Ended Text Evaluation
di: Li, Yu, et al.
Pubblicazione: (2024)
di: Li, Yu, et al.
Pubblicazione: (2024)
AXIS: Efficient Human-Agent-Computer Interaction with API-First LLM-Based Agents
di: Lu, Junting, et al.
Pubblicazione: (2024)
di: Lu, Junting, et al.
Pubblicazione: (2024)
Simulating Human-Like Learning Dynamics with LLM-Empowered Agents
di: Yuan, Yu, et al.
Pubblicazione: (2025)
di: Yuan, Yu, et al.
Pubblicazione: (2025)
SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents
di: Zhan, Simon Sinong, et al.
Pubblicazione: (2025)
di: Zhan, Simon Sinong, et al.
Pubblicazione: (2025)
AgentAsk: Multi-Agent Systems Need to Ask
di: Lin, Bohan, et al.
Pubblicazione: (2025)
di: Lin, Bohan, et al.
Pubblicazione: (2025)
MCP Security Bench (MSB): Benchmarking Attacks Against Model Context Protocol in LLM Agents
di: Zhang, Dongsen, et al.
Pubblicazione: (2025)
di: Zhang, Dongsen, et al.
Pubblicazione: (2025)
Scalable Environments Drive Generalizable Agents
di: Zhang, Jiayi, et al.
Pubblicazione: (2026)
di: Zhang, Jiayi, et al.
Pubblicazione: (2026)
Towards Security-Auditable LLM Agents: A Unified Graph Representation
di: Li, Chaofan, et al.
Pubblicazione: (2026)
di: Li, Chaofan, et al.
Pubblicazione: (2026)
Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents
di: Zhang, Hanrong, et al.
Pubblicazione: (2024)
di: Zhang, Hanrong, et al.
Pubblicazione: (2024)
Measuring Safety Alignment Effects in Autonomous Security Agents
di: David, Isaac, et al.
Pubblicazione: (2026)
di: David, Isaac, et al.
Pubblicazione: (2026)
Documenti analoghi
-
AtelierEval: Agentic Evaluation of Humans & LLMs as Text-to-Image Prompters
di: Luo, Hanjun, et al.
Pubblicazione: (2026) -
CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding
di: Luo, Hanjun, et al.
Pubblicazione: (2025) -
You Told Me to Do It: Measuring Instructional Text-induced Private Data Leakage in LLM Agents
di: Kao, Ching-Yu, et al.
Pubblicazione: (2026) -
The Capability Paradox: How Smarter Auditors Make Multi-Agent Systems Less Secure
di: Liu, Qiqi, et al.
Pubblicazione: (2026) -
PrefIx: Understand and Adapt to User Preference in Human-Agent Interaction
di: Li, Jialin, et al.
Pubblicazione: (2026)