AgentAuditor: Human-Level Safety and Security Evaluation for LLM Agents
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Luo, Hanjun, Dai, Shenyu, Ni, Chiming, Li, Xinfeng, Zhang, Guibin, Wang, Kun, Liu, Tongliang, Salam, Hanan |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
AtelierEval: Agentic Evaluation of Humans & LLMs as Text-to-Image Prompters
par: Luo, Hanjun, et autres
Publié: (2026)
par: Luo, Hanjun, et autres
Publié: (2026)
CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding
par: Luo, Hanjun, et autres
Publié: (2025)
par: Luo, Hanjun, et autres
Publié: (2025)
You Told Me to Do It: Measuring Instructional Text-induced Private Data Leakage in LLM Agents
par: Kao, Ching-Yu, et autres
Publié: (2026)
par: Kao, Ching-Yu, et autres
Publié: (2026)
The Capability Paradox: How Smarter Auditors Make Multi-Agent Systems Less Secure
par: Liu, Qiqi, et autres
Publié: (2026)
par: Liu, Qiqi, et autres
Publié: (2026)
PrefIx: Understand and Adapt to User Preference in Human-Agent Interaction
par: Li, Jialin, et autres
Publié: (2026)
par: Li, Jialin, et autres
Publié: (2026)
Graph-Augmented Large Language Model Agents: Current Progress and Future Prospects
par: Liu, Yixin, et autres
Publié: (2025)
par: Liu, Yixin, et autres
Publié: (2025)
Beyond One-Size-Fits-All: A Survey of Personalized Affective Computing in Human-Agent Interaction
par: Li, Jialin, et autres
Publié: (2023)
par: Li, Jialin, et autres
Publié: (2023)
The Supportiveness-Safety Tradeoff in LLM Well-Being Agents
par: Lalwani, Himanshi, et autres
Publié: (2026)
par: Lalwani, Himanshi, et autres
Publié: (2026)
"Are You Sure?": An Empirical Study of Human Perception Vulnerability in LLM-Driven Agentic Systems
par: Li, Xinfeng, et autres
Publié: (2026)
par: Li, Xinfeng, et autres
Publié: (2026)
SafePro: Evaluating the Safety of Professional-Level AI Agents
par: Zhou, Kaiwen, et autres
Publié: (2026)
par: Zhou, Kaiwen, et autres
Publié: (2026)
DynamicNER: A Dynamic, Multilingual, and Fine-Grained Dataset for LLM-based Named Entity Recognition
par: Luo, Hanjun, et autres
Publié: (2024)
par: Luo, Hanjun, et autres
Publié: (2024)
SafeSieve: From Heuristics to Experience in Progressive Pruning for LLM-based Multi-Agent Communication
par: Zhang, Ruijia, et autres
Publié: (2025)
par: Zhang, Ruijia, et autres
Publié: (2025)
MedSentry: Understanding and Mitigating Safety Risks in Medical LLM Multi-Agent Systems
par: Chen, Kai, et autres
Publié: (2025)
par: Chen, Kai, et autres
Publié: (2025)
Supporting Productivity Skill Development in College Students through Social Robot Coaching: A Proof-of-Concept
par: Lalwani, Himanshi, et autres
Publié: (2025)
par: Lalwani, Himanshi, et autres
Publié: (2025)
Small LLMs Do Not Learn a Generalizable Theory of Mind via Reinforcement Learning
par: Sarangi, Sneheel, et autres
Publié: (2025)
par: Sarangi, Sneheel, et autres
Publié: (2025)
PSG-Agent: Personality-Aware Safety Guardrail for LLM-based Agents
par: Wu, Yaozu, et autres
Publié: (2025)
par: Wu, Yaozu, et autres
Publié: (2025)
CUAAudit: Meta-Evaluation of Vision-Language Models as Auditors of Autonomous Computer-Use Agents
par: Sumyk, Marta, et autres
Publié: (2026)
par: Sumyk, Marta, et autres
Publié: (2026)
DialogGuard: Multi-Agent Psychosocial Safety Evaluation of Sensitive LLM Responses
par: Luo, Han, et autres
Publié: (2025)
par: Luo, Han, et autres
Publié: (2025)
FairAgent: Democratizing Fairness-Aware Machine Learning with LLM-Powered Agents
par: Dai, Yucong, et autres
Publié: (2025)
par: Dai, Yucong, et autres
Publié: (2025)
ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces
par: Li, Xiangyi, et autres
Publié: (2026)
par: Li, Xiangyi, et autres
Publié: (2026)
AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions
par: Sun, Jingwei, et autres
Publié: (2026)
par: Sun, Jingwei, et autres
Publié: (2026)
Agent Audit: A Security Analysis System for LLM Agent Applications
par: Zhang, Haiyue, et autres
Publié: (2026)
par: Zhang, Haiyue, et autres
Publié: (2026)
LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners
par: Zheng, Junhao, et autres
Publié: (2025)
par: Zheng, Junhao, et autres
Publié: (2025)
AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection
par: Luo, Weidi, et autres
Publié: (2025)
par: Luo, Weidi, et autres
Publié: (2025)
LLM Agents Should Employ Security Principles
par: Zhang, Kaiyuan, et autres
Publié: (2025)
par: Zhang, Kaiyuan, et autres
Publié: (2025)
Decompose-ToM: Enhancing Theory of Mind Reasoning in Large Language Models through Simulation and Task Decomposition
par: Sarangi, Sneheel, et autres
Publié: (2025)
par: Sarangi, Sneheel, et autres
Publié: (2025)
Agent2Agent Threats in Safety-Critical LLM Assistants: A Human-Centric Taxonomy
par: Stappen, Lukas, et autres
Publié: (2026)
par: Stappen, Lukas, et autres
Publié: (2026)
Efficient LLM Safety Evaluation through Multi-Agent Debate
par: Lin, Dachuan, et autres
Publié: (2025)
par: Lin, Dachuan, et autres
Publié: (2025)
Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents
par: Yehudai, Asaf, et autres
Publié: (2026)
par: Yehudai, Asaf, et autres
Publié: (2026)
OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety
par: Vijayvargiya, Sanidhya, et autres
Publié: (2025)
par: Vijayvargiya, Sanidhya, et autres
Publié: (2025)
MATEval: A Multi-Agent Discussion Framework for Advancing Open-Ended Text Evaluation
par: Li, Yu, et autres
Publié: (2024)
par: Li, Yu, et autres
Publié: (2024)
AXIS: Efficient Human-Agent-Computer Interaction with API-First LLM-Based Agents
par: Lu, Junting, et autres
Publié: (2024)
par: Lu, Junting, et autres
Publié: (2024)
Simulating Human-Like Learning Dynamics with LLM-Empowered Agents
par: Yuan, Yu, et autres
Publié: (2025)
par: Yuan, Yu, et autres
Publié: (2025)
SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents
par: Zhan, Simon Sinong, et autres
Publié: (2025)
par: Zhan, Simon Sinong, et autres
Publié: (2025)
AgentAsk: Multi-Agent Systems Need to Ask
par: Lin, Bohan, et autres
Publié: (2025)
par: Lin, Bohan, et autres
Publié: (2025)
MCP Security Bench (MSB): Benchmarking Attacks Against Model Context Protocol in LLM Agents
par: Zhang, Dongsen, et autres
Publié: (2025)
par: Zhang, Dongsen, et autres
Publié: (2025)
Scalable Environments Drive Generalizable Agents
par: Zhang, Jiayi, et autres
Publié: (2026)
par: Zhang, Jiayi, et autres
Publié: (2026)
Towards Security-Auditable LLM Agents: A Unified Graph Representation
par: Li, Chaofan, et autres
Publié: (2026)
par: Li, Chaofan, et autres
Publié: (2026)
Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents
par: Zhang, Hanrong, et autres
Publié: (2024)
par: Zhang, Hanrong, et autres
Publié: (2024)
Measuring Safety Alignment Effects in Autonomous Security Agents
par: David, Isaac, et autres
Publié: (2026)
par: David, Isaac, et autres
Publié: (2026)
Documents similaires
-
AtelierEval: Agentic Evaluation of Humans & LLMs as Text-to-Image Prompters
par: Luo, Hanjun, et autres
Publié: (2026) -
CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding
par: Luo, Hanjun, et autres
Publié: (2025) -
You Told Me to Do It: Measuring Instructional Text-induced Private Data Leakage in LLM Agents
par: Kao, Ching-Yu, et autres
Publié: (2026) -
The Capability Paradox: How Smarter Auditors Make Multi-Agent Systems Less Secure
par: Liu, Qiqi, et autres
Publié: (2026) -
PrefIx: Understand and Adapt to User Preference in Human-Agent Interaction
par: Li, Jialin, et autres
Publié: (2026)