Buchumschlag

MCPMark: A Benchmark for Stress-Testing Realistic and Comprehensive MCP Use

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Zijian, Liu, Xiangyan, Zhang, Xinyuan, Chen, Lingjun, Meng, Fanqing, Du, Lingxiao, Zhao, Yiran, Zhang, Fanshi, Ye, Yaoqi, Wang, Jiawei, Wang, Zirui, Ni, Jinjie, Yang, Yufan, Xu, Arvin, Shieh, Michael Qizhe
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SynthRL: Scaling Visual Reasoning with Verifiable Data Synthesis
von: Wu, Zijian, et al.
Veröffentlicht: (2025)

NoisyRollout: Reinforcing Visual Reasoning with Data Augmentation
von: Liu, Xiangyan, et al.
Veröffentlicht: (2025)

Gym-V: A Unified Vision Environment System for Agentic Vision Research
von: Meng, Fanqing, et al.
Veröffentlicht: (2026)

ImageEdit-R1: Boosting Multi-Agent Image Editing via Reinforcement Learning
von: Zhao, Yiran, et al.
Veröffentlicht: (2026)

In-Context Reinforcement Learning for Tool Use in Large Language Models
von: Ye, Yaoqi, et al.
Veröffentlicht: (2026)

RAPID: Long-Context Inference with Retrieval-Augmented Speculative Decoding
von: Chen, Guanzheng, et al.
Veröffentlicht: (2025)

Improving Autoregressive Image Generation through Coarse-to-Fine Token Prediction
von: Guo, Ziyao, et al.
Veröffentlicht: (2025)

Diffusion Language Models are Super Data Learners
von: Ni, Jinjie, et al.
Veröffentlicht: (2025)

Training Optimal Large Diffusion Language Models
von: Ni, Jinjie, et al.
Veröffentlicht: (2025)

LiveMCP-101: Stress Testing and Diagnosing MCP-enabled Agents on Challenging Queries
von: Yin, Ming, et al.
Veröffentlicht: (2025)

LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards
von: Chen, Guanzheng, et al.
Veröffentlicht: (2026)

MedMCP-Calc: Benchmarking LLMs for Realistic Medical Calculator Scenarios via MCP Integration
von: Zhu, Yakun, et al.
Veröffentlicht: (2026)

Unnatural Languages Are Not Bugs but Features for LLMs
von: Duan, Keyu, et al.
Veröffentlicht: (2025)

LongPO: Long Context Self-Evolution of Large Language Models through Short-to-Long Preference Optimization
von: Chen, Guanzheng, et al.
Veröffentlicht: (2025)

Gradually Compacting Large Language Models for Reasoning Like a Boiling Frog
von: Zhao, Yiran, et al.
Veröffentlicht: (2026)

ThinkMorph: Emergent Properties in Multimodal Interleaved Chain-of-Thought Reasoning
von: Gu, Jiawei, et al.
Veröffentlicht: (2025)

The Emergence of Abstract Thought in Large Language Models Beyond Any Language
von: Chen, Yuxin, et al.
Veröffentlicht: (2025)

OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents
von: Jia, Hongrui, et al.
Veröffentlicht: (2025)

GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices
von: Lu, Quanfeng, et al.
Veröffentlicht: (2024)

Chasing the Public Score: User Pressure and Evaluation Exploitation in Coding Agent Workflows
von: Chen, Hardy, et al.
Veröffentlicht: (2026)

CodexGraph: Bridging Large Language Models and Code Repositories via Code Graph Databases
von: Liu, Xiangyan, et al.
Veröffentlicht: (2024)

CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models
von: Liu, Zongkai, et al.
Veröffentlicht: (2025)

MM-PRM: Enhancing Multimodal Mathematical Reasoning with Scalable Step-Level Supervision
von: Du, Lingxiao, et al.
Veröffentlicht: (2025)

Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw
von: Wang, Zijun, et al.
Veröffentlicht: (2026)

Honesty-Aware Multi-Agent Framework for High-Fidelity Synthetic Data Generation in Digital Psychiatric Intake Doctor-Patient Interactions
von: Zhang, Xinyuan, et al.
Veröffentlicht: (2026)

MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers
von: Bandi, Chaithanya, et al.
Veröffentlicht: (2026)

Regulation of Stomatal Responses to Pathogen and Drought Stress by the F‐Box Protein AtSKIP5
von: Ting Zhang, et al.
Veröffentlicht: (2025)

LiteCUA: Computer as MCP Server for Computer-Use Agent on AIOS
von: Mei, Kai, et al.
Veröffentlicht: (2025)

Progress of non‐motor symptoms in early‐onset Parkinson's disease
von: Fanshi Zhang, et al.
Veröffentlicht: (2024)

Realizing Latent Use Contexts: Innovation Ecosystem Strategies to Drive Growth and Sustainability
von: Wei Zhang, et al.
Veröffentlicht: (2026)

MCP-ITP: An Automated Framework for Implicit Tool Poisoning in MCP
von: Li, Ruiqi, et al.
Veröffentlicht: (2026)

Hilbert transforms and maximal functions along flat curves on the Heisenberg group
von: Zhang, Lingxiao
Veröffentlicht: (2024)

Spectral multipliers for maximally subelliptic operators
von: Zhang, Lingxiao
Veröffentlicht: (2023)

Toward Accurate Camera-based 3D Object Detection via Cascade Depth Estimation and Calibration
von: Wang, Chaoqun, et al.
Veröffentlicht: (2024)

Solar versus Fusion
von: Hampton, Arvin
Veröffentlicht: (2025)

Riemann Hypothesis Resolution
von: Hampton, Arvin
Veröffentlicht: (2025)

QGP-HEP Integration in the S²-11DM²ET-X Unification Framework
von: Hampton, Arvin
Veröffentlicht: (2026)

Identifying Legal Holdings with LLMs: A Systematic Study of Performance, Scale, and Memorization
von: Arvin, Chuck
Veröffentlicht: (2025)

"Check My Work?": Measuring Sycophancy in a Simulated Educational Context
von: Arvin, Chuck
Veröffentlicht: (2025)

Investigations in the Displacement Current of Transverse Electromagnetic Waves and Longitudinal Interactions
von: Sharma, Arvin
Veröffentlicht: (2025)