Buchumschlag

MVISU-Bench: Benchmarking Mobile Agents for Real-World Tasks by Multi-App, Vague, Interactive, Single-App and Unethical Instructions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Huang, Zeyu, Wang, Juyuan, Chen, Longfeng, Xiao, Boyi, Cai, Leng, Zeng, Yawen, Xu, Jin
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MobileSteward: Integrating Multiple App-Oriented Agents with Self-Evolution to Automate Cross-App Instructions
von: Liu, Yuxuan, et al.
Veröffentlicht: (2025)

REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?
von: Jiang, Chenxi, et al.
Veröffentlicht: (2025)

AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents
von: Trivedi, Harsh, et al.
Veröffentlicht: (2024)

AppAgent v2: Advanced Agent for Flexible Mobile Interactions
von: Li, Yanda, et al.
Veröffentlicht: (2024)

Rapid Mobile App Development for Generative AI Agents on MIT App Inventor
von: Gao, Jaida, et al.
Veröffentlicht: (2024)

AppSelectBench: Application-Level Tool Selection Benchmark
von: Chen, Tianyi, et al.
Veröffentlicht: (2025)

AppGen: Mobility-aware App Usage Behavior Generation for Mobile Users
von: Huang, Zihan, et al.
Veröffentlicht: (2024)

Beyond App Markets: Demystifying Underground Mobile App Distribution Via Telegram
von: Guo, Yanhui, et al.
Veröffentlicht: (2024)

VitaBench: Benchmarking LLM Agents with Versatile Interactive Tasks in Real-world Applications
von: He, Wei, et al.
Veröffentlicht: (2025)

AppBench: Planning of Multiple APIs from Various APPs for Complex User Instruction
von: Wang, Hongru, et al.
Veröffentlicht: (2024)

MobilityBench: A Benchmark for Evaluating Route-Planning Agents in Real-World Mobility Scenarios
von: Song, Zhiheng, et al.
Veröffentlicht: (2026)

App Planner: Utilizing Generative AI in K-12 Mobile App Development Education
von: Kim, David, et al.
Veröffentlicht: (2024)

GuideWeb: A Benchmark for Automatic In-App Guide Generation on Real-World Web UIs
von: Gan, Chengguang, et al.
Veröffentlicht: (2026)

TRIP-Bench: A Benchmark for Long-Horizon Interactive Agents in Real-World Scenarios
von: Shen, Yuanzhe, et al.
Veröffentlicht: (2026)

UI-Bench: A Benchmark for Evaluating Design Capabilities of AI Text-to-App Tools
von: Jung, Sam, et al.
Veröffentlicht: (2025)

INTERPOS: Interaction Rhythm Guided Positional Morphing for Mobile App Recommender Systems
von: Maqbool, M. H., et al.
Veröffentlicht: (2025)

HWE-Bench: Benchmarking LLM Agents on Real-World Hardware Bug Repair Tasks
von: Cui, Fan, et al.
Veröffentlicht: (2026)

LiveClawBench: Benchmarking LLM Agents on Complex, Real-World Assistant Tasks
von: Long, Xiang, et al.
Veröffentlicht: (2026)

AppCopilot: Toward General, Accurate, Long-Horizon, and Efficient Mobile Agent
von: Fan, Jingru, et al.
Veröffentlicht: (2025)

MobileBench-OL: A Comprehensive Chinese Benchmark for Evaluating Mobile GUI Agents in Real-World Environment
von: Wu, Qinzhuo, et al.
Veröffentlicht: (2026)

A Multi-Store Privacy Measurement of Virtual Reality App Ecosystem
von: Yan, Chuan, et al.
Veröffentlicht: (2025)

WebApp1K: A Practical Code-Generation Benchmark for Web App Development
von: Cui, Yi
Veröffentlicht: (2024)

ShoppingBench: A Real-World Intent-Grounded Shopping Benchmark for LLM-based Agents
von: Wang, Jiangyuan, et al.
Veröffentlicht: (2025)

Interoperable rApp/xApp Control over O-RAN for Mobility-aware Dynamic Spectrum Allocation
von: Giannopoulos, Anastasios, et al.
Veröffentlicht: (2026)

RTBAgent: A LLM-based Agent System for Real-Time Bidding
von: Cai, Leng, et al.
Veröffentlicht: (2025)

AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild
von: Sun, Jiazheng, et al.
Veröffentlicht: (2026)

Top Mobile App Development Company in Singapore 2026:
von: apptunix
Veröffentlicht: (2025)

Practitioner Views on Mobile App Accessibility: Practices and Challenges
von: Indika, Amila, et al.
Veröffentlicht: (2026)

Analysis of Marketed versus Not-marketed Mobile App Releases
von: Nayebi, Maleknaz, et al.
Veröffentlicht: (2024)

Practical, Automated Scenario-based Mobile App Testing
von: Yu, Shengcheng, et al.
Veröffentlicht: (2024)

Understanding Mobile App Reviews to Guide Misuse Audits
von: Garg, Vaibhav, et al.
Veröffentlicht: (2023)

Mobile App Development For Bus Monitoring in Macaé-RJ
von: Marcelli Pereira
Veröffentlicht: (2018)

VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents
von: Guo, JunJia, et al.
Veröffentlicht: (2026)

ViMo: A Generative Visual GUI World Model for App Agents
von: Luo, Dezhao, et al.
Veröffentlicht: (2025)

MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments
von: Kong, Quyu, et al.
Veröffentlicht: (2025)

MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants
von: Zhang, Zuhao, et al.
Veröffentlicht: (2026)

The App Economy
von: Kollnig, Konrad
Veröffentlicht: (2026)

GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging
von: Ni, Ziyi, et al.
Veröffentlicht: (2025)

SkillLearnBench: Benchmarking Continual Learning Methods for Agent Skill Generation on Real-World Tasks
von: Zhong, Shanshan, et al.
Veröffentlicht: (2026)

DataGovBench: Benchmarking LLM Agents for Real-World Data Governance Workflows
von: Liu, Zhou, et al.
Veröffentlicht: (2025)