Buchumschlag

Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gou, Boyu, Wang, Ruohan, Zheng, Boyuan, Xie, Yanan, Chang, Cheng, Shu, Yiheng, Sun, Huan, Su, Yu
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Artificial Intelligence Computation and Language Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

GPT-4V(ision) is a Generalist Web Agent, if Grounded
von: Zheng, Boyuan, et al.
Veröffentlicht: (2024)

Beyond Clicking:A Step Towards Generalist GUI Grounding via Text Dragging
von: Liao, Zeyi, et al.
Veröffentlicht: (2025)

GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents
von: Wu, Qianhui, et al.
Veröffentlicht: (2025)

SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents
von: Cheng, Kanzhi, et al.
Veröffentlicht: (2024)

GUI-G1: Understanding R1-Zero-Like Training for Visual Grounding in GUI Agents
von: Zhou, Yuqi, et al.
Veröffentlicht: (2025)

Is Your LLM Secretly a World Model of the Internet? Model-Based Planning for Web Agents
von: Gu, Yu, et al.
Veröffentlicht: (2024)

Smoothing Grounding and Reasoning for MLLM-Powered GUI Agents with Query-Oriented Pivot Tasks
von: Wu, Zongru, et al.
Veröffentlicht: (2025)

Dual-View Visual Contextualization for Web Navigation
von: Kil, Jihyung, et al.
Veröffentlicht: (2024)

Visual Test-time Scaling for GUI Agent Grounding
von: Luo, Tiange, et al.
Veröffentlicht: (2025)

DiMo-GUI: Advancing Test-time Scaling in GUI Grounding via Modality-Aware Visual Reasoning
von: Wu, Hang, et al.
Veröffentlicht: (2025)

Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction
von: Xu, Yiheng, et al.
Veröffentlicht: (2024)

An Illusion of Progress? Assessing the Current State of Web Agents
von: Xue, Tianci, et al.
Veröffentlicht: (2025)

A Trembling House of Cards? Mapping Adversarial Attacks against Language Agents
von: Mo, Lingbo, et al.
Veröffentlicht: (2024)

VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation
von: Ye, Ziang, et al.
Veröffentlicht: (2025)

AGENTCL: Toward Rigorous Evaluation of Continual Learning in Language Agents
von: Shu, Yiheng, et al.
Veröffentlicht: (2026)

MMBench-GUI: Hierarchical Multi-Platform Evaluation Framework for GUI Agents
von: Wang, Xuehui, et al.
Veröffentlicht: (2025)

Learning GUI Grounding with Spatial Reasoning from Visual Feedback
von: Zhao, Yu, et al.
Veröffentlicht: (2025)

Data Distribution Bottlenecks in Grounding Language Models to Knowledge Bases
von: Shu, Yiheng, et al.
Veröffentlicht: (2023)

Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding
von: Kumbhar, Shrinidhi, et al.
Veröffentlicht: (2026)

GUI-ARP: Enhancing Grounding with Adaptive Region Perception for GUI Agents
von: Ye, Xianhang, et al.
Veröffentlicht: (2025)

Aria-UI: Visual Grounding for GUI Instructions
von: Yang, Yuhao, et al.
Veröffentlicht: (2024)

RISK: A Framework for GUI Agents in E-commerce Risk Management
von: Chen, Renqi, et al.
Veröffentlicht: (2025)

UIPro: Unleashing Superior Interaction Capability For GUI Agents
von: Li, Hongxin, et al.
Veröffentlicht: (2025)

VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents
von: Wu, Zheng, et al.
Veröffentlicht: (2025)

ZeroGUI: Automating Online GUI Learning at Zero Human Cost
von: Yang, Chenyu, et al.
Veröffentlicht: (2025)

AutoGUI: Scaling GUI Grounding with Automatic Functionality Annotations from LLMs
von: Li, Hongxin, et al.
Veröffentlicht: (2025)

AgentLens: Adaptive Visual Modalities for Human-Agent Interaction in Mobile GUI Agents
von: Kim, Jeonghyeon, et al.
Veröffentlicht: (2026)

ShowUI-Aloha: Human-Taught GUI Agent
von: Zhang, Yichun, et al.
Veröffentlicht: (2026)

Do Visual Imaginations Improve Vision-and-Language Navigation Agents?
von: Perincherry, Akhil, et al.
Veröffentlicht: (2025)

GUI-G$^2$: Gaussian Reward Modeling for GUI Grounding
von: Tang, Fei, et al.
Veröffentlicht: (2025)

ShowUI: One Vision-Language-Action Model for GUI Visual Agent
von: Lin, Kevin Qinghong, et al.
Veröffentlicht: (2024)

\textsc{GUI-Spotlight}: Adaptive Iterative Focus Refinement for Enhanced GUI Visual Grounding
von: Lei, Bin, et al.
Veröffentlicht: (2025)

POINTS-GUI-G: GUI-Grounding Journey
von: Zhao, Zhongyin, et al.
Veröffentlicht: (2026)

WinClick: GUI Grounding with Multimodal Large Language Models
von: Hui, Zheng, et al.
Veröffentlicht: (2025)

Guiding VLM Agents with Process Rewards at Inference Time for GUI Navigation
von: Hu, Zhiyuan, et al.
Veröffentlicht: (2025)

UI-AGILE: Advancing GUI Agents with Effective Reinforcement Learning and Precise Inference-Time Grounding
von: Lian, Shuquan, et al.
Veröffentlicht: (2025)

ViMo: A Generative Visual GUI World Model for App Agents
von: Luo, Dezhao, et al.
Veröffentlicht: (2025)

UITron-Speech: Towards Automated GUI Agents Based on Speech Instructions
von: Han, Wenkang, et al.
Veröffentlicht: (2025)

CogAgent: A Visual Language Model for GUI Agents
von: Hong, Wenyi, et al.
Veröffentlicht: (2023)

Adversarial Testing for Visual Grounding via Image-Aware Property Reduction
von: Chang, Zhiyuan, et al.
Veröffentlicht: (2024)