Buchumschlag

LlamaTouch: A Faithful and Scalable Testbed for Mobile UI Task Automation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Li, Wang, Shihe, Jia, Xianqing, Zheng, Zhihan, Yan, Yunhe, Gao, Longxi, Li, Yuanchun, Xu, Mengwei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Human-Computer Interaction Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MobileViews: A Million-scale and Diverse Mobile GUI Dataset
von: Gao, Longxi, et al.
Veröffentlicht: (2024)

Prompt2Task: Automating UI Tasks on Smartphones from Textual Prompts
von: Huang, Tian, et al.
Veröffentlicht: (2024)

VisionTasker: Mobile Task Automation Using Vision Based UI Understanding and LLM Task Planning
von: Song, Yunpeng, et al.
Veröffentlicht: (2023)

MLLM-Based UI2Code Automation Guided by UI Layout Information
von: Wu, Fan, et al.
Veröffentlicht: (2025)

Automating UI Optimization through Multi-Agentic Reasoning
von: Li, Zhipeng, et al.
Veröffentlicht: (2026)

GhostUI: Unveiling Hidden Interactions in Mobile UI
von: Kweon, Minkyu, et al.
Veröffentlicht: (2026)

Context-Aware Workflow Decomposition for Automated Mobile UI Annotation Using Multimodal Large Language Models
von: Parvez, Athar, et al.
Veröffentlicht: (2026)

Agent-Initiated Interaction in Phone UI Automation
von: Kahlon, Noam, et al.
Veröffentlicht: (2025)

User-Centric Design of UI for Mobile Banking Apps: Improving UI and Features for Better Customer Experience
von: Chitrakar, Luniva, et al.
Veröffentlicht: (2026)

GUIrilla: A Scalable Framework for Automated Desktop UI Exploration
von: Garkot, Sofiya, et al.
Veröffentlicht: (2025)

MUIAnno: An Expert-Annotated Dataset and Evaluation Benchmark for Mobile UI Understanding
von: Parvez, Athar, et al.
Veröffentlicht: (2026)

The GenUI Study: Exploring the Design of Generative UI Tools to Support UX Practitioners and Beyond
von: Chen, Xiang 'Anthony', et al.
Veröffentlicht: (2025)

TouchScribe: Augmenting Non-Visual Hand-Object Interactions with Automated Live Visual Descriptions
von: Chang, Ruei-Che, et al.
Veröffentlicht: (2026)

Leveraging Large Language Models for Generating Mobile Sensing Strategies in Human Behavior Modeling
von: Gao, Nan, et al.
Veröffentlicht: (2023)

Macaron-A2UI: A Model for Generative UI in Personal Agents
von: Kong, Fancy, et al.
Veröffentlicht: (2026)

DuetUI: A Bidirectional Context Loop for Human-Agent Co-Generation of Task-Oriented Interfaces
von: Xu, Yuan, et al.
Veröffentlicht: (2025)

Automated UI Interface Generation via Diffusion Models: Enhancing Personalization and Efficiency
von: Duan, Yifei, et al.
Veröffentlicht: (2025)

μTouch: Enabling Accurate, Lightweight Self-Touch Sensing with Passive Magnets
von: Wang, Siyuan, et al.
Veröffentlicht: (2026)

TouchFusion: Multimodal Wristband Sensing for Ubiquitous Touch Interactions
von: Whitmire, Eric, et al.
Veröffentlicht: (2026)

Privacy Starts with UI: Privacy Patterns and Designer Perspectives in UI/UX Practice
von: Maloku, Anxhela, et al.
Veröffentlicht: (2026)

UI Remix: Supporting UI Design Through Interactive Example Retrieval and Remixing
von: Wang, Junling, et al.
Veröffentlicht: (2026)

Generating Automatic Feedback on UI Mockups with Large Language Models
von: Duan, Peitong, et al.
Veröffentlicht: (2024)

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
von: You, Keen, et al.
Veröffentlicht: (2024)

CrowdGenUI: Aligning LLM-Based UI Generation with Crowdsourced User Preferences
von: Liu, Yimeng, et al.
Veröffentlicht: (2024)

MapAgent: Trajectory-Constructed Memory-Augmented Planning for Mobile Task Automation
von: Kong, Yi, et al.
Veröffentlicht: (2025)

UbiTouch: Towards a Universal Touch Interface
von: Shah, Dev
Veröffentlicht: (2024)

SPRITE: From Static Mockups to Engine-Ready Game UI
von: Bai, Yunshu, et al.
Veröffentlicht: (2026)

From Interaction to Impact: Towards Safer AI Agents Through Understanding and Evaluating Mobile UI Operation Impacts
von: Zhang, Zhuohao Jerry, et al.
Veröffentlicht: (2024)

MAIC-UI: Making Interactive Courseware with Generative UI
von: Tu, Shangqing, et al.
Veröffentlicht: (2026)

SituFont: A Just-in-Time Adaptive Intervention System for Enhancing Mobile Readability in Situational Visual Impairments
von: Chen, Jingruo, et al.
Veröffentlicht: (2024)

Can Capacitive Touch Images Enhance Mobile Keyboard Decoding?
von: Lertvittayakumjorn, Piyawat, et al.
Veröffentlicht: (2024)

Beyond Automation: How UI/UX Designers Perceive AI as a Creative Partner in the Divergent Thinking Stages
von: Khan, Abidullah, et al.
Veröffentlicht: (2025)

ProactiveVA: Proactive Visual Analytics with LLM-Based UI Agent
von: Zhao, Yuheng, et al.
Veröffentlicht: (2025)

SpecifyUI: Supporting Iterative UI Design Intent Expression through Structured Specifications and Generative AI
von: Chen, Yunnong, et al.
Veröffentlicht: (2025)

MUD: Towards a Large-Scale and Noise-Filtered UI Dataset for Modern Style UI Modeling
von: Feng, Sidong, et al.
Veröffentlicht: (2024)

What is the focus of XAI in UI design? Prioritizing UI design principles for enhancing XAI user experience
von: Lei, Dian, et al.
Veröffentlicht: (2024)

Optimizing Gesture Recognition for Seamless UI Interaction Using Convolutional Neural Networks
von: Sun, Qi, et al.
Veröffentlicht: (2024)

Aria-UI: Visual Grounding for GUI Instructions
von: Yang, Yuhao, et al.
Veröffentlicht: (2024)

TaskSense: Cognitive Chain Modeling and Difficulty Estimation for GUI Tasks
von: Yin, Yiwen, et al.
Veröffentlicht: (2025)

BioMoTouch: Touch-Based Behavioral Authentication via Biometric-Motion Interaction Modeling
von: Ling, Zijian, et al.
Veröffentlicht: (2026)