Buchumschlag

MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Murthy, Rithesh, Yang, Liangwei, Tan, Juntao, Awalgaonkar, Tulika Manoj, Zhou, Yilun, Heinecke, Shelby, Desai, Sachin, Wu, Jason, Xu, Ran, Tan, Sarah, Zhang, Jianguo, Liu, Zhiwei, Kokane, Shirley, Liu, Zuxin, Zhu, Ming, Wang, Huan, Xiong, Caiming, Savarese, Silvio
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PersonaBench: Evaluating AI Models on Understanding Personal Information through Accessing (Synthetic) Private User Data
von: Tan, Juntao, et al.
Veröffentlicht: (2025)

AgentOhana: Design Unified Data and Training Pipeline for Effective Agent Learning
von: Zhang, Jianguo, et al.
Veröffentlicht: (2024)

ToolScan: A Benchmark for Characterizing Errors in Tool-Use LLMs
von: Kokane, Shirley, et al.
Veröffentlicht: (2024)

PRACT: Optimizing Principled Reasoning and Acting of LLM Agent
von: Liu, Zhiwei, et al.
Veröffentlicht: (2024)

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models
von: Murthy, Rithesh, et al.
Veröffentlicht: (2025)

APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets
von: Liu, Zuxin, et al.
Veröffentlicht: (2024)

xLAM: A Family of Large Action Models to Empower AI Agent Systems
von: Zhang, Jianguo, et al.
Veröffentlicht: (2024)

Personalized Multi-task Training for Recommender System
von: Yang, Liangwei, et al.
Veröffentlicht: (2024)

RealUserSim: Bridging the Reality Gap in Agent Benchmarking via Grounded User Simulation
von: Zhu, Ming, et al.
Veröffentlicht: (2026)

LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering
von: Qiu, Jielin, et al.
Veröffentlicht: (2025)

LoCoBench: A Benchmark for Long-Context Large Language Models in Complex Software Engineering
von: Qiu, Jielin, et al.
Veröffentlicht: (2025)

ActionStudio: A Lightweight Framework for Data and Training of Large Action Models
von: Zhang, Jianguo, et al.
Veröffentlicht: (2025)

Position: Vector Prompt Interfaces Should Be Exposed to Enable Customization of Large Language Models
von: Yang, Liangwei, et al.
Veröffentlicht: (2026)

AgentLite: A Lightweight Library for Building and Advancing Task-Oriented LLM Agent System
von: Liu, Zhiwei, et al.
Veröffentlicht: (2024)

Entropy-Based Block Pruning for Efficient Large Language Models
von: Yang, Liangwei, et al.
Veröffentlicht: (2025)

Whisper-AuT: Domain-Adapted Audio Encoder for Efficient Audio-LLM Training
von: Qiu, Jielin, et al.
Veröffentlicht: (2026)

Enterprise Sales Copilot: Enabling Real-Time AI Support with Automatic Information Retrieval in Live Sales Calls
von: Qiu, Jielin, et al.
Veröffentlicht: (2026)

Building Enterprise Realtime Voice Agents from Scratch: A Technical Tutorial
von: Qiu, Jielin, et al.
Veröffentlicht: (2026)

ToolLibGen: Scalable Automatic Tool Creation and Aggregation for LLM Reasoning
von: Yue, Murong, et al.
Veröffentlicht: (2025)

Test-Time Adaptation for LLM Agents via Environment Interaction
von: Chen, Arthur, et al.
Veröffentlicht: (2025)

GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs
von: Yang, Liangwei, et al.
Veröffentlicht: (2025)

APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay
von: Prabhakar, Akshara, et al.
Veröffentlicht: (2025)

AudioCapBench: Quick Evaluation on Audio Captioning across Sound, Music, and Speech
von: Qiu, Jielin, et al.
Veröffentlicht: (2026)

VoiceAgentRAG: Solving the RAG Latency Bottleneck in Real-Time Voice Agents Using Dual-Agent Architectures
von: Qiu, Jielin, et al.
Veröffentlicht: (2026)

UserRL: Training Interactive User-Centric Agent via Reinforcement Learning
von: Qian, Cheng, et al.
Veröffentlicht: (2025)

xRouter: Training Cost-Aware LLMs Orchestration System via Reinforcement Learning
von: Qian, Cheng, et al.
Veröffentlicht: (2025)

Prompt Optimization Via Diffusion Language Models
von: Wang, Shiyu, et al.
Veröffentlicht: (2026)

MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models
von: Liu, Zhiwei, et al.
Veröffentlicht: (2025)

UserBench: An Interactive Gym Environment for User-Centric Agents
von: Qian, Cheng, et al.
Veröffentlicht: (2025)

LATTE: Learning to Think with Vision Specialists
von: Ma, Zixian, et al.
Veröffentlicht: (2024)

Diversity Empowers Intelligence: Integrating Expertise of Software Engineering Agents
von: Zhang, Kexun, et al.
Veröffentlicht: (2024)

DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI
von: Zhang, Jianguo, et al.
Veröffentlicht: (2023)

LAM SIMULATOR: Advancing Data Generation for Large Action Model Training via Online Exploration and Trajectory Feedback
von: Hoang, Thai, et al.
Veröffentlicht: (2025)

Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization
von: Yao, Weiran, et al.
Veröffentlicht: (2023)

Towards More Robust and Accurate Sequential Recommendation with Cascade-guided Adversarial Training
von: Tan, Juntao, et al.
Veröffentlicht: (2023)

Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding
von: Chen, Haolin, et al.
Veröffentlicht: (2024)

REX: Rapid Exploration and eXploitation for AI Agents
von: Murthy, Rithesh, et al.
Veröffentlicht: (2023)

Shared Imagination: LLMs Hallucinate Alike
von: Zhou, Yilun, et al.
Veröffentlicht: (2024)

CoDA: Coding LM via Diffusion Adaptation
von: Chen, Haolin, et al.
Veröffentlicht: (2025)

Causal Layering via Conditional Entropy
von: Feigenbaum, Itai, et al.
Veröffentlicht: (2024)