Buchumschlag

COMMA: A Communicative Multimodal Multi-Agent Benchmark

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ossowski, Timothy, Maqbool, Danyal, Chen, Jixuan, Cai, Zefan, Bradshaw, Tyler, Hu, Junjie
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CodeClinic: Evaluating Automation of Coding Skills for Clinical Reasoning Agents
von: Ossowski, Timothy, et al.
Veröffentlicht: (2026)

OLIVE: Object Level In-Context Visual Embeddings
von: Ossowski, Timothy, et al.
Veröffentlicht: (2024)

Opportunistic Promptable Segmentation: Leveraging Routine Radiological Annotations to Guide 3D CT Lesion Segmentation
von: Church, Samuel, et al.
Veröffentlicht: (2026)

Prompting Large Vision-Language Models for Compositional Reasoning
von: Ossowski, Timothy, et al.
Veröffentlicht: (2024)

OctoMed: Data Recipes for State-of-the-Art Multimodal Medical Reasoning
von: Ossowski, Timothy, et al.
Veröffentlicht: (2025)

BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents
von: Huang, Jiahao, et al.
Veröffentlicht: (2026)

MENTOR: Efficient Multimodal-Conditioned Tuning for Autoregressive Vision Generation Models
von: Zhao, Haozhe, et al.
Veröffentlicht: (2025)

MedMASLab: A Unified Orchestration Framework for Benchmarking Multimodal Medical Multi-Agent Systems
von: Qian, Yunhang, et al.
Veröffentlicht: (2026)

LLM Agent for Fire Dynamics Simulations
von: Xu, Leidong, et al.
Veröffentlicht: (2024)

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
von: Xie, Tianbao, et al.
Veröffentlicht: (2024)

PETAR: Localized Findings Generation with Mask-Aware Vision-Language Modeling for PET Automated Reporting
von: Maqbool, Danyal, et al.
Veröffentlicht: (2025)

Tailored-LLaMA: Optimizing Few-Shot Learning in Pruned LLaMA Models with Task-Specific Prompts
von: Aftab, Danyal, et al.
Veröffentlicht: (2024)

CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents
von: Xu, Tianqi, et al.
Veröffentlicht: (2024)

BRIGHT+: Upgrading the BRIGHT Benchmark with MARCUS, a Multi-Agent RAG Clean-Up Suite
von: Chen, Liyang, et al.
Veröffentlicht: (2025)

Evaluating Collaborative and Autonomous Agents in Data-Stream-Supported Coordination of Mobile Crowdsourcing
von: Bruns, Ralf, et al.
Veröffentlicht: (2024)

On-Time Delivery in Crowdshipping Systems: An Agent-Based Approach Using Streaming Data
von: Dötterl, Jeremias, et al.
Veröffentlicht: (2024)

DeliveryBench: Can Agents Earn Profit in Real World?
von: Mao, Lingjun, et al.
Veröffentlicht: (2025)

DynaTrust: Defending Multi-Agent Systems Against Sleeper Agents via Dynamic Trust Graphs
von: Li, Yu, et al.
Veröffentlicht: (2026)

CausalAgent: A Conversational Multi-Agent System for End-to-End Causal Inference
von: Zhu, Jiawei, et al.
Veröffentlicht: (2026)

Understanding Individual Agent Importance in Multi-Agent System via Counterfactual Reasoning
von: Chen, Jianming, et al.
Veröffentlicht: (2024)

AgentRx: A Benchmark Study of LLM Agents for Multimodal Clinical Prediction Tasks
von: Jorf, Baraa Al, et al.
Veröffentlicht: (2026)

MLA-Trust: Benchmarking Trustworthiness of Multimodal LLM Agents in GUI Environments
von: Yang, Xiao, et al.
Veröffentlicht: (2025)

OPT-BENCH: Evaluating the Iterative Self-Optimization of LLM Agents in Large-Scale Search Spaces
von: Li, Xiaozhe, et al.
Veröffentlicht: (2026)

OSUniverse: Benchmark for Multimodal GUI-navigation AI Agents
von: Davydova, Mariya, et al.
Veröffentlicht: (2025)

HeadInfer: Memory-Efficient LLM Inference by Head-wise Offloading
von: Luo, Cheng, et al.
Veröffentlicht: (2025)

Smart Recommendations for Renting Bikes in Bike Sharing Systems
von: Billhardt, Holger, et al.
Veröffentlicht: (2024)

ELHPlan: Efficient Long-Horizon Task Planning for Multi-Agent Collaboration
von: Ling, Shaobin, et al.
Veröffentlicht: (2025)

RiOSWorld: Benchmarking the Risk of Multimodal Computer-Use Agents
von: Yang, Jingyi, et al.
Veröffentlicht: (2025)

MM-IQ: Benchmarking Human-Like Abstraction and Reasoning in Multimodal Models
von: Cai, Huanqia, et al.
Veröffentlicht: (2025)

SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors
von: Najt, Elle, et al.
Veröffentlicht: (2026)

BrowseComp-$V^3$: A Visual, Vertical, and Verifiable Benchmark for Multimodal Browsing Agents
von: Zhang, Huanyao, et al.
Veröffentlicht: (2026)

CAFES: A Collaborative Multi-Agent Framework for Multi-Granular Multimodal Essay Scoring
von: Su, Jiamin, et al.
Veröffentlicht: (2025)

A Unified Multi-Agent Framework for Universal Multimodal Understanding and Generation
von: Li, Jiulin, et al.
Veröffentlicht: (2025)

MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome
von: Ye, Fangda, et al.
Veröffentlicht: (2026)

SciToolAgent: A Knowledge Graph-Driven Scientific Agent for Multi-Tool Integration
von: Ding, Keyan, et al.
Veröffentlicht: (2025)

MMSearch-Plus: Benchmarking Provenance-Aware Search for Multimodal Browsing Agents
von: Tao, Xijia, et al.
Veröffentlicht: (2025)

EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents
von: Liu, Yunqi, et al.
Veröffentlicht: (2026)

NEWSAGENT: Benchmarking Multimodal Agents as Journalists with Real-World Newswriting Tasks
von: Chien, Yen-Che, et al.
Veröffentlicht: (2025)

MemVerse: Multimodal Memory for Lifelong Learning Agents
von: Liu, Junming, et al.
Veröffentlicht: (2025)

MMInA: Benchmarking Multihop Multimodal Internet Agents
von: Tian, Shulin, et al.
Veröffentlicht: (2024)