Buchumschlag

GRAB: A Challenging GRaph Analysis Benchmark for Large Multimodal Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Roberts, Jonathan, Han, Kai, Albanie, Samuel
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SciFIBench: Benchmarking Large Multimodal Models for Scientific Figure Interpretation
von: Roberts, Jonathan, et al.
Veröffentlicht: (2024)

Charting New Territories: Exploring the Geographic and Geospatial Capabilities of Multimodal LLMs
von: Roberts, Jonathan, et al.
Veröffentlicht: (2023)

ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models
von: Roberts, Jonathan, et al.
Veröffentlicht: (2025)

A Good CREPE needs more than just Sugar: Investigating Biases in Compositional Vision-Language Benchmarks
von: Udandarao, Vishaal, et al.
Veröffentlicht: (2025)

Active Data Curation Effectively Distills Large-Scale Multimodal Models
von: Udandarao, Vishaal, et al.
Veröffentlicht: (2024)

How to Merge Your Multimodal Models Over Time?
von: Dziadzio, Sebastian, et al.
Veröffentlicht: (2024)

CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy
von: Yang, Zhibo, et al.
Veröffentlicht: (2024)

ViRectify: A Challenging Benchmark for Video Reasoning Correction with Multimodal Large Language Models
von: Hei, Xusen, et al.
Veröffentlicht: (2025)

FPBench: A Comprehensive Benchmark of Multimodal Large Language Models for Fingerprint Analysis
von: Gavas, Ekta, et al.
Veröffentlicht: (2025)

MME-SCI: A Comprehensive and Challenging Science Benchmark for Multimodal Large Language Models
von: Ruan, Jiacheng, et al.
Veröffentlicht: (2025)

ONEBench to Test Them All: Sample-Level Benchmarking Over Open-Ended Capabilities
von: Ghosh, Adhiraj, et al.
Veröffentlicht: (2024)

Exploring Hallucination of Large Multimodal Models in Video Understanding: Benchmark, Analysis and Mitigation
von: Gao, Hongcheng, et al.
Veröffentlicht: (2025)

Seeing Is Believing? A Benchmark for Multimodal Large Language Models on Visual Illusions and Anomalies
von: Hou, Wenjin, et al.
Veröffentlicht: (2026)

PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models
von: Xu, Zhaopan, et al.
Veröffentlicht: (2025)

A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision
von: Raude, Charles, et al.
Veröffentlicht: (2024)

Comprehensive Evaluation of Large Multimodal Models for Nutrition Analysis: A New Benchmark Enriched with Contextual Metadata
von: Coburn, Bruce, et al.
Veröffentlicht: (2025)

No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance
von: Udandarao, Vishaal, et al.
Veröffentlicht: (2024)

LMOD: A Large Multimodal Ophthalmology Dataset and Benchmark for Large Vision-Language Models
von: Qin, Zhenyue, et al.
Veröffentlicht: (2024)

Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks
von: Zheng, Xu, et al.
Veröffentlicht: (2025)

MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models
von: Fu, Chaoyou, et al.
Veröffentlicht: (2023)

Efficient Lifelong Model Evaluation in an Era of Rapid Progress
von: Prabhu, Ameya, et al.
Veröffentlicht: (2024)

ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models
von: De Min, Thomas, et al.
Veröffentlicht: (2026)

LMOD+: A Comprehensive Multimodal Dataset and Benchmark for Developing and Evaluating Multimodal Large Language Models in Ophthalmology
von: Qin, Zhenyue, et al.
Veröffentlicht: (2025)

PPE: Positional Preservation Embedding for Token Compression in Multimodal Large Language Models
von: Huang, Mouxiao, et al.
Veröffentlicht: (2025)

DesignProbe: A Graphic Design Benchmark for Multimodal Large Language Models
von: Lin, Jieru, et al.
Veröffentlicht: (2024)

SportR: A Benchmark for Multimodal Large Language Model Reasoning in Sports
von: Xia, Haotian, et al.
Veröffentlicht: (2025)

A Practitioner's Guide to Continual Multimodal Pretraining
von: Roth, Karsten, et al.
Veröffentlicht: (2024)

FMBench: Benchmarking Fairness in Multimodal Large Language Models on Medical Tasks
von: Wu, Peiran, et al.
Veröffentlicht: (2024)

BBQ-V: Benchmarking Visual Stereotype Bias in Large Multimodal Models
von: Narnaware, Vishal, et al.
Veröffentlicht: (2025)

VEBench:Benchmarking Large Multimodal Models for Real-World Video Editing
von: Deng, Andong, et al.
Veröffentlicht: (2026)

Beyond the Visible: Benchmarking Occlusion Perception in Multimodal Large Language Models
von: Liu, Zhaochen, et al.
Veröffentlicht: (2025)

DFBench: Benchmarking Deepfake Image Detection Capability of Large Multimodal Models
von: Wang, Jiarui, et al.
Veröffentlicht: (2025)

LOKI: A Comprehensive Synthetic Data Detection Benchmark using Large Multimodal Models
von: Ye, Junyan, et al.
Veröffentlicht: (2024)

SOVABench: A Vehicle Surveillance Action Retrieval Benchmark for Multimodal Large Language Models
von: Rabasseda, Oriol, et al.
Veröffentlicht: (2026)

MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models
von: Liu, Xin, et al.
Veröffentlicht: (2023)

VP-Bench: A Comprehensive Benchmark for Visual Prompting in Multimodal Large Language Models
von: Xu, Mingjie, et al.
Veröffentlicht: (2025)

Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied Brain
von: Luo, Yulin, et al.
Veröffentlicht: (2025)

Enhancing Explainability in Multimodal Large Language Models Using Ontological Context
von: Amara, Jihen, et al.
Veröffentlicht: (2024)

A Benchmark for Crime Surveillance Video Analysis with Large Models
von: Chen, Haoran, et al.
Veröffentlicht: (2025)

MM-Vet v2: A Challenging Benchmark to Evaluate Large Multimodal Models for Integrated Capabilities
von: Yu, Weihao, et al.
Veröffentlicht: (2024)