Buchumschlag

M5 -- A Diverse Benchmark to Assess the Performance of Large Multimodal Models Across Multilingual and Multicultural Vision-Language Tasks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Schneider, Florian, Sitaram, Sunayana
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Contamination Report for Multilingual Benchmarks
von: Ahuja, Sanchit, et al.
Veröffentlicht: (2024)

A Unified Framework and Dataset for Assessing Societal Bias in Vision-Language Models
von: Sathe, Ashutosh, et al.
Veröffentlicht: (2024)

MAPLE: Multilingual Evaluation of Parameter Efficient Finetuning of Large Language Models
von: Aggarwal, Divyanshu, et al.
Veröffentlicht: (2024)

HEALTH-PARIKSHA: Assessing RAG Models for Health Chatbots in Real-World Multilingual Settings
von: Gumma, Varun, et al.
Veröffentlicht: (2024)

MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks
von: Ahuja, Sanchit, et al.
Veröffentlicht: (2023)

Let's Play Across Cultures: A Large Multilingual, Multicultural Benchmark for Assessing Language Models' Understanding of Sports
von: Singh, Punit Kumar, et al.
Veröffentlicht: (2025)

Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models
von: Aggarwal, Divyanshu, et al.
Veröffentlicht: (2024)

Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation?
von: Hada, Rishav, et al.
Veröffentlicht: (2023)

Exploring Continual Fine-Tuning for Enhancing Language Ability in Large Language Model
von: Aggarwal, Divyanshu, et al.
Veröffentlicht: (2024)

METAL: Towards Multilingual Meta-Evaluation
von: Hada, Rishav, et al.
Veröffentlicht: (2024)

MS-HuBERT: Mitigating Pre-training and Inference Mismatch in Masked Language Modelling methods for learning Speech Representations
von: Yadav, Hemant, et al.
Veröffentlicht: (2024)

PARIKSHA: A Large-Scale Investigation of Human-LLM Evaluator Agreement on Multilingual and Multi-Cultural Data
von: Watts, Ishaan, et al.
Veröffentlicht: (2024)

Bridging the Language Gap: Dynamic Learning Strategies for Improving Multilingual Performance in LLMs
von: Kumar, Somnath, et al.
Veröffentlicht: (2023)

CultureLLM: Incorporating Cultural Differences into Large Language Models
von: Li, Cheng, et al.
Veröffentlicht: (2024)

Multi3Hate: Multimodal, Multilingual, and Multicultural Hate Speech Detection with Vision-Language Models
von: Bui, Minh Duc, et al.
Veröffentlicht: (2024)

DEPART: DEcomposing PARiTy across Multilingual LLMs
von: Uppadhyay, Manan, et al.
Veröffentlicht: (2026)

The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models
von: Liu, Yilun, et al.
Veröffentlicht: (2026)

Improving Self Consistency in LLMs through Probabilistic Tokenization
von: Sathe, Ashutosh, et al.
Veröffentlicht: (2024)

MVL-SIB: A Massively Multilingual Vision-Language Benchmark for Cross-Modal Topical Matching
von: Schmidt, Fabian David, et al.
Veröffentlicht: (2025)

Speech Representation Learning Revisited: The Necessity of Separate Learnable Parameters and Robust Data Augmentation
von: Yadav, Hemant, et al.
Veröffentlicht: (2024)

JOOCI: a Framework for Learning Comprehensive Speech Representations
von: Yadav, Hemant, et al.
Veröffentlicht: (2024)

A Multilingual, Culture-First Approach to Addressing Misgendering in LLM Applications
von: Sitaram, Sunayana, et al.
Veröffentlicht: (2025)

Centurio: On Drivers of Multilingual Ability of Large Vision-Language Model
von: Geigle, Gregor, et al.
Veröffentlicht: (2025)

Teaching LLMs to Abstain across Languages via Multilingual Feedback
von: Feng, Shangbin, et al.
Veröffentlicht: (2024)

DOSA: A Dataset of Social Artifacts from Different Indian Geographical Subcultures
von: Seth, Agrima, et al.
Veröffentlicht: (2024)

Bridging the Gap: Dynamic Learning Strategies for Improving Multilingual Performance in LLMs
von: Kumar, Somnath, et al.
Veröffentlicht: (2024)

CulturALL: Benchmarking Multilingual and Multicultural Competence of LLMs on Grounded Tasks
von: Lin, Peiqin, et al.
Veröffentlicht: (2026)

MAFIA: Multi-Adapter Fused Inclusive LanguAge Models
von: Jain, Prachi, et al.
Veröffentlicht: (2024)

General365: Benchmarking General Reasoning in Large Language Models Across Diverse and Challenging Tasks
von: Liu, Junlin, et al.
Veröffentlicht: (2026)

Towards Inclusive NLP: Assessing Compressed Multilingual Transformers across Diverse Language Benchmarks
von: Alshehhi, Maitha, et al.
Veröffentlicht: (2025)

Diversity Enhances an LLM's Performance in RAG and Long-context Task
von: Wang, Zhichao, et al.
Veröffentlicht: (2025)

POLAR: A Benchmark for Multilingual, Multicultural, and Multi-Event Online Polarization
von: Naseem, Usman, et al.
Veröffentlicht: (2025)

Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment
von: Agarwal, Dhruv, et al.
Veröffentlicht: (2025)

Are Multilingual LLMs Culturally-Diverse Reasoners? An Investigation into Multicultural Proverbs and Sayings
von: Liu, Chen Cecilia, et al.
Veröffentlicht: (2023)

MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application
von: Peng, Xueqing, et al.
Veröffentlicht: (2025)

Multilingual Prompt Engineering in Large Language Models: A Survey Across NLP Tasks
von: Vatsal, Shubham, et al.
Veröffentlicht: (2025)

TRUCE: Private Benchmarking to Prevent Contamination and Improve Comparative Evaluation of LLMs
von: Rajore, Tanmay, et al.
Veröffentlicht: (2024)

A Multimodal Recaptioning Framework to Account for Perceptual Diversity Across Languages in Vision-Language Modeling
von: Buettner, Kyle, et al.
Veröffentlicht: (2025)

ThaiOCRBench: A Task-Diverse Benchmark for Vision-Language Understanding in Thai
von: Nonesung, Surapon, et al.
Veröffentlicht: (2025)

Assessing Consistency and Reproducibility in the Outputs of Large Language Models: Evidence Across Diverse Finance and Accounting Tasks
von: Wang, Julian Junyan, et al.
Veröffentlicht: (2025)