Buchumschlag

GIMMICK -- Globally Inclusive Multimodal Multitask Cultural Knowledge Benchmarking

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Schneider, Florian, Holtermann, Carolin, Biemann, Chris, Lauscher, Anne
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SoS: Analysis of Surface over Semantics in Multilingual Text-To-Image Generation
von: Holtermann, Carolin, et al.
Veröffentlicht: (2026)

Centurio: On Drivers of Multilingual Ability of Large Vision-Language Model
von: Geigle, Gregor, et al.
Veröffentlicht: (2025)

Around the World in 24 Hours: Probing LLM Knowledge of Time and Place
von: Holtermann, Carolin, et al.
Veröffentlicht: (2025)

TempViz: On the Evaluation of Temporal Knowledge in Text-to-Image Models
von: Holtermann, Carolin, et al.
Veröffentlicht: (2026)

What the Weight?! A Unified Framework for Zero-Shot Knowledge Composition
von: Holtermann, Carolin, et al.
Veröffentlicht: (2024)

Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ
von: Holtermann, Carolin, et al.
Veröffentlicht: (2024)

ScaLearn: Simple and Highly Parameter-Efficient Task Transfer by Learning to Scale
von: Frohmann, Markus, et al.
Veröffentlicht: (2023)

Large Language Models Discriminate Against Speakers of German Dialects
von: Bui, Minh Duc, et al.
Veröffentlicht: (2025)

MVL-SIB: A Massively Multilingual Vision-Language Benchmark for Cross-Modal Topical Matching
von: Schmidt, Fabian David, et al.
Veröffentlicht: (2025)

Why do LLaVA Vision-Language Models Reply to Images in English?
von: Hinck, Musashi, et al.
Veröffentlicht: (2024)

Greater accessibility can amplify discrimination in generative AI
von: Holtermann, Carolin, et al.
Veröffentlicht: (2026)

The Echoes of Multilinguality: Tracing Cultural Value Shifts during LM Fine-tuning
von: Choenni, Rochelle, et al.
Veröffentlicht: (2024)

Perspectives - Interactive Document Clustering in the Discourse Analysis Tool Suite
von: Fischer, Tim, et al.
Veröffentlicht: (2026)

CollEX -- A Multimodal Agentic RAG System Enabling Interactive Exploration of Scientific Collections
von: Schneider, Florian, et al.
Veröffentlicht: (2025)

Dataset of Quotation Attribution in German News Articles
von: Petersen-Frey, Fynn, et al.
Veröffentlicht: (2024)

Multi3Hate: Multimodal, Multilingual, and Multicultural Hate Speech Detection with Vision-Language Models
von: Bui, Minh Duc, et al.
Veröffentlicht: (2024)

Detecting Hallucinations in Authentic LLM-Human Interactions
von: Ren, Yujie, et al.
Veröffentlicht: (2025)

Building Bridges: A Dataset for Evaluating Gender-Fair Machine Translation into German
von: Lardelli, Manuel, et al.
Veröffentlicht: (2024)

GRUFF: LLM Pronoun Fidelity, Reasoning, and Biases in German
von: Mewes, Fabian, et al.
Veröffentlicht: (2026)

Self-Taught Self-Correction for Small Language Models
von: Moskvoretskii, Viktor, et al.
Veröffentlicht: (2025)

VMMU: A Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark
von: Dang, Vy Tuong, et al.
Veröffentlicht: (2025)

M5 -- A Diverse Benchmark to Assess the Performance of Large Multimodal Models Across Multilingual and Multicultural Vision-Language Tasks
von: Schneider, Florian, et al.
Veröffentlicht: (2024)

Mind the Inclusivity Gap: Multilingual Gender-Neutral Translation Evaluation with mGeNTE
von: Savoldi, Beatrice, et al.
Veröffentlicht: (2025)

Decoding Multilingual Moral Preferences: Unveiling LLM's Biases Through the Moral Machine Experiment
von: Vida, Karina, et al.
Veröffentlicht: (2024)

AutomaTikZ: Text-Guided Synthesis of Scientific Vector Graphics with TikZ
von: Belouadi, Jonas, et al.
Veröffentlicht: (2023)

Probing Large Language Models from A Human Behavioral Perspective
von: Wang, Xintong, et al.
Veröffentlicht: (2023)

VIDA: A dataset for Visually Dependent Ambiguity in Multimodal Machine Translation
von: Pan, Jingheng, et al.
Veröffentlicht: (2026)

Just Use XML: Revisiting Joint Translation and Label Projection
von: DK, Thennal, et al.
Veröffentlicht: (2026)

Do I look like a `cat.n.01` to you? A Taxonomy Image Generation Benchmark
von: Moskvoretskii, Viktor, et al.
Veröffentlicht: (2025)

Decision-Making with Deliberation: Meta-reviewing as a Document-grounded Dialogue
von: Purkayastha, Sukannya, et al.
Veröffentlicht: (2025)

The Lou Dataset -- Exploring the Impact of Gender-Fair Language in German Text Classification
von: Waldis, Andreas, et al.
Veröffentlicht: (2024)

Local Contrastive Editing of Gender Stereotypes
von: Lutz, Marlene, et al.
Veröffentlicht: (2024)

Large Language Models Are Overparameterized Text Encoders
von: K, Thennal D, et al.
Veröffentlicht: (2024)

Argument-Based Comparative Question Answering Evaluation Benchmark
von: Nikishina, Irina, et al.
Veröffentlicht: (2025)

Stop! In the Name of Flaws: Disentangling Personal Names and Sociodemographic Attributes in NLP
von: Gautam, Vagrant, et al.
Veröffentlicht: (2024)

On Zero-Shot Counterspeech Generation by LLMs
von: Saha, Punyajoy, et al.
Veröffentlicht: (2024)

The Curious Case of Factual (Mis)Alignment between LLMs' Short- and Long-Form Answers
von: Islam, Saad Obaid ul, et al.
Veröffentlicht: (2025)

How Much Do LLMs Hallucinate across Languages? On Realistic Multilingual Estimation of LLM Hallucination
von: Islam, Saad Obaid ul, et al.
Veröffentlicht: (2025)

Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting
von: Beck, Tilman, et al.
Veröffentlicht: (2023)

Large Language Models for Human-Machine Collaborative Particle Accelerator Tuning through Natural Language
von: Kaiser, Jan, et al.
Veröffentlicht: (2024)