Buchumschlag

XCR-Bench: A Multi-Task Benchmark for Evaluating Cultural Reasoning in LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kabir, Mohsinul, Ahmed, Tasnim, Rahman, Md Mezbaur, Ji, Shaoxiong, Alhuzali, Hassan, Ananiadou, Sophia
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence Computers and Society
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Semantic Label Drift in Cross-Cultural Translation
von: Kabir, Mohsinul, et al.
Veröffentlicht: (2025)

Break the Checkbox: Challenging Closed-Style Evaluations of Cultural Alignment in LLMs
von: Kabir, Mohsinul, et al.
Veröffentlicht: (2025)

From n-gram to Attention: How Model Architectures Learn and Propagate Bias in Language Modeling
von: Kabir, Mohsinul, et al.
Veröffentlicht: (2025)

Appear2Meaning: A Cross-Cultural Benchmark for Structured Cultural Metadata Inference from Images
von: Jiang, Yuechen, et al.
Veröffentlicht: (2026)

Religious Bias Landscape in Language and Text-to-Image Models: Analysis, Detection, and Debiasing Strategies
von: Abrar, Ajwad, et al.
Veröffentlicht: (2025)

Exploring Safety Alignment Evaluation of LLMs in Chinese Mental Health Dialogues via LLM-as-Judge
von: Cai, Yunna, et al.
Veröffentlicht: (2025)

SaudiCulture: A Benchmark for Evaluating Large Language Models Cultural Competence within Saudi Arabia
von: Ayash, Lama, et al.
Veröffentlicht: (2025)

LocalBench: Benchmarking LLMs on County-Level Local Knowledge and Reasoning
von: Gao, Zihan, et al.
Veröffentlicht: (2025)

Nunchi-Bench: Benchmarking Language Models on Cultural Reasoning with a Focus on Korean Superstition
von: Kim, Kyuhee, et al.
Veröffentlicht: (2025)

From Words to Proverbs: Evaluating LLMs Linguistic and Cultural Competence in Saudi Dialects with Absher
von: Al-Monef, Renad, et al.
Veröffentlicht: (2025)

WorldValuesBench: A Large-Scale Benchmark Dataset for Multi-Cultural Value Awareness of Language Models
von: Zhao, Wenlong, et al.
Veröffentlicht: (2024)

Evaluating Large Language Models on Spatial Tasks: A Multi-Task Benchmarking Study
von: Xu, Liuchang, et al.
Veröffentlicht: (2024)

Evaluating the Effectiveness of the Foundational Models for Q&A Classification in Mental Health care
von: Alhuzali, Hassan, et al.
Veröffentlicht: (2024)

Preserving Cultural Identity with Context-Aware Translation Through Multi-Agent AI Systems
von: Anik, Mahfuz Ahmed, et al.
Veröffentlicht: (2025)

ClinBench-HPB: A Clinical Benchmark for Evaluating LLMs in Hepato-Pancreato-Biliary Diseases
von: Li, Yuchong, et al.
Veröffentlicht: (2025)

RoleConflictBench: A Benchmark of Role Conflict Scenarios for Evaluating LLMs' Contextual Sensitivity
von: Shin, Jisu, et al.
Veröffentlicht: (2025)

PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice
von: Shi, Yuzhen, et al.
Veröffentlicht: (2026)

When Can We Trust LLMs in Mental Health? Large-Scale Benchmarks for Reliable LLM Evaluation
von: Badawi, Abeer, et al.
Veröffentlicht: (2025)

BanglaSocialBench: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction
von: Sijan, Tanvir Ahmed, et al.
Veröffentlicht: (2026)

Exploring the Potential of the Large Language Models (LLMs) in Identifying Misleading News Headlines
von: Rony, Md Main Uddin, et al.
Veröffentlicht: (2024)

Understanding Multimodal LLMs: the Mechanistic Interpretability of Llava in Visual Question Answering
von: Yu, Zeping, et al.
Veröffentlicht: (2024)

Understanding and Mitigating Gender Bias in LLMs via Interpretable Neuron Editing
von: Yu, Zeping, et al.
Veröffentlicht: (2025)

Locate-then-Merge: Neuron-Level Parameter Fusion for Mitigating Catastrophic Forgetting in Multimodal LLMs
von: Yu, Zeping, et al.
Veröffentlicht: (2025)

Back Attention: Understanding and Enhancing Multi-Hop Reasoning in Large Language Models
von: Yu, Zeping, et al.
Veröffentlicht: (2025)

WorldView-Bench: A Benchmark for Evaluating Global Cultural Perspectives in Large Language Models
von: Mushtaq, Abdullah, et al.
Veröffentlicht: (2025)

The Hawthorne Effect in Reasoning Models: Evaluating and Steering Test Awareness
von: Abdelnabi, Sahar, et al.
Veröffentlicht: (2025)

Towards Interpretable Mental Health Analysis with Large Language Models
von: Yang, Kailai, et al.
Veröffentlicht: (2023)

Evaluating PDPL Compliance in E-Commerce Websites: Insights and Lessons Learned from Human and LLM Analyses
von: Alashwali, Eman, et al.
Veröffentlicht: (2026)

MMAFFBen: A Multilingual and Multimodal Affective Analysis Benchmark for Evaluating LLMs and VLMs
von: Liu, Zhiwei, et al.
Veröffentlicht: (2025)

PsychiatryBench: A Multi-Task Benchmark for LLMs in Psychiatry
von: Fouda, Aya E., et al.
Veröffentlicht: (2025)

When a Nation Speaks: Machine Learning and NLP in People's Sentiment Analysis During Bangladesh's 2024 Mass Uprising
von: Alim, Md. Samiul, et al.
Veröffentlicht: (2025)

Evaluating Cultural Awareness of LLMs for Yoruba, Malayalam, and English
von: Dawson, Fiifi, et al.
Veröffentlicht: (2024)

HugAgent: Benchmarking LLMs for Simulation of Individualized Human Reasoning
von: Li, Chance Jiajie, et al.
Veröffentlicht: (2025)

GRILE: A Benchmark for Grammar Reasoning and Explanation in Romanian LLMs
von: Dumitran, Adrian-Marius, et al.
Veröffentlicht: (2025)

BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP
von: Kabir, Mohsinul, et al.
Veröffentlicht: (2023)

MEDEQUALQA: Evaluating Biases in LLMs with Counterfactual Reasoning
von: Ghosh, Rajarshi, et al.
Veröffentlicht: (2025)

Can LLMs Think Like Consumers? Benchmarking Crowd-Level Reaction Reconstruction with ConsumerSimBench
von: Wang, Tianyu, et al.
Veröffentlicht: (2026)

ChatBench: From Static Benchmarks to Human-AI Evaluation
von: Chang, Serina, et al.
Veröffentlicht: (2025)

MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents
von: Zhu, Kunlun, et al.
Veröffentlicht: (2025)

JiraiBench: A Bilingual Benchmark for Evaluating Large Language Models' Detection of Human Self-Destructive Behavior Content in Jirai Community
von: Xiao, Yunze, et al.
Veröffentlicht: (2025)