Robust Evaluation Measures for Evaluating Social Biases in Masked Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Liu, Yang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality
von: Zalkikar, Rahul, et al.
Veröffentlicht: (2024)

Evaluating Short-Term Temporal Fluctuations of Social Biases in Social Media Data and Masked Language Models
von: Zhou, Yi, et al.
Veröffentlicht: (2024)

BiasCause: Evaluate Socially Biased Causal Reasoning of Large Language Models
von: Xie, Tian, et al.
Veröffentlicht: (2025)

Evaluating Large Language Model Biases in Persona-Steered Generation
von: Liu, Andy, et al.
Veröffentlicht: (2024)

Evaluating the Effect of Retrieval Augmentation on Social Biases
von: Zhang, Tianhui, et al.
Veröffentlicht: (2025)

FairPair: A Robust Evaluation of Biases in Language Models through Paired Perturbations
von: Dwivedi-Yu, Jane, et al.
Veröffentlicht: (2024)

This Land is {Your, My} Land: Evaluating Geopolitical Biases in Language Models
von: Li, Bryan, et al.
Veröffentlicht: (2023)

VisBias: Measuring Explicit and Implicit Social Biases in Vision Language Models
von: Huang, Jen-tse, et al.
Veröffentlicht: (2025)

Measuring Stereotype and Deviation Biases in Large Language Models
von: Wang, Daniel, et al.
Veröffentlicht: (2025)

Empirical Analysis of Decoding Biases in Masked Diffusion Models
von: Huang, Pengcheng, et al.
Veröffentlicht: (2025)

IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context
von: Sahoo, Nihar Ranjan, et al.
Veröffentlicht: (2024)

Robust Infidelity: When Faithfulness Measures on Masked Language Models Are Misleading
von: Crothers, Evan, et al.
Veröffentlicht: (2023)

LLMs are Biased Evaluators But Not Biased for Retrieval Augmented Generation
von: Chen, Yen-Shan, et al.
Veröffentlicht: (2024)

Do LLMs Align Human Values Regarding Social Biases? Judging and Explaining Social Biases with LLMs
von: Liu, Yang, et al.
Veröffentlicht: (2025)

Dutch CrowS-Pairs: Adapting a Challenge Dataset for Measuring Social Biases in Language Models for Dutch
von: Strazda, Elza, et al.
Veröffentlicht: (2025)

Generative Language Models Exhibit Social Identity Biases
von: Hu, Tiancheng, et al.
Veröffentlicht: (2023)

Subtle Biases Need Subtler Measures: Dual Metrics for Evaluating Representative and Affinity Bias in Large Language Models
von: Kumar, Abhishek, et al.
Veröffentlicht: (2024)

Estranged Predictions: Measuring Semantic Category Disruption with Masked Language Modelling
von: Liu, Yuxuan, et al.
Veröffentlicht: (2025)

The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models
von: Liu, Yan, et al.
Veröffentlicht: (2024)

Faithfulness Measurable Masked Language Models
von: Madsen, Andreas, et al.
Veröffentlicht: (2023)

Benchmarking Cognitive Biases in Large Language Models as Evaluators
von: Koo, Ryan, et al.
Veröffentlicht: (2023)

Are Bias Evaluation Methods Biased ?
von: Berrayana, Lina, et al.
Veröffentlicht: (2025)

Decoding the Mind of Large Language Models: A Quantitative Evaluation of Ideology and Biases
von: Hirose, Manari, et al.
Veröffentlicht: (2025)

BEAR: A Unified Framework for Evaluating Relational Knowledge in Causal and Masked Language Models
von: Wiland, Jacek, et al.
Veröffentlicht: (2024)

SocialEval: Evaluating Social Intelligence of Large Language Models
von: Zhou, Jinfeng, et al.
Veröffentlicht: (2025)

Evaluating Biases in Context-Dependent Health Questions
von: Levy, Sharon, et al.
Veröffentlicht: (2024)

Evaluating Robustness of Large Language Models Against Multilingual Typographical Errors
von: Zhao, Raoyuan, et al.
Veröffentlicht: (2025)

Mitigating Social Biases in Language Models through Unlearning
von: Dige, Omkar, et al.
Veröffentlicht: (2024)

UnMASKed: Quantifying Gender Biases in Masked Language Models through Linguistically Informed Job Market Prompts
von: Parra, Iñigo
Veröffentlicht: (2024)

GPT-4 as Evaluator: Evaluating Large Language Models on Pest Management in Agriculture
von: Yang, Shanglong, et al.
Veröffentlicht: (2024)

Split and Merge: Aligning Position Biases in LLM-based Evaluators
von: Li, Zongjie, et al.
Veröffentlicht: (2023)

Breaking Bias, Building Bridges: Evaluation and Mitigation of Social Biases in LLMs via Contact Hypothesis
von: Raj, Chahat, et al.
Veröffentlicht: (2024)

Is It Bad to Work All the Time? Cross-Cultural Evaluation of Social Norm Biases in GPT-4
von: Liu, Zhuozhuo Joy, et al.
Veröffentlicht: (2025)

What is Your Favorite Gender, MLM? Gender Bias Evaluation in Multilingual Masked Language Models
von: Yu, Jeongrok, et al.
Veröffentlicht: (2024)

What am I missing here?: Evaluating Large Language Models for Masked Sentence Prediction
von: Wyatt, Charlie, et al.
Veröffentlicht: (2025)

Measuring the Robustness of Reference-Free Dialogue Evaluation Systems
von: Vasselli, Justin, et al.
Veröffentlicht: (2025)

Large Language Models Develop Novel Social Biases Through Adaptive Exploration
von: Wu, Addison J., et al.
Veröffentlicht: (2025)

Mitigating Biases in Language Models via Bias Unlearning
von: Liu, Dianqing, et al.
Veröffentlicht: (2025)

Exploring Bengali Religious Dialect Biases in Large Language Models with Evaluation Perspectives
von: Wasi, Azmine Toushik, et al.
Veröffentlicht: (2024)

ContrastScore: Towards Higher Quality, Less Biased, More Efficient Evaluation Metrics with Contrastive Evaluation
von: Wang, Xiao, et al.
Veröffentlicht: (2025)