Buchumschlag

Are Bias Evaluation Methods Biased ?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Berrayana, Lina, Rooney, Sean, Garcés-Erice, Luis, Giurgiu, Ioana
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Planner and Executor: Collaboration between Discrete Diffusion And Autoregressive Models in Reasoning
von: Berrayana, Lina, et al.
Veröffentlicht: (2025)

Usage Governance Advisor: From Intent to AI Governance
von: Daly, Elizabeth M., et al.
Veröffentlicht: (2024)

Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models
von: Kumar, Shachi H, et al.
Veröffentlicht: (2024)

Bias-Augmented Consistency Training Reduces Biased Reasoning in Chain-of-Thought
von: Chua, James, et al.
Veröffentlicht: (2024)

Bias Vector: Mitigating Biases in Language Models with Task Arithmetic Approach
von: Shirafuji, Daiki, et al.
Veröffentlicht: (2024)

FAIRE: Assessing Racial and Gender Bias in AI-Driven Resume Evaluations
von: Wen, Athena, et al.
Veröffentlicht: (2025)

MM-JudgeBias: A Benchmark for Evaluating Compositional Biases in MLLM-as-a-Judge
von: Lee, Sua, et al.
Veröffentlicht: (2026)

No Free Lunch in Language Model Bias Mitigation? Targeted Bias Reduction Can Exacerbate Unmitigated LLM Biases
von: Chand, Shireen, et al.
Veröffentlicht: (2025)

A Comprehensive Evaluation of Cognitive Biases in LLMs
von: Malberg, Simon, et al.
Veröffentlicht: (2024)

One Bias After Another: Mechanistic Reward Shaping and Persistent Biases in Language Reward Models
von: Fein, Daniel, et al.
Veröffentlicht: (2026)

MEDEQUALQA: Evaluating Biases in LLMs with Counterfactual Reasoning
von: Ghosh, Rajarshi, et al.
Veröffentlicht: (2025)

Split and Merge: Aligning Position Biases in LLM-based Evaluators
von: Li, Zongjie, et al.
Veröffentlicht: (2023)

Subtle Biases Need Subtler Measures: Dual Metrics for Evaluating Representative and Affinity Bias in Large Language Models
von: Kumar, Abhishek, et al.
Veröffentlicht: (2024)

Mitigating Biases for Instruction-following Language Models via Bias Neurons Elimination
von: Yang, Nakyeong, et al.
Veröffentlicht: (2023)

BiasJailbreak:Analyzing Ethical Biases and Jailbreak Vulnerabilities in Large Language Models
von: Lee, Isack, et al.
Veröffentlicht: (2024)

Supernova Event Dataset: Interpreting Large Language Models' Personality through Critical Event Analysis
von: Agarwal, Pranav, et al.
Veröffentlicht: (2025)

Human and Automatic Interpretation of Romanian Noun Compounds
von: Marinescu, Ioana, et al.
Veröffentlicht: (2024)

BEADs: Bias Evaluation Across Domains
von: Raza, Shaina, et al.
Veröffentlicht: (2024)

Sina at FigNews 2024: Multilingual Datasets Annotated with Bias and Propaganda
von: Duaibes, Lina, et al.
Veröffentlicht: (2024)

Voice, Bias, and Coreference: An Interpretability Study of Gender in Speech Translation
von: Conti, Lina, et al.
Veröffentlicht: (2025)

BiasGym: A Simple and Generalizable Framework for Analyzing and Removing Biases through Elicitation
von: Islam, Sekh Mainul, et al.
Veröffentlicht: (2025)

No LLM is Free From Bias: A Comprehensive Study of Bias Evaluation in Large Language Models
von: Kumar, Charaka Vinayak, et al.
Veröffentlicht: (2025)

Does Reasoning Introduce Bias? A Study of Social Bias Evaluation and Mitigation in LLM Reasoning
von: Wu, Xuyang, et al.
Veröffentlicht: (2025)

Evaluating Implicit Biases in LLM Reasoning through Logic Grid Puzzles
von: Jahara, Fatima, et al.
Veröffentlicht: (2025)

LLM-Based Instance-Driven Heuristic Bias In the Context of a Biased Random Key Genetic Algorithm
von: Sartori, Camilo Chacón, et al.
Veröffentlicht: (2025)

IndoBias: A Dual Track Culturally Grounded Benchmark for LLMs Bias Evaluation in Indonesian Languages
von: Hanif, Ikhlasul Akmal, et al.
Veröffentlicht: (2026)

Enabling Scalable Evaluation of Bias Patterns in Medical LLMs
von: Fayyaz, Hamed, et al.
Veröffentlicht: (2024)

Is It Bad to Work All the Time? Cross-Cultural Evaluation of Social Norm Biases in GPT-4
von: Liu, Zhuozhuo Joy, et al.
Veröffentlicht: (2025)

From Biased Chatbots to Biased Agents: Examining Role Assignment Effects on LLM Agent Robustness
von: Cao, Linbo, et al.
Veröffentlicht: (2026)

Where Should I Study? Biased Language Models Decide! Evaluating Fairness in LMs for Academic Recommendations
von: Shailya, Krithi, et al.
Veröffentlicht: (2025)

FIBER: A Multilingual Evaluation Resource for Factual Inference Bias
von: Munis, Evren Ayberk, et al.
Veröffentlicht: (2025)

Likelihood-based Mitigation of Evaluation Bias in Large Language Models
von: Oi, Masanari, et al.
Veröffentlicht: (2024)

When Wording Steers the Evaluation: Framing Bias in LLM judges
von: Hwang, Yerin, et al.
Veröffentlicht: (2026)

NLP Methods May Actually Be Better Than Professors at Estimating Question Difficulty
von: Zotos, Leonidas, et al.
Veröffentlicht: (2025)

Systematic Biases in LLM Simulations of Debates
von: Taubenfeld, Amir, et al.
Veröffentlicht: (2024)

Evaluating Bias in Spoken Dialogue LLMs for Real-World Decisions and Recommendations
von: Wu, Yihao, et al.
Veröffentlicht: (2025)

When LLMs Benchmark Themselves: Deconstructing Self-Bias in Automated Evaluation
von: Xu, Wenda, et al.
Veröffentlicht: (2025)

Self-Preference Bias in Rubric-Based Evaluation of Large Language Models
von: Pombal, José, et al.
Veröffentlicht: (2026)

Bias Beyond Borders: Political Ideology Evaluation and Steering in Multilingual LLMs
von: Nadeem, Afrozah, et al.
Veröffentlicht: (2026)

Play Favorites: A Statistical Method to Measure Self-Bias in LLM-as-a-Judge
von: Spiliopoulou, Evangelia, et al.
Veröffentlicht: (2025)