Buchumschlag

Self-Preference Bias in LLM-as-a-Judge

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wataoka, Koki, Takahashi, Tsubasa, Ri, Ryokan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Self-Translate-Train: Enhancing Cross-Lingual Transfer of Large Language Models via Inherent Capability
von: Ri, Ryokan, et al.
Veröffentlicht: (2024)

LEIA: Facilitating Cross-lingual Knowledge Transfer in Language Models with Entity-based Data Augmentation
von: Yamada, Ikuya, et al.
Veröffentlicht: (2024)

Natural Fingerprints of Large Language Models
von: Suzuki, Teppei, et al.
Veröffentlicht: (2025)

Quantifying and Mitigating Self-Preference Bias of LLM Judges
von: Yang, Jinming, et al.
Veröffentlicht: (2026)

Large Vocabulary Size Improves Large Language Models
von: Takase, Sho, et al.
Veröffentlicht: (2024)

Predict, Don't React: Value-Based Safety Forecasting for LLM Streaming
von: Kavumba, Pride, et al.
Veröffentlicht: (2026)

Assistant-Guided Mitigation of Teacher Preference Bias in LLM-as-a-Judge
von: Liu, Zhuo, et al.
Veröffentlicht: (2025)

Dynamic Injection of Entity Knowledge into Dense Retrievers
von: Yamada, Ikuya, et al.
Veröffentlicht: (2025)

MergePrint: Merge-Resistant Fingerprints for Robust Black-box Ownership Verification of Large Language Models
von: Yamabe, Shojiro, et al.
Veröffentlicht: (2024)

The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge
von: Marioriyad, Arash, et al.
Veröffentlicht: (2025)

Evaluating Scoring Bias in LLM-as-a-Judge
von: Li, Qingquan, et al.
Veröffentlicht: (2025)

Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge
von: Shi, Lin, et al.
Veröffentlicht: (2024)

CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation
von: Zhu, Ziyi, et al.
Veröffentlicht: (2026)

Play Favorites: A Statistical Method to Measure Self-Bias in LLM-as-a-Judge
von: Spiliopoulou, Evangelia, et al.
Veröffentlicht: (2025)

Automated Concept Discovery for LLM-as-a-Judge Preference Analysis
von: Wedgwood, James, et al.
Veröffentlicht: (2026)

Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges
von: Tapwal, Riya, et al.
Veröffentlicht: (2026)

BiasScope: Towards Automated Detection of Bias in LLM-as-a-Judge Evaluation
von: Lai, Peng, et al.
Veröffentlicht: (2026)

Fairness or Fluency? An Investigation into Language Bias of Pairwise LLM-as-a-Judge
von: Zhou, Xiaolin, et al.
Veröffentlicht: (2026)

Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge
von: Fujinuma, Yoshinari
Veröffentlicht: (2025)

Toward Robust LLM-Based Judges: Taxonomic Bias Evaluation and Debiasing Optimization
von: Zhou, Hongli, et al.
Veröffentlicht: (2026)

Explaining Length Bias in LLM-Based Preference Evaluations
von: Hu, Zhengyu, et al.
Veröffentlicht: (2024)

Am I More Pointwise or Pairwise? Revealing Position Bias in Rubric-Based LLM-as-a-Judge
von: Xu, Yuzheng, et al.
Veröffentlicht: (2026)

Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks
von: Haldar, Rajarshi, et al.
Veröffentlicht: (2025)

Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges
von: Ding, Ruomeng, et al.
Veröffentlicht: (2026)

Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck
von: Zhang, Hongbin, et al.
Veröffentlicht: (2026)

Judging with Confidence: Calibrating Autoraters to Preference Distributions
von: Li, Zhuohang, et al.
Veröffentlicht: (2025)

FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge
von: Yang, Bo, et al.
Veröffentlicht: (2026)

Who Judges the Judge? Evaluating LLM-as-a-Judge for French Medical open-ended QA
von: Belmadani, Ikram, et al.
Veröffentlicht: (2026)

Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models
von: Kumar, Shachi H, et al.
Veröffentlicht: (2024)

Beyond the Surface: Measuring Self-Preference in LLM Judgments
von: Chen, Zhi-Yuan, et al.
Veröffentlicht: (2025)

Can LLM be a Personalized Judge?
von: Dong, Yijiang River, et al.
Veröffentlicht: (2024)

Self-Preference Bias in Rubric-Based Evaluation of Large Language Models
von: Pombal, José, et al.
Veröffentlicht: (2026)

JudgeSense: A Benchmark for Prompt Sensitivity in LLM-as-a-Judge Systems
von: Bellibatlu, Rohith Reddy, et al.
Veröffentlicht: (2026)

Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement
von: Xu, Wenda, et al.
Veröffentlicht: (2024)

Assessing Judging Bias in Large Reasoning Models: An Empirical Study
von: Wang, Qian, et al.
Veröffentlicht: (2025)

Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge
von: Cantini, Riccardo, et al.
Veröffentlicht: (2025)

RankJudge: A Multi-Turn LLM-as-a-Judge Synthetic Benchmark Generator
von: Tang, Zhenwei, et al.
Veröffentlicht: (2026)

MM-JudgeBias: A Benchmark for Evaluating Compositional Biases in MLLM-as-a-Judge
von: Lee, Sua, et al.
Veröffentlicht: (2026)

The Necessity of Setting Temperature in LLM-as-a-Judge
von: Li, Lujun, et al.
Veröffentlicht: (2026)

How Reliable is Multilingual LLM-as-a-Judge?
von: Fu, Xiyan, et al.
Veröffentlicht: (2025)