Buchumschlag

Self-Preference Bias in Rubric-Based Evaluation of Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pombal, José, Rei, Ricardo, Martins, André F. T.
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Zero-shot Benchmarking: A Framework for Flexible and Scalable Automatic Evaluation of Language Models
von: Pombal, José, et al.
Veröffentlicht: (2025)

Adding Chocolate to Mint: Mitigating Metric Interference in Machine Translation
von: Pombal, José, et al.
Veröffentlicht: (2025)

MindEval: Benchmarking Language Models on Multi-turn Mental Health Support
von: Pombal, José, et al.
Veröffentlicht: (2025)

Tower+: Bridging Generality and Translation Specialization in Multilingual LLMs
von: Rei, Ricardo, et al.
Veröffentlicht: (2025)

M-Prometheus: A Suite of Open Multilingual LLM Judges
von: Pombal, José, et al.
Veröffentlicht: (2025)

Quantifying Label-Induced Bias in Large Language Model Self- and Cross-Evaluations
von: Saraf, Muskan, et al.
Veröffentlicht: (2025)

Meta-Reasoning Improves Tool Use in Large Language Models
von: Alazraki, Lisa, et al.
Veröffentlicht: (2024)

Configurable Preference Tuning with Rubric-Guided Synthetic Data
von: Gallego, Víctor
Veröffentlicht: (2025)

Can Vision Language Models Judge Action Quality? An Empirical Evaluation
von: Freitas, Miguel Monte e, et al.
Veröffentlicht: (2026)

Xpertbench: Expert Level Tasks with Rubrics-Based Evaluation
von: Liu, Xue, et al.
Veröffentlicht: (2026)

Self-Boosting Large Language Models with Synthetic Preference Data
von: Dong, Qingxiu, et al.
Veröffentlicht: (2024)

Likelihood-based Mitigation of Evaluation Bias in Large Language Models
von: Oi, Masanari, et al.
Veröffentlicht: (2024)

AdaRubric: Task-Adaptive Rubrics for Reliable LLM Agent Evaluation and Reward Learning
von: Ding, Liang
Veröffentlicht: (2026)

No LLM is Free From Bias: A Comprehensive Study of Bias Evaluation in Large Language Models
von: Kumar, Charaka Vinayak, et al.
Veröffentlicht: (2025)

Observations and Remedies for Large Language Model Bias in Self-Consuming Performative Loop
von: Wang, Yaxuan, et al.
Veröffentlicht: (2026)

Cultural Bias and Cultural Alignment of Large Language Models
von: Tao, Yan, et al.
Veröffentlicht: (2023)

LLM Essay Scoring Under Holistic and Analytic Rubrics: Prompt Effects and Bias
von: Kucia, Filip J., et al.
Veröffentlicht: (2026)

Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments
von: Daynauth, Roland, et al.
Veröffentlicht: (2024)

Autorubric: Unifying Rubric-based LLM Evaluation
von: Rao, Delip, et al.
Veröffentlicht: (2026)

Preference Packing: Efficient Preference Optimization for Large Language Models
von: Cho, Jaekyung
Veröffentlicht: (2026)

Regional Bias in Large Language Models
von: Gopinadh, M P V S, et al.
Veröffentlicht: (2026)

Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese
von: Junior, Roseval Malaquias, et al.
Veröffentlicht: (2026)

Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges
von: Ding, Ruomeng, et al.
Veröffentlicht: (2026)

Automated Rubrics for Reliable Evaluation of Medical Dialogue Systems
von: Chen, Yinzhu, et al.
Veröffentlicht: (2026)

Cultural Bias in Large Language Models: Evaluating AI Agents through Moral Questionnaires
von: Münker, Simon
Veröffentlicht: (2025)

Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective
von: Wen, Yuchen, et al.
Veröffentlicht: (2024)

Aligning Large Language Models with Searcher Preferences
von: Wu, Wei, et al.
Veröffentlicht: (2026)

Assessing Political Bias in Large Language Models
von: Rettenberger, Luca, et al.
Veröffentlicht: (2024)

Translate Smart, not Hard: Cascaded Translation Systems with Quality-Aware Deferral
von: Farinhas, António, et al.
Veröffentlicht: (2025)

ResearchRubrics: A Benchmark of Prompts and Rubrics For Evaluating Deep Research Agents
von: Sharma, Manasi, et al.
Veröffentlicht: (2025)

Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness
von: Li, Jian, et al.
Veröffentlicht: (2024)

Soft-prompt Tuning for Large Language Models to Evaluate Bias
von: Tian, Jacob-Junqi, et al.
Veröffentlicht: (2023)

Invisible Filters: Cultural Bias in Hiring Evaluations Using Large Language Models
von: Rao, Pooja S. B., et al.
Veröffentlicht: (2025)

Self-Rewarding Rubric-Based Reinforcement Learning for Open-Ended Reasoning
von: Ye, Zhiling, et al.
Veröffentlicht: (2025)

Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics
von: Lee, Jinu, et al.
Veröffentlicht: (2025)

Weights-Rotated Preference Optimization for Large Language Models
von: Yang, Chenxu, et al.
Veröffentlicht: (2025)

Locating and Mitigating Gender Bias in Large Language Models
von: Cai, Yuchen, et al.
Veröffentlicht: (2024)

Quantifying and Mitigating Self-Preference Bias of LLM Judges
von: Yang, Jinming, et al.
Veröffentlicht: (2026)

Cross-Language Bias Examination in Large Language Models
von: Liang, Yuxuan, et al.
Veröffentlicht: (2025)

PLaD: Preference-based Large Language Model Distillation with Pseudo-Preference Pairs
von: Zhang, Rongzhi, et al.
Veröffentlicht: (2024)