Salvato in:
| Autori principali: | Jain, Suryaansh, Ahmed, Umair Z., Sahai, Shubham, Leong, Ben |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | https://arxiv.org/abs/2510.11822 |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines
di: Soumik, Sadman Kabir
Pubblicazione: (2026)
di: Soumik, Sadman Kabir
Pubblicazione: (2026)
Measuring Agreeableness Bias in Multimodal Models
di: Lim, Jaehyuk, et al.
Pubblicazione: (2024)
di: Lim, Jaehyuk, et al.
Pubblicazione: (2024)
Quantifying and Mitigating Self-Preference Bias of LLM Judges
di: Yang, Jinming, et al.
Pubblicazione: (2026)
di: Yang, Jinming, et al.
Pubblicazione: (2026)
Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge
di: Fujinuma, Yoshinari
Pubblicazione: (2025)
di: Fujinuma, Yoshinari
Pubblicazione: (2025)
Who Judges the Judge? LLM Jury-on-Demand: Building Trustworthy LLM Evaluation Systems
di: Li, Xiaochuan, et al.
Pubblicazione: (2025)
di: Li, Xiaochuan, et al.
Pubblicazione: (2025)
Towards Provably Unbiased LLM Judges via Bias-Bounded Evaluation
di: Feuer, Benjamin, et al.
Pubblicazione: (2026)
di: Feuer, Benjamin, et al.
Pubblicazione: (2026)
Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck
di: Zhang, Hongbin, et al.
Pubblicazione: (2026)
di: Zhang, Hongbin, et al.
Pubblicazione: (2026)
BiasScope: Towards Automated Detection of Bias in LLM-as-a-Judge Evaluation
di: Lai, Peng, et al.
Pubblicazione: (2026)
di: Lai, Peng, et al.
Pubblicazione: (2026)
Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge
di: Shi, Lin, et al.
Pubblicazione: (2024)
di: Shi, Lin, et al.
Pubblicazione: (2024)
Permutation-Consensus Listwise Judging for Robust Factuality Evaluation
di: Huang, Tianyi, et al.
Pubblicazione: (2026)
di: Huang, Tianyi, et al.
Pubblicazione: (2026)
VERT: Reliable LLM Judges for Radiology Report Evaluation
di: Bologna, Federica, et al.
Pubblicazione: (2026)
di: Bologna, Federica, et al.
Pubblicazione: (2026)
Causal Intervention-Based Memory Selection for Long-Horizon LLM Agents
di: Srivastava, Saksham Sahai
Pubblicazione: (2026)
di: Srivastava, Saksham Sahai
Pubblicazione: (2026)
Evaluating and Mitigating LLM-as-a-judge Bias in Communication Systems
di: Gao, Jiaxin, et al.
Pubblicazione: (2025)
di: Gao, Jiaxin, et al.
Pubblicazione: (2025)
Beyond Self-learned Attention: Mitigating Attention Bias in Transformer-based Models Using Attention Guidance
di: Gesi, Jiri, et al.
Pubblicazione: (2024)
di: Gesi, Jiri, et al.
Pubblicazione: (2024)
Does Reasoning Introduce Bias? A Study of Social Bias Evaluation and Mitigation in LLM Reasoning
di: Wu, Xuyang, et al.
Pubblicazione: (2025)
di: Wu, Xuyang, et al.
Pubblicazione: (2025)
JudgeAgent: Beyond Static Benchmarks for Knowledge-Driven and Dynamic LLM Evaluation
di: Shi, Zhichao, et al.
Pubblicazione: (2025)
di: Shi, Zhichao, et al.
Pubblicazione: (2025)
REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge
di: Zhang, Yasi, et al.
Pubblicazione: (2026)
di: Zhang, Yasi, et al.
Pubblicazione: (2026)
Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering
di: Zhao, Zixiao, et al.
Pubblicazione: (2026)
di: Zhao, Zixiao, et al.
Pubblicazione: (2026)
Subgroups Matter for Robust Bias Mitigation
di: Alloula, Anissa, et al.
Pubblicazione: (2025)
di: Alloula, Anissa, et al.
Pubblicazione: (2025)
Rethinking Math Reasoning Evaluation: A Robust LLM-as-a-Judge Framework Beyond Symbolic Rigidity
di: Yosef, Erez, et al.
Pubblicazione: (2026)
di: Yosef, Erez, et al.
Pubblicazione: (2026)
Beyond LLM-as-a-Judge: Deterministic Metrics for Multilingual Generative Text Evaluation
di: Alam, Firoj, et al.
Pubblicazione: (2026)
di: Alam, Firoj, et al.
Pubblicazione: (2026)
Fairness or Fluency? An Investigation into Language Bias of Pairwise LLM-as-a-Judge
di: Zhou, Xiaolin, et al.
Pubblicazione: (2026)
di: Zhou, Xiaolin, et al.
Pubblicazione: (2026)
Evaluating Metrics for Safety with LLM-as-Judges
di: Clegg, Kester, et al.
Pubblicazione: (2025)
di: Clegg, Kester, et al.
Pubblicazione: (2025)
Judging with Many Minds: Do More Perspectives Mean Less Prejudice? On Bias Amplifications and Resistance in Multi-Agent Based LLM-as-Judge
di: Ma, Chiyu, et al.
Pubblicazione: (2025)
di: Ma, Chiyu, et al.
Pubblicazione: (2025)
Too Nice to Tell the Truth: Quantifying Agreeableness-Driven Sycophancy in Role-Playing Language Models
di: Shah, Arya, et al.
Pubblicazione: (2026)
di: Shah, Arya, et al.
Pubblicazione: (2026)
JudgeBench: A Benchmark for Evaluating LLM-based Judges
di: Tan, Sijun, et al.
Pubblicazione: (2024)
di: Tan, Sijun, et al.
Pubblicazione: (2024)
Beyond correlation: The Impact of Human Uncertainty in Measuring the Effectiveness of Automatic Evaluation and LLM-as-a-Judge
di: Elangovan, Aparna, et al.
Pubblicazione: (2024)
di: Elangovan, Aparna, et al.
Pubblicazione: (2024)
MemoryGraft: Persistent Compromise of LLM Agents via Poisoned Experience Retrieval
di: Srivastava, Saksham Sahai, et al.
Pubblicazione: (2025)
di: Srivastava, Saksham Sahai, et al.
Pubblicazione: (2025)
Bias Testing and Mitigation in LLM-based Code Generation
di: Huang, Dong, et al.
Pubblicazione: (2023)
di: Huang, Dong, et al.
Pubblicazione: (2023)
On Evaluating LLM Alignment by Evaluating LLMs as Judges
di: Liu, Yixin, et al.
Pubblicazione: (2025)
di: Liu, Yixin, et al.
Pubblicazione: (2025)
Beyond Blind Spots: Analytic Hints for Mitigating LLM-Based Evaluation Pitfalls
di: Fandina, Ora Nova, et al.
Pubblicazione: (2025)
di: Fandina, Ora Nova, et al.
Pubblicazione: (2025)
AUGUSTUS: An LLM-Driven Multimodal Agent System with Contextualized User Memory
di: Jain, Jitesh, et al.
Pubblicazione: (2025)
di: Jain, Jitesh, et al.
Pubblicazione: (2025)
Beyond Compromise: Pareto-Lenient Consensus for Efficient Multi-Preference LLM Alignment
di: Tan, Renxuan, et al.
Pubblicazione: (2026)
di: Tan, Renxuan, et al.
Pubblicazione: (2026)
MM-JudgeBias: A Benchmark for Evaluating Compositional Biases in MLLM-as-a-Judge
di: Lee, Sua, et al.
Pubblicazione: (2026)
di: Lee, Sua, et al.
Pubblicazione: (2026)
UniBias: Unveiling and Mitigating LLM Bias through Internal Attention and FFN Manipulation
di: Zhou, Hanzhang, et al.
Pubblicazione: (2024)
di: Zhou, Hanzhang, et al.
Pubblicazione: (2024)
AI-Driven Agents with Prompts Designed for High Agreeableness Increase the Likelihood of Being Mistaken for a Human in the Turing Test
di: León-Domínguez, U., et al.
Pubblicazione: (2024)
di: León-Domínguez, U., et al.
Pubblicazione: (2024)
Play Favorites: A Statistical Method to Measure Self-Bias in LLM-as-a-Judge
di: Spiliopoulou, Evangelia, et al.
Pubblicazione: (2025)
di: Spiliopoulou, Evangelia, et al.
Pubblicazione: (2025)
Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models
di: Kumar, Shachi H, et al.
Pubblicazione: (2024)
di: Kumar, Shachi H, et al.
Pubblicazione: (2024)
Beyond Single-Point Judgment: Distribution Alignment for LLM-as-a-Judge
di: Chen, Luyu, et al.
Pubblicazione: (2025)
di: Chen, Luyu, et al.
Pubblicazione: (2025)
MCTS-Judge: Test-Time Scaling in LLM-as-a-Judge for Code Correctness Evaluation
di: Wang, Yutong, et al.
Pubblicazione: (2025)
di: Wang, Yutong, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines
di: Soumik, Sadman Kabir
Pubblicazione: (2026) -
Measuring Agreeableness Bias in Multimodal Models
di: Lim, Jaehyuk, et al.
Pubblicazione: (2024) -
Quantifying and Mitigating Self-Preference Bias of LLM Judges
di: Yang, Jinming, et al.
Pubblicazione: (2026) -
Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge
di: Fujinuma, Yoshinari
Pubblicazione: (2025) -
Who Judges the Judge? LLM Jury-on-Demand: Building Trustworthy LLM Evaluation Systems
di: Li, Xiaochuan, et al.
Pubblicazione: (2025)