Buchumschlag

The Necessity of Setting Temperature in LLM-as-a-Judge

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Lujun, Sleem, Lama, Xu, Yangjie, Song, Yewei, Jia, Aolin, Francois, Jerome, State, Radu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Exploring the Impact of Temperature on Large Language Models:Hot or Cold?
von: Li, Lujun, et al.
Veröffentlicht: (2025)

Small Language Models in the Real World: Insights from Industrial Text Classification
von: Li, Lujun, et al.
Veröffentlicht: (2025)

Do Large Language Models Grasp The Grammar? Evidence from Grammar-Book-Guided Probing in Luxembourgish
von: Li, Lujun, et al.
Veröffentlicht: (2025)

Is Small Language Model the Silver Bullet to Low-Resource Languages Machine Translation?
von: Song, Yewei, et al.
Veröffentlicht: (2025)

Uncovering Zero-Shot Generalization Gaps in Time-Series Foundation Models Using Real-World Videos
von: Li, Lujun, et al.
Veröffentlicht: (2025)

Agent Skill Framework: Perspectives on the Potential of Small Language Models in Industrial Environments
von: Xu, Yangjie, et al.
Veröffentlicht: (2026)

NegBLEURT Forest: Leveraging Inconsistencies for Detecting Jailbreak Attacks
von: Sleem, Lama, et al.
Veröffentlicht: (2025)

HalluGuard: Evidence-Grounded Small Reasoning Models to Mitigate Hallucinations in Retrieval-Augmented Generation
von: Bergeron, Loris, et al.
Veröffentlicht: (2025)

Vision Transformer-Based Time-Series Image Reconstruction for Cloud-Filling Applications
von: Li, Lujun, et al.
Veröffentlicht: (2025)

How Much Does Persuasion Strategy Matter? LLM-Annotated Evidence from Charitable Donation Dialogues
von: Petrova, Tatiana, et al.
Veröffentlicht: (2026)

Temporal-Spatial Tubelet Embedding for Cloud-Robust MSI Reconstruction using MSI-SAR Fusion: A Multi-Head Self-Attention Video Vision Transformer Approach
von: Wang, Yiqun, et al.
Veröffentlicht: (2025)

FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge
von: Yang, Bo, et al.
Veröffentlicht: (2026)

Interpreting LLM-as-a-Judge Policies via Verifiable Global Explanations
von: Gajcin, Jasmina, et al.
Veröffentlicht: (2025)

Does Context Matter? ContextualJudgeBench for Evaluating LLM-based Judges in Contextual Settings
von: Xu, Austin, et al.
Veröffentlicht: (2025)

Evaluation Drift in LLM Personality Induction: Are We Moving the Goalpost?
von: Rajput, Prateek, et al.
Veröffentlicht: (2026)

Beyond the Illusion of Consensus: From Surface Heuristics to Knowledge-Grounded Evaluation in LLM-as-a-Judge
von: Song, Mingyang, et al.
Veröffentlicht: (2026)

Limitations of Normalization in Attention Mechanism
von: Mudarisov, Timur, et al.
Veröffentlicht: (2025)

TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them
von: Wang, Yidong, et al.
Veröffentlicht: (2025)

The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge
von: Marioriyad, Arash, et al.
Veröffentlicht: (2025)

An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-tuned Judge Model is not a General Substitute for GPT-4
von: Huang, Hui, et al.
Veröffentlicht: (2024)

Exploring the Necessity of Reasoning in LLM-based Agent Scenarios
von: Zhou, Xueyang, et al.
Veröffentlicht: (2025)

Evaluating Scoring Bias in LLM-as-a-Judge
von: Li, Qingquan, et al.
Veröffentlicht: (2025)

Who Judges the Judge? Evaluating LLM-as-a-Judge for French Medical open-ended QA
von: Belmadani, Ikram, et al.
Veröffentlicht: (2026)

Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models
von: Kumar, Shachi H, et al.
Veröffentlicht: (2024)

Measuring LLM Code Generation Stability via Structural Entropy
von: Song, Yewei, et al.
Veröffentlicht: (2025)

A Survey on LLM-as-a-Judge
von: Gu, Jiawei, et al.
Veröffentlicht: (2024)

Can LLM be a Personalized Judge?
von: Dong, Yijiang River, et al.
Veröffentlicht: (2024)

JudgeSense: A Benchmark for Prompt Sensitivity in LLM-as-a-Judge Systems
von: Bellibatlu, Rohith Reddy, et al.
Veröffentlicht: (2026)

Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge
von: Shi, Lin, et al.
Veröffentlicht: (2024)

Diagnosing LLM Judge Reliability: Conformal Prediction Sets and Transitivity Violations
von: Gupta, Manan, et al.
Veröffentlicht: (2026)

Improve LLM-as-a-Judge Ability as a General Ability
von: Yu, Jiachen, et al.
Veröffentlicht: (2025)

Counterargument for Critical Thinking as Judged by AI and Humans
von: Adewumi, Tosin, et al.
Veröffentlicht: (2026)

RankJudge: A Multi-Turn LLM-as-a-Judge Synthetic Benchmark Generator
von: Tang, Zhenwei, et al.
Veröffentlicht: (2026)

CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation
von: Zhu, Ziyi, et al.
Veröffentlicht: (2026)

Self-Preference Bias in LLM-as-a-Judge
von: Wataoka, Koki, et al.
Veröffentlicht: (2024)

How Reliable is Multilingual LLM-as-a-Judge?
von: Fu, Xiyan, et al.
Veröffentlicht: (2025)

Benchmarking LLM-as-a-Judge for Long-Form Output Evaluation
von: Chen, Junjie, et al.
Veröffentlicht: (2026)

Tokenization Falling Short: On Subword Robustness in Large Language Models
von: Chai, Yekun, et al.
Veröffentlicht: (2024)

Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators
von: Zhou, Yilun, et al.
Veröffentlicht: (2025)

Quantitative LLM Judges
von: Sahoo, Aishwarya, et al.
Veröffentlicht: (2025)