Buchumschlag

Training an LLM-as-a-Judge Model: Pipeline, Insights, and Practical Lessons

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hu, Renjun, Cheng, Yi, Meng, Libin, Xia, Jiaxin, Zong, Yi, Shi, Xing, Lin, Wei
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Investigating Non-Transitivity in LLM-as-a-Judge
von: Xu, Yi, et al.
Veröffentlicht: (2025)

Large Language Models Could Be Rote Learners
von: Xu, Yuyang, et al.
Veröffentlicht: (2025)

Training Domain Draft Models for Speculative Decoding: Best Practices and Insights
von: Hong, Fenglu, et al.
Veröffentlicht: (2025)

Arithmetic Feature Interaction Is Necessary for Deep Tabular Learning
von: Cheng, Yi, et al.
Veröffentlicht: (2024)

Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training
von: Liu, Yixin, et al.
Veröffentlicht: (2026)

Rethinking LLM-as-a-Judge: Representation-as-a-Judge with Small Language Models via Semantic Capacity Asymmetry
von: Li, Zhuochun, et al.
Veröffentlicht: (2026)

SSPO: Self-traced Step-wise Preference Optimization for Process Supervision and Reasoning Compression
von: Xu, Yuyang, et al.
Veröffentlicht: (2025)

Quantifying and Mitigating Self-Preference Bias of LLM Judges
von: Yang, Jinming, et al.
Veröffentlicht: (2026)

JudgeBench: A Benchmark for Evaluating LLM-based Judges
von: Tan, Sijun, et al.
Veröffentlicht: (2024)

Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge
von: Shi, Lin, et al.
Veröffentlicht: (2024)

JTCSE: Joint Tensor-Modulus Constraints and Cross-Attention for Unsupervised Contrastive Learning of Sentence Embeddings
von: Zong, Tianyu, et al.
Veröffentlicht: (2025)

On Designing Effective RL Reward at Training Time for LLM Reasoning
von: Gao, Jiaxuan, et al.
Veröffentlicht: (2024)

On Evaluating LLM Alignment by Evaluating LLMs as Judges
von: Liu, Yixin, et al.
Veröffentlicht: (2025)

Does Context Matter? ContextualJudgeBench for Evaluating LLM-based Judges in Contextual Settings
von: Xu, Austin, et al.
Veröffentlicht: (2025)

From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges
von: Hong, Yihan, et al.
Veröffentlicht: (2026)

Training-free LLM Merging for Multi-task Learning
von: Fu, Zichuan, et al.
Veröffentlicht: (2025)

Preparing Lessons for Progressive Training on Language Models
von: Pan, Yu, et al.
Veröffentlicht: (2024)

The Lessons of Developing Process Reward Models in Mathematical Reasoning
von: Zhang, Zhenru, et al.
Veröffentlicht: (2025)

Enhancing Hepatopathy Clinical Trial Efficiency: A Secure, Large Language Model-Powered Pre-Screening Pipeline
von: Gui, Xiongbin, et al.
Veröffentlicht: (2025)

CultureLLM: Incorporating Cultural Differences into Large Language Models
von: Li, Cheng, et al.
Veröffentlicht: (2024)

I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models
von: Hu, Xing, et al.
Veröffentlicht: (2024)

JuStRank: Benchmarking LLM Judges for System Ranking
von: Gera, Ariel, et al.
Veröffentlicht: (2024)

Tuning LLM Judge Design Decisions for 1/1000 of the Cost
von: Salinas, David, et al.
Veröffentlicht: (2025)

ShiftAddLLM: Accelerating Pretrained LLMs via Post-Training Multiplication-Less Reparameterization
von: You, Haoran, et al.
Veröffentlicht: (2024)

LLM-AutoDP: Automatic Data Processing via LLM Agents for Model Fine-tuning
von: Huang, Wei, et al.
Veröffentlicht: (2026)

Schema Lineage Extraction at Scale: Multilingual Pipelines, Composite Evaluation, and Language-Model Benchmarks
von: Yin, Jiaqi, et al.
Veröffentlicht: (2025)

Towards Best Practices for Open Datasets for LLM Training
von: Baack, Stefan, et al.
Veröffentlicht: (2025)

Guiding LLM Post-training Data Engineering with Model Internals from Sparse Autoencoders
von: Jing, Yi, et al.
Veröffentlicht: (2026)

CLEAR: Error Analysis via LLM-as-a-Judge Made Easy
von: Yehudai, Asaf, et al.
Veröffentlicht: (2025)

Diagnosing LLM Judge Reliability: Conformal Prediction Sets and Transitivity Violations
von: Gupta, Manan, et al.
Veröffentlicht: (2026)

Learning Dynamics of LLM Finetuning
von: Ren, Yi, et al.
Veröffentlicht: (2024)

BAGEN: Are LLM Agents Budget-Aware?
von: Lin, Yuxiang, et al.
Veröffentlicht: (2026)

Ask Again, Then Fail: Large Language Models' Vacillations in Judgment
von: Xie, Qiming, et al.
Veröffentlicht: (2023)

Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers
von: Bouchard, Dylan, et al.
Veröffentlicht: (2025)

J1: Incentivizing Thinking in LLM-as-a-Judge via Reinforcement Learning
von: Whitehouse, Chenxi, et al.
Veröffentlicht: (2025)

When LLM Judge Scores Look Good but Best-of-N Decisions Fail
von: Landesberg, Eddie
Veröffentlicht: (2026)

Incentivizing Agentic Reasoning in LLM Judges via Tool-Integrated Reinforcement Learning
von: Xu, Ran, et al.
Veröffentlicht: (2025)

Reasoning Is Not Free: Robust Adaptive Cost-Efficient Routing for LLM-as-a-Judge
von: Zhang, Wenbo, et al.
Veröffentlicht: (2026)

Beyond LLM-as-a-Judge: Deterministic Metrics for Multilingual Generative Text Evaluation
von: Alam, Firoj, et al.
Veröffentlicht: (2026)

Open or Closed LLM for Lesser-Resourced Languages? Lessons from Greek
von: Pavlopoulos, John, et al.
Veröffentlicht: (2025)