Buchumschlag

CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cao, Maosong, Lam, Alexander, Duan, Haodong, Liu, Hongwei, Zhang, Songyang, Chen, Kai
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards
von: Zhang, Taolin, et al.
Veröffentlicht: (2025)

CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward
von: Liu, Shudong, et al.
Veröffentlicht: (2025)

Condor: Enhance LLM Alignment with Knowledge-Driven Data Synthesis and Refinement
von: Cao, Maosong, et al.
Veröffentlicht: (2025)

Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks
von: Wang, Chonghua, et al.
Veröffentlicht: (2024)

Coding Triangle: How Does Large Language Model Understand Code?
von: Zhang, Taolin, et al.
Veröffentlicht: (2025)

Rectifying LLM Thought from Lens of Optimization
von: Liu, Junnan, et al.
Veröffentlicht: (2025)

Judge Before Answer: Can MLLM Discern the False Premise in Question?
von: Li, Jidong, et al.
Veröffentlicht: (2025)

Are Your LLMs Capable of Stable Reasoning?
von: Liu, Junnan, et al.
Veröffentlicht: (2024)

Debate Helps Weak Judges Reward Stronger Models
von: Elasky, Ethan, et al.
Veröffentlicht: (2026)

Fixing the Broken Compass: Diagnosing and Improving Inference-Time Reward Modeling
von: Li, Jiachun, et al.
Veröffentlicht: (2025)

Dissecting Tool-Integrated Reasoning: An Empirical Study and Analysis
von: Zhao, Yufeng, et al.
Veröffentlicht: (2025)

Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective
von: Liu, Junnan, et al.
Veröffentlicht: (2025)

Graphs of Research: Citation Evolution Graphs as Supervision for Research Idea Generation
von: Gao, Songyang, et al.
Veröffentlicht: (2026)

JudgeLRM: Large Reasoning Models as a Judge
von: Chen, Nuo, et al.
Veröffentlicht: (2025)

Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges
von: Thakur, Aman Singh, et al.
Veröffentlicht: (2024)

Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models
von: Röttger, Paul, et al.
Veröffentlicht: (2024)

Open Source Language Models Can Provide Feedback: Evaluating LLMs' Ability to Help Students Using GPT-4-As-A-Judge
von: Koutcheme, Charles, et al.
Veröffentlicht: (2024)

JudgeBoard: Benchmarking and Enhancing Small Language Models for Reasoning Evaluation
von: Bi, Zhenyu, et al.
Veröffentlicht: (2025)

AgentCompass: Towards Reliable Evaluation of Agentic Workflows in Production
von: Kartik, NVJK, et al.
Veröffentlicht: (2025)

OpenCompass: A Universal Evaluation Platform for Large Language Models
von: Cao, Maosong, et al.
Veröffentlicht: (2026)

When Long Helps Short: How Context Length in Supervised Fine-tuning Affects Behavior of Large Language Models
von: Zheng, Yingming, et al.
Veröffentlicht: (2025)

Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models
von: Verga, Pat, et al.
Veröffentlicht: (2024)

JudgeLM: Fine-tuned Large Language Models are Scalable Judges
von: Zhu, Lianghui, et al.
Veröffentlicht: (2023)

On Evaluating LLM Alignment by Evaluating LLMs as Judges
von: Liu, Yixin, et al.
Veröffentlicht: (2025)

Empirical Analysis of Decoding Biases in Masked Diffusion Models
von: Huang, Pengcheng, et al.
Veröffentlicht: (2025)

Mixed Distillation Helps Smaller Language Model Better Reasoning
von: Li, Chenglin, et al.
Veröffentlicht: (2023)

CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives
von: Lee, Ayoung, et al.
Veröffentlicht: (2025)

Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments
von: Lu, Qingyu, et al.
Veröffentlicht: (2025)

DiffusionDialog: A Diffusion Model for Diverse Dialog Generation with Latent Space
von: Xiang, Jianxiang, et al.
Veröffentlicht: (2024)

Can Small Language Models Help Large Language Models Reason Better?: LM-Guided Chain-of-Thought
von: Lee, Jooyoung, et al.
Veröffentlicht: (2024)

Permutation-Consensus Listwise Judging for Robust Factuality Evaluation
von: Huang, Tianyi, et al.
Veröffentlicht: (2026)

DiffScore: Text Evaluation Beyond Autoregressive Likelihood
von: Lai, Wen, et al.
Veröffentlicht: (2026)

FoundaBench: Evaluating Chinese Fundamental Knowledge Capabilities of Large Language Models
von: Li, Wei, et al.
Veröffentlicht: (2024)

Evaluating Metrics for Safety with LLM-as-Judges
von: Clegg, Kester, et al.
Veröffentlicht: (2025)

HonestLLM: Toward an Honest and Helpful Large Language Model
von: Gao, Chujie, et al.
Veröffentlicht: (2024)

StrucText-Eval: Evaluating Large Language Model's Reasoning Ability in Structure-Rich Text
von: Gu, Zhouhong, et al.
Veröffentlicht: (2024)

Can Reasoning Help Large Language Models Capture Human Annotator Disagreement?
von: Ni, Jingwei, et al.
Veröffentlicht: (2025)

A Multi-Power Law for Loss Curve Prediction Across Learning Rate Schedules
von: Luo, Kairong, et al.
Veröffentlicht: (2025)

On the Essence and Prospect: An Investigation of Alignment Approaches for Big Models
von: Wang, Xinpeng, et al.
Veröffentlicht: (2024)

Rho-1: Not All Tokens Are What You Need
von: Lin, Zhenghao, et al.
Veröffentlicht: (2024)