Beyond correlation: The Impact of Human Uncertainty in Measuring the Effectiveness of Automatic Evaluation and LLM-as-a-Judge

Ähnliche Einträge

• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models
  von: Elangovan, Aparna, et al.
  Veröffentlicht: (2024)
• Human-Centered Design Recommendations for LLM-as-a-Judge
  von: Pan, Qian, et al.
  Veröffentlicht: (2024)
• EvalAssist: A Human-Centered Tool for LLM-as-a-Judge
  von: Ashktorab, Zahra, et al.
  Veröffentlicht: (2025)
• Generate, Evaluate, Iterate: Synthetic Data for Human-in-the-Loop Refinement of LLM Judges
  von: Do, Hyo Jin, et al.
  Veröffentlicht: (2025)
• Limitations of the LLM-as-a-Judge Approach for Evaluating LLM Outputs in Expert Knowledge Tasks
  von: Szymanski, Annalisa, et al.
  Veröffentlicht: (2024)