Buchumschlag

A Comprehensive Analysis of the Effectiveness of Large Language Models as Automatic Dialogue Evaluators

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Chen, D'Haro, Luis Fernando, Chen, Yiming, Zhang, Malu, Li, Haizhou
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models
von: Chen, Yiming, et al.
Veröffentlicht: (2024)

Commonsense Generation and Evaluation for Dialogue Systems using Large Language Models
von: Estecha-Garitagoitia, Marcos, et al.
Veröffentlicht: (2025)

Unsupervised Mutual Learning of Discourse Parsing and Topic Segmentation in Dialogue
von: Xu, Jiahui, et al.
Veröffentlicht: (2024)

Beyond Single-Audio: Advancing Multi-Audio Processing in Audio Large Language Models
von: Chen, Yiming, et al.
Veröffentlicht: (2024)

Overview of Dialog System Evaluation Track: Dimensionality, Language, Culture and Safety at DSTC 12
von: Mendonça, John, et al.
Veröffentlicht: (2025)

Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models
von: She, Shuaijie, et al.
Veröffentlicht: (2023)

DynaThink: Fast or Slow? A Dynamic Decision-Making Framework for Large Language Models
von: Pan, Jiabao, et al.
Veröffentlicht: (2024)

Large Language Models as Biomedical Hypothesis Generators: A Comprehensive Evaluation
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

Mixed-Precision Graph Neural Quantization for Low Bit Large Language Models
von: Liu, Wanlong, et al.
Veröffentlicht: (2025)

DRE: An Effective Dual-Refined Method for Integrating Small and Large Language Models in Open-Domain Dialogue Evaluation
von: Zhao, Kun, et al.
Veröffentlicht: (2025)

LexEval: A Comprehensive Chinese Legal Benchmark for Evaluating Large Language Models
von: Li, Haitao, et al.
Veröffentlicht: (2024)

Uncovering the Potential of ChatGPT for Discourse Analysis in Dialogue: An Empirical Study
von: Fan, Yaxin, et al.
Veröffentlicht: (2023)

Evaluating Large Language Models in Analysing Classroom Dialogue
von: Long, Yun, et al.
Veröffentlicht: (2024)

Dialogue Language Model with Large-Scale Persona Data Engineering
von: Hong, Mengze, et al.
Veröffentlicht: (2024)

Automatic Generation and Evaluation of Reading Comprehension Test Items with Large Language Models
von: Säuberli, Andreas, et al.
Veröffentlicht: (2024)

Accounting Reasoning in Large Language Models: Concepts, Evaluation, and Empirical Analysis
von: Zhou, Jie, et al.
Veröffentlicht: (2025)

Large Language Models Penetration in Scholarly Writing and Peer Review
von: Zhou, Li, et al.
Veröffentlicht: (2025)

OmniEduBench: A Comprehensive Chinese Benchmark for Evaluating Large Language Models in Education
von: Zhang, Min, et al.
Veröffentlicht: (2025)

DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models
von: Chen, Kedi, et al.
Veröffentlicht: (2024)

A Comprehensive Evaluation on Event Reasoning of Large Language Models
von: Tao, Zhengwei, et al.
Veröffentlicht: (2024)

UNO-DST: Leveraging Unlabelled Data in Zero-Shot Dialogue State Tracking
von: Li, Chuang, et al.
Veröffentlicht: (2023)

A Comprehensive Evaluation of Large Language Models on Aspect-Based Sentiment Analysis
von: Zhou, Changzhi, et al.
Veröffentlicht: (2024)

HalluDial: A Large-Scale Benchmark for Automatic Dialogue-Level Hallucination Evaluation
von: Luo, Wen, et al.
Veröffentlicht: (2024)

Rethinking Generative Large Language Model Evaluation for Semantic Comprehension
von: Wei, Fangyun, et al.
Veröffentlicht: (2024)

Mind's Mirror: Distilling Self-Evaluation Capability and Comprehensive Thinking from Large Language Models
von: Liu, Weize, et al.
Veröffentlicht: (2023)

Visualizing Dialogues: Enhancing Image Selection through Dialogue Understanding with Large Language Models
von: Kao, Chang-Sheng, et al.
Veröffentlicht: (2024)

SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation
von: Zhao, Kun, et al.
Veröffentlicht: (2024)

SciCUEval: A Comprehensive Dataset for Evaluating Scientific Context Understanding in Large Language Models
von: Yu, Jing, et al.
Veröffentlicht: (2025)

TS-Align: A Teacher-Student Collaborative Framework for Scalable Iterative Finetuning of Large Language Models
von: Zhang, Chen, et al.
Veröffentlicht: (2024)

URO-Bench: Towards Comprehensive Evaluation for End-to-End Spoken Dialogue Models
von: Yan, Ruiqi, et al.
Veröffentlicht: (2025)

Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning
von: Lyu, Mengxian, et al.
Veröffentlicht: (2024)

AttackEval: How to Evaluate the Effectiveness of Jailbreak Attacking on Large Language Models
von: Shu, Dong, et al.
Veröffentlicht: (2024)

MTalk-Bench: Evaluating Speech-to-Speech Models in Multi-Turn Dialogues via Arena-style and Rubrics Protocols
von: Du, Yuhao, et al.
Veröffentlicht: (2025)

A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry
von: Huang, Yining, et al.
Veröffentlicht: (2024)

JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models
von: Chen, Michael K., et al.
Veröffentlicht: (2025)

Enabling Auditory Large Language Models for Automatic Speech Quality Evaluation
von: Wang, Siyin, et al.
Veröffentlicht: (2024)

Scoring with Large Language Models: A Study on Measuring Empathy of Responses in Dialogues
von: Xie, Henry J., et al.
Veröffentlicht: (2024)

Toward Automated Qualitative Analysis: Leveraging Large Language Models for Tutoring Dialogue Evaluation
von: Gu, Megan, et al.
Veröffentlicht: (2025)

Exposing Numeracy Gaps: A Benchmark to Evaluate Fundamental Numerical Abilities in Large Language Models
von: Li, Haoyang, et al.
Veröffentlicht: (2025)

PediaBench: A Comprehensive Chinese Pediatric Dataset for Benchmarking Large Language Models
von: Zhang, Qian, et al.
Veröffentlicht: (2024)