Buchumschlag

Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Yiming, Zhang, Chen, Luo, Danqing, D'Haro, Luis Fernando, Tan, Robby T., Li, Haizhou
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Comprehensive Analysis of the Effectiveness of Large Language Models as Automatic Dialogue Evaluators
von: Zhang, Chen, et al.
Veröffentlicht: (2023)

Beyond Single-Audio: Advancing Multi-Audio Processing in Audio Large Language Models
von: Chen, Yiming, et al.
Veröffentlicht: (2024)

Commonsense Generation and Evaluation for Dialogue Systems using Large Language Models
von: Estecha-Garitagoitia, Marcos, et al.
Veröffentlicht: (2025)

Unsupervised Mutual Learning of Discourse Parsing and Topic Segmentation in Dialogue
von: Xu, Jiahui, et al.
Veröffentlicht: (2024)

[WIP] Jailbreak Paradox: The Achilles' Heel of LLMs
von: Rao, Abhinav, et al.
Veröffentlicht: (2024)

Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models
von: Yang, Hao, et al.
Veröffentlicht: (2024)

Images are Achilles' Heel of Alignment: Exploiting Visual Vulnerabilities for Jailbreaking Multimodal Large Language Models
von: Li, Yifan, et al.
Veröffentlicht: (2024)

Identifying the Achilles' Heel: An Iterative Method for Dynamically Uncovering Factual Errors in Large Language Models
von: Wang, Wenxuan, et al.
Veröffentlicht: (2024)

The Sword, Shield, and Achilles' Heel: Characterizing the Linguistic Inductive Bias of Large Language Models for Spatial Reasoning in Navigation Planning
von: Zhang, Xudong, et al.
Veröffentlicht: (2026)

Leveraging Large Language Models for NLG Evaluation: Advances and Challenges
von: Li, Zhen, et al.
Veröffentlicht: (2024)

Against The Achilles' Heel: A Survey on Red Teaming for Generative Models
von: Lin, Lizhi, et al.
Veröffentlicht: (2024)

Large Language Models Are Active Critics in NLG Evaluation
von: Xu, Shuying, et al.
Veröffentlicht: (2024)

Overview of Dialog System Evaluation Track: Dimensionality, Language, Culture and Safety at DSTC 12
von: Mendonça, John, et al.
Veröffentlicht: (2025)

Exposing the Achilles' Heel: Evaluating LLMs Ability to Handle Mistakes in Mathematical Reasoning
von: Singh, Joykirat, et al.
Veröffentlicht: (2024)

VoiceBench: Benchmarking LLM-Based Voice Assistants
von: Chen, Yiming, et al.
Veröffentlicht: (2024)

CrossTune: Black-Box Few-Shot Classification with Label Enhancement
von: Luo, Danqing, et al.
Veröffentlicht: (2024)

Are LLM-based Evaluators Confusing NLG Quality Criteria?
von: Hu, Xinyu, et al.
Veröffentlicht: (2024)

Themis: A Reference-free NLG Evaluation Language Model with Flexibility and Interpretability
von: Hu, Xinyu, et al.
Veröffentlicht: (2024)

NLG Evaluation: Past, Present, Future
von: Reiter, Ehud
Veröffentlicht: (2026)

LLM Comparative Assessment: Zero-shot NLG Evaluation through Pairwise Comparisons using Large Language Models
von: Liusie, Adian, et al.
Veröffentlicht: (2023)

AmbigNLG: Addressing Task Ambiguity in Instruction for NLG
von: Niwa, Ayana, et al.
Veröffentlicht: (2024)

How to Select Datapoints for Efficient Human Evaluation of NLG Models?
von: Zouhar, Vilém, et al.
Veröffentlicht: (2025)

Analyzing and Evaluating Correlation Measures in NLG Meta-Evaluation
von: Gao, Mingqi, et al.
Veröffentlicht: (2024)

ReMedi: Reasoner for Medical Clinical Prediction
von: Cao, Yushi, et al.
Veröffentlicht: (2026)

Extramedullary Disease—Achilles Heel in Myeloma?
von: Shaji Kumar, et al.
Veröffentlicht: (2025)

Exploring the Multilingual NLG Evaluation Abilities of LLM-Based Evaluators
von: Chang, Jiayi, et al.
Veröffentlicht: (2025)

A Dual-Perspective NLG Meta-Evaluation Framework with Automatic Benchmark and Better Interpretability
von: Hu, Xinyu, et al.
Veröffentlicht: (2025)

DHP Benchmark: Are LLMs Good NLG Evaluators?
von: Wang, Yicheng, et al.
Veröffentlicht: (2024)

LLM-based NLG Evaluation: Current Status and Challenges
von: Gao, Mingqi, et al.
Veröffentlicht: (2024)

Is Reference Necessary in the Evaluation of NLG Systems? When and Where?
von: Sheng, Shuqian, et al.
Veröffentlicht: (2024)

DynaThink: Fast or Slow? A Dynamic Decision-Making Framework for Large Language Models
von: Pan, Jiabao, et al.
Veröffentlicht: (2024)

Integration of LLM Quality Assurance into an NLG System
von: Chen, Ching-Yi, et al.
Veröffentlicht: (2025)

MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels
von: Liu, Xiaoou, et al.
Veröffentlicht: (2025)

Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References
von: Tang, Tianyi, et al.
Veröffentlicht: (2023)

Achilles Heel of Distributed Multi-Agent Systems
von: Zhang, Yiting, et al.
Veröffentlicht: (2025)

User Profiles: The Achilles' Heel of Web Browsers
von: Somé, Dolière Francis, et al.
Veröffentlicht: (2025)

TS-Align: A Teacher-Student Collaborative Framework for Scalable Iterative Finetuning of Large Language Models
von: Zhang, Chen, et al.
Veröffentlicht: (2024)

CodeJudgeBench: Benchmarking LLM-as-a-Judge for Coding Tasks
von: Jiang, Hongchao, et al.
Veröffentlicht: (2025)

SAGEval: The frontiers of Satisfactory Agent based NLG Evaluation for reference-free open-ended text
von: Ghosh, Reshmi, et al.
Veröffentlicht: (2024)

Unifying Large Language Models and Knowledge Graphs: A Roadmap
von: Pan, Shirui, et al.
Veröffentlicht: (2023)