Buchumschlag

CharacterEval: A Chinese Benchmark for Role-Playing Conversational Agent Evaluation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tu, Quan, Fan, Shilong, Tian, Zihang, Yan, Rui
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

RoleEval: A Bilingual Role Evaluation Benchmark for Large Language Models
von: Shen, Tianhao, et al.
Veröffentlicht: (2023)

InCharacter: Evaluating Personality Fidelity in Role-Playing Agents through Psychological Interviews
von: Wang, Xintao, et al.
Veröffentlicht: (2023)

SocialBench: Sociality Evaluation of Role-Playing Conversational Agents
von: Chen, Hongzhan, et al.
Veröffentlicht: (2024)

BaiJia: A Large-Scale Role-Playing Agent Corpus of Chinese Historical Characters
von: Bai, Ting, et al.
Veröffentlicht: (2024)

PsyPlay: Personality-Infused Role-Playing Conversational Agents
von: Yang, Tao, et al.
Veröffentlicht: (2025)

Thinking in Character: Advancing Role-Playing Agents with Role-Aware Reasoning
von: Tang, Yihong, et al.
Veröffentlicht: (2025)

SpeechRole: A Large-Scale Dataset and Benchmark for Evaluating Speech Role-Playing Agents
von: Jiang, Changhao, et al.
Veröffentlicht: (2025)

VoxRole: A Comprehensive Benchmark for Evaluating Speech-Based Role-Playing Agents
von: Wu, Weihao, et al.
Veröffentlicht: (2025)

DEBATE: A Large-Scale Benchmark for Evaluating Opinion Dynamics in Role-Playing LLM Agents
von: Chuang, Yun-Shiuan, et al.
Veröffentlicht: (2025)

Codifying Character Logic in Role-Playing
von: Peng, Letian, et al.
Veröffentlicht: (2025)

PersonaEval: Are LLM Evaluators Human Enough to Judge Role-Play?
von: Zhou, Lingfeng, et al.
Veröffentlicht: (2025)

CharacterGPT: A Persona Reconstruction Framework for Role-Playing Agents
von: Park, Jeiyoon, et al.
Veröffentlicht: (2024)

Crafting Customisable Characters with LLMs: A Persona-Driven Role-Playing Agent Framework
von: Yang, Bohao, et al.
Veröffentlicht: (2024)

Character-R1: Enhancing Role-Aware Reasoning in Role-Playing Agents via RLVR
von: Tang, Yihong, et al.
Veröffentlicht: (2026)

Mitigating Hallucination in Fictional Character Role-Play
von: Sadeq, Nafis, et al.
Veröffentlicht: (2024)

Through the Lens of Character: Resolving Modality-Role Interference in Multimodal Role-Playing Agent
von: Tang, Yihong, et al.
Veröffentlicht: (2026)

Neeko: Leveraging Dynamic LoRA for Efficient Multi-Character Role-Playing Agent
von: Yu, Xiaoyan, et al.
Veröffentlicht: (2024)

A Multi-Task Role-Playing Agent Capable of Imitating Character Linguistic Styles
von: Chen, Siyuan, et al.
Veröffentlicht: (2024)

LexEval: A Comprehensive Chinese Legal Benchmark for Evaluating Large Language Models
von: Li, Haitao, et al.
Veröffentlicht: (2024)

CLongEval: A Chinese Benchmark for Evaluating Long-Context Large Language Models
von: Qiu, Zexuan, et al.
Veröffentlicht: (2024)

AgriEval: A Comprehensive Chinese Agricultural Benchmark for Large Language Models
von: Yan, Lian, et al.
Veröffentlicht: (2025)

CMoralEval: A Moral Evaluation Benchmark for Chinese Large Language Models
von: Yu, Linhao, et al.
Veröffentlicht: (2024)

Unveiling the Secrets of Engaging Conversations: Factors that Keep Users Hooked on Role-Playing Dialog Agents
von: Zhang, Shuai, et al.
Veröffentlicht: (2024)

TimeChara: Evaluating Point-in-Time Character Hallucination of Role-Playing Large Language Models
von: Ahn, Jaewoo, et al.
Veröffentlicht: (2024)

FinEval: A Chinese Financial Domain Knowledge Evaluation Benchmark for Large Language Models
von: Guo, Xin, et al.
Veröffentlicht: (2023)

RoleBreak: Character Hallucination as a Jailbreak Attack in Role-Playing Systems
von: Tang, Yihong, et al.
Veröffentlicht: (2024)

ProactiveEval: A Unified Evaluation Framework for Proactive Dialogue Agents
von: Liu, Tianjian, et al.
Veröffentlicht: (2025)

OmniCharacter: Towards Immersive Role-Playing Agents with Seamless Speech-Language Personality Interaction
von: Zhang, Haonan, et al.
Veröffentlicht: (2025)

CharacterBox: Evaluating the Role-Playing Capabilities of LLMs in Text-Based Virtual Worlds
von: Wang, Lei, et al.
Veröffentlicht: (2024)

CRiskEval: A Chinese Multi-Level Risk Evaluation Benchmark Dataset for Large Language Models
von: Shi, Ling, et al.
Veröffentlicht: (2024)

TCM-Eval: An Expert-Level Dynamic and Extensible Benchmark for Traditional Chinese Medicine
von: Cheng, Zihao, et al.
Veröffentlicht: (2025)

ES-MemEval: Benchmarking Conversational Agents on Personalized Long-Term Emotional Support
von: Chen, Tiantian, et al.
Veröffentlicht: (2026)

Evaluating Computational Representations of Character: An Austen Character Similarity Benchmark
von: Yang, Funing, et al.
Veröffentlicht: (2024)

DISC: Plug-and-Play Decoding Intervention with Similarity of Characters for Chinese Spelling Check
von: Qiao, Ziheng, et al.
Veröffentlicht: (2024)

EduEval: A Hierarchical Cognitive Benchmark for Evaluating Large Language Models in Chinese Education
von: Ma, Guoqing, et al.
Veröffentlicht: (2025)

OpenEval: Benchmarking Chinese LLMs across Capability, Alignment and Safety
von: Liu, Chuang, et al.
Veröffentlicht: (2024)

EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents
von: Cheng, Zhili, et al.
Veröffentlicht: (2025)

ESC-Eval: Evaluating Emotion Support Conversations in Large Language Models
von: Zhao, Haiquan, et al.
Veröffentlicht: (2024)

AlphaEval: Evaluating Agents in Production
von: Lu, Pengrui, et al.
Veröffentlicht: (2026)

MERRY: Semantically Decoupled Evaluation of Multimodal Emotional and Role Consistencies of Role-Playing Agents
von: Wang, Zhenyu, et al.
Veröffentlicht: (2026)