Werewolf Arena: A Case Study in LLM Evaluation via Social Deduction

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bailis, Suma, Friedhoff, Jane, Chen, Feiyang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Verbal Werewolf: Engage Users with Verbalized Agentic Werewolf Game Framework
von: Fan, Qihui, et al.
Veröffentlicht: (2025)

Fine-Grained and Thematic Evaluation of LLMs in Social Deduction Game
von: Kim, Byungjun, et al.
Veröffentlicht: (2024)

Enhance Reasoning for Large Language Models in the Game Werewolf
von: Wu, Shuang, et al.
Veröffentlicht: (2024)

Helmsman of the Masses? Evaluate the Opinion Leadership of Large Language Models in the Werewolf Game
von: Du, Silin, et al.
Veröffentlicht: (2024)

WereWolf-Plus: An Update of Werewolf Game setting Based on DSGBench
von: Xia, Xinyuan, et al.
Veröffentlicht: (2025)

Enhancing Consistency of Werewolf AI through Dialogue Summarization and Persona Information
von: Tanaka, Yoshiki, et al.
Veröffentlicht: (2026)

Enhancing Dialogue Generation in Werewolf Game Through Situation Analysis and Persuasion Strategies
von: Qi, Zhiyang, et al.
Veröffentlicht: (2024)

DeduCE: Deductive Consistency as a Framework to Evaluate LLM Reasoning
von: Pandey, Atharva, et al.
Veröffentlicht: (2025)

GameArena: Evaluating LLM Reasoning through Live Computer Games
von: Hu, Lanxiang, et al.
Veröffentlicht: (2024)

Data Analysis and Performance Evaluation of Simulation Deduction Based on LLMs
von: Zhang, Shansi, et al.
Veröffentlicht: (2025)

Evaluating the Realism of LLM-powered Social Agents: A Case Study of Reactions to Spanish Online News
von: López, Alejandro Buitrago, et al.
Veröffentlicht: (2026)

Automated Educational Question Generation at Different Bloom's Skill Levels using Large Language Models: Strategies and Evaluation
von: Scaria, Nicy, et al.
Veröffentlicht: (2024)

Put Your Money Where Your Mouth Is: Evaluating Strategic Planning and Execution of LLM Agents in an Auction Arena
von: Chen, Jiangjie, et al.
Veröffentlicht: (2023)

Who Benchmarks the Benchmarks? A Case Study of LLM Evaluation in Icelandic
von: Ingimundarson, Finnur Ágúst, et al.
Veröffentlicht: (2026)

Open-LLM-Leaderboard: From Multi-choice to Open-style Questions for LLMs Evaluation, Benchmark, and Arena
von: Myrzakhan, Aidar, et al.
Veröffentlicht: (2024)

The Generative Energy Arena (GEA): Incorporating Energy Awareness in Large Language Model (LLM) Human Evaluations
von: Arriaga, Carlos, et al.
Veröffentlicht: (2025)

GraphArena: Evaluating and Exploring Large Language Models on Graph Computation
von: Tang, Jianheng, et al.
Veröffentlicht: (2024)

MTalk-Bench: Evaluating Speech-to-Speech Models in Multi-Turn Dialogues via Arena-style and Rubrics Protocols
von: Du, Yuhao, et al.
Veröffentlicht: (2025)

Revealing Algorithmic Deductive Circuits for Logical Reasoning
von: Nguyen, Phuong Minh, et al.
Veröffentlicht: (2026)

MathArena: Evaluating LLMs on Uncontaminated Math Competitions
von: Balunović, Mislav, et al.
Veröffentlicht: (2025)

Toward Mechanistic Explanation of Deductive Reasoning in Language Models
von: Maltoni, Davide, et al.
Veröffentlicht: (2025)

Investigating the Robustness of Deductive Reasoning with Large Language Models
von: Hoppe, Fabian, et al.
Veröffentlicht: (2025)

ArenaBencher: Automatic Benchmark Evolution via Multi-Model Competitive Evaluation
von: Liu, Qin, et al.
Veröffentlicht: (2025)

Are More LLM Calls All You Need? Towards Scaling Laws of Compound Inference Systems
von: Chen, Lingjiao, et al.
Veröffentlicht: (2024)

Does Reasoning Introduce Bias? A Study of Social Bias Evaluation and Mitigation in LLM Reasoning
von: Wu, Xuyang, et al.
Veröffentlicht: (2025)

Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference
von: Chiang, Wei-Lin, et al.
Veröffentlicht: (2024)

I Need Help! Evaluating LLM's Ability to Ask for Users' Support: A Case Study on Text-to-SQL Generation
von: Wu, Cheng-Kuang, et al.
Veröffentlicht: (2024)

Arena-Lite: Efficient and Reliable Large Language Model Evaluation via Tournament-Based Direct Comparisons
von: Son, Seonil, et al.
Veröffentlicht: (2024)

QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents
von: Yuan, Ye, et al.
Veröffentlicht: (2026)

JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models
von: Chen, Michael K., et al.
Veröffentlicht: (2025)

Arena Learning: Build Data Flywheel for LLMs Post-training via Simulated Chatbot Arena
von: Luo, Haipeng, et al.
Veröffentlicht: (2024)

Inductive-Deductive Strategy Reuse for Multi-Turn Instructional Dialogues
von: Ou, Jiao, et al.
Veröffentlicht: (2024)

ItD: Large Language Models Can Teach Themselves Induction through Deduction
von: Sun, Wangtao, et al.
Veröffentlicht: (2024)

SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks
von: Kundurthy, Srivatsa, et al.
Veröffentlicht: (2026)

Hypothesis Testing Prompting Improves Deductive Reasoning in Large Language Models
von: Li, Yitian, et al.
Veröffentlicht: (2024)

Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning
von: Mondorf, Philipp, et al.
Veröffentlicht: (2024)

MASLegalBench: Benchmarking Multi-Agent Systems in Deductive Legal Reasoning
von: Jing, Huihao, et al.
Veröffentlicht: (2025)

SciArena: An Open Evaluation Platform for Non-Verifiable Scientific Literature-Grounded Tasks
von: Zhao, Yilun, et al.
Veröffentlicht: (2025)

MemeArena: Automating Context-Aware Unbiased Evaluation of Harmfulness Understanding for Multimodal Large Language Models
von: Chen, Zixin, et al.
Veröffentlicht: (2025)

EgoSocialArena: Benchmarking the Social Intelligence of Large Language Models from a First-person Perspective
von: Hou, Guiyang, et al.
Veröffentlicht: (2024)