Buchumschlag

GroundCocoa: A Benchmark for Evaluating Compositional & Conditional Reasoning in Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kohli, Harsh, Kumar, Sachin, Sun, Huan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
von: Kohli, Harsh, et al.
Veröffentlicht: (2026)

BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
von: Chen, Jiangxi, et al.
Veröffentlicht: (2026)

CE-Bench: Towards a Reliable Contrastive Evaluation Benchmark of Interpretability of Sparse Autoencoders
von: Gulko, Alex, et al.
Veröffentlicht: (2025)

Continually Adding New Languages to Multilingual Language Models
von: Owodunni, Abraham Toluwase, et al.
Veröffentlicht: (2025)

Compositional Generalization with Grounded Language Models
von: Wold, Sondre, et al.
Veröffentlicht: (2024)

Meta-Tool: Efficient Few-Shot Tool Adaptation for Small Language Models
von: Kumar, Sachin
Veröffentlicht: (2026)

Reasoning Up the Instruction Ladder for Controllable Language Models
von: Zheng, Zishuo, et al.
Veröffentlicht: (2025)

DynaMath: A Dynamic Visual Benchmark for Evaluating Mathematical Reasoning Robustness of Vision Language Models
von: Zou, Chengke, et al.
Veröffentlicht: (2024)

CocoaBench: Evaluating Unified Digital Agents in the Wild
von: CocoaBench Team, et al.
Veröffentlicht: (2026)

Mathfish: Evaluating Language Model Math Reasoning via Grounding in Educational Curricula
von: Lucy, Li, et al.
Veröffentlicht: (2024)

CEI: A Benchmark for Evaluating Pragmatic Reasoning in Language Models
von: Chun, Jon, et al.
Veröffentlicht: (2026)

SocialMaze: A Benchmark for Evaluating Social Reasoning in Large Language Models
von: Xu, Zixiang, et al.
Veröffentlicht: (2025)

BASS: Benchmarking Audio LMs for Musical Structure and Semantic Reasoning
von: Jang, Min, et al.
Veröffentlicht: (2026)

EffiReason-Bench: A Unified Benchmark for Evaluating and Advancing Efficient Reasoning in Large Language Models
von: Huang, Junquan, et al.
Veröffentlicht: (2025)

ScholarEval: Research Idea Evaluation Grounded in Literature
von: Moussa, Hanane Nour, et al.
Veröffentlicht: (2025)

Compositional Causal Reasoning Evaluation in Language Models
von: Maasch, Jacqueline R. M. A., et al.
Veröffentlicht: (2025)

FLEXITOKENS: Flexible Tokenization for Evolving Language Models
von: Owodunni, Abraham Toluwase, et al.
Veröffentlicht: (2025)

Role-Conditioned Refusals: Evaluating Access Control Reasoning in Large Language Models
von: Klisura, Đorđe, et al.
Veröffentlicht: (2025)

VLegal-Bench: Cognitively Grounded Benchmark for Vietnamese Legal Reasoning of Large Language Models
von: Dong, Nguyen Tien, et al.
Veröffentlicht: (2025)

Benchmarking Open-Source Safety Guard Models: A Comprehensive Evaluation
von: Harsh, Reetu Raj, et al.
Veröffentlicht: (2026)

MentalBench: A DSM-Grounded Benchmark for Evaluating Psychiatric Diagnostic Capability of Large Language Models
von: Song, Hoyun, et al.
Veröffentlicht: (2026)

CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models
von: Wang, Song, et al.
Veröffentlicht: (2024)

A Comparative Empirical Study of Catastrophic Forgetting Mitigation in Sequential Task Adaptation for Continual Natural Language Processing Systems
von: Abrahamyan, Aram, et al.
Veröffentlicht: (2026)

Overriding Safety protections of Open-source Models
von: Kumar, Sachin
Veröffentlicht: (2024)

Steering Large Language Models between Code Execution and Textual Reasoning
von: Chen, Yongchao, et al.
Veröffentlicht: (2024)

RUPBench: Benchmarking Reasoning Under Perturbations for Robustness Evaluation in Large Language Models
von: Wang, Yuqing, et al.
Veröffentlicht: (2024)

VCB Bench: An Evaluation Benchmark for Audio-Grounded Large Language Model Conversational Agents
von: Hu, Jiliang, et al.
Veröffentlicht: (2025)

TESS 2: A Large-Scale Generalist Diffusion Language Model
von: Tae, Jaesung, et al.
Veröffentlicht: (2025)

Pause or Fabricate? Training Language Models for Grounded Reasoning
von: Qiu, Yiwen, et al.
Veröffentlicht: (2026)

Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task
von: Abe, Hirohiko, et al.
Veröffentlicht: (2026)

MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation
von: Zeng, Zhongshen, et al.
Veröffentlicht: (2023)

SANSKRITI: A Comprehensive Benchmark for Evaluating Language Models' Knowledge of Indian Culture
von: Maji, Arijit, et al.
Veröffentlicht: (2025)

Metric-Dependent Annotation Saturation for Learning from Label Distributions
von: Kohli, Guneet
Veröffentlicht: (2026)

Evaluating Large Language Models on the Frame and Symbol Grounding Problems: A Zero-shot Benchmark
von: Oka, Shoko
Veröffentlicht: (2025)

ValueGround: Evaluating Culture-Conditioned Visual Value Grounding in MLLMs
von: Wang, Zhipin, et al.
Veröffentlicht: (2026)

Reasoning-Grounded Natural Language Explanations for Language Models
von: Cahlik, Vojtech, et al.
Veröffentlicht: (2025)

TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning
von: Liu, Daixian, et al.
Veröffentlicht: (2026)

LTLBench: Towards Benchmarks for Evaluating Temporal Reasoning in Large Language Models
von: Tang, Weizhi, et al.
Veröffentlicht: (2024)

JudgeBoard: Benchmarking and Enhancing Small Language Models for Reasoning Evaluation
von: Bi, Zhenyu, et al.
Veröffentlicht: (2025)

RoleEval: A Bilingual Role Evaluation Benchmark for Large Language Models
von: Shen, Tianhao, et al.
Veröffentlicht: (2023)