Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task
Fuente:
arXiv
Salvato in:
| Autori principali: | Abe, Hirohiko, Ozeki, Kentaro, Ando, Risako, Morishita, Takanobu, Mineshima, Koji, Okada, Mitsuhiro |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2026
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Abductive Reasoning with Syllogistic Forms in Large Language Models
di: Abe, Hirohiko, et al.
Pubblicazione: (2026)
di: Abe, Hirohiko, et al.
Pubblicazione: (2026)
Normative Reasoning in Large Language Models: A Comparative Benchmark from Logical and Modal Perspectives
di: Ozeki, Kentaro, et al.
Pubblicazione: (2025)
di: Ozeki, Kentaro, et al.
Pubblicazione: (2025)
Exploring Reasoning Biases in Large Language Models Through Syllogism: Insights from the NeuBAROCO Dataset
di: Ozeki, Kentaro, et al.
Pubblicazione: (2024)
di: Ozeki, Kentaro, et al.
Pubblicazione: (2024)
A Theorem-Proving-Based Evaluation of Neural Semantic Parsing
di: Funakura, Hayate, et al.
Pubblicazione: (2025)
di: Funakura, Hayate, et al.
Pubblicazione: (2025)
Merging Continual Pretraining Models for Domain-Specialized LLMs: A Case Study in Finance
di: Ueda, Kentaro, et al.
Pubblicazione: (2025)
di: Ueda, Kentaro, et al.
Pubblicazione: (2025)
DeonticBench: A Benchmark for Reasoning over Rules
di: Dou, Guangyao, et al.
Pubblicazione: (2026)
di: Dou, Guangyao, et al.
Pubblicazione: (2026)
MQM-Chat: Multidimensional Quality Metrics for Chat Translation
di: Li, Yunmeng, et al.
Pubblicazione: (2024)
di: Li, Yunmeng, et al.
Pubblicazione: (2024)
An Investigation of Warning Erroneous Chat Translations in Cross-lingual Communication
di: Li, Yunmeng, et al.
Pubblicazione: (2024)
di: Li, Yunmeng, et al.
Pubblicazione: (2024)
Role-Conditioned Refusals: Evaluating Access Control Reasoning in Large Language Models
di: Klisura, Đorđe, et al.
Pubblicazione: (2025)
di: Klisura, Đorđe, et al.
Pubblicazione: (2025)
Unbiased Reasoning for Knowledge-Intensive Tasks in Large Language Models via Conditional Front-Door Adjustment
di: Zhao, Bo, et al.
Pubblicazione: (2025)
di: Zhao, Bo, et al.
Pubblicazione: (2025)
PheMT: A Phenomenon-wise Dataset for Machine Translation Robustness on User-Generated Contents
di: Fujii, Ryo, et al.
Pubblicazione: (2020)
di: Fujii, Ryo, et al.
Pubblicazione: (2020)
Using Counterfactual Tasks to Evaluate the Generality of Analogical Reasoning in Large Language Models
di: Lewis, Martha, et al.
Pubblicazione: (2024)
di: Lewis, Martha, et al.
Pubblicazione: (2024)
DyVal: Dynamic Evaluation of Large Language Models for Reasoning Tasks
di: Zhu, Kaijie, et al.
Pubblicazione: (2023)
di: Zhu, Kaijie, et al.
Pubblicazione: (2023)
Enhancing Large Language Models with Neurosymbolic Reasoning for Multilingual Tasks
di: Nezhad, Sina Bagheri, et al.
Pubblicazione: (2025)
di: Nezhad, Sina Bagheri, et al.
Pubblicazione: (2025)
TimeMachine-bench: A Benchmark for Evaluating Model Capabilities in Repository-Level Migration Tasks
di: Fujii, Ryo, et al.
Pubblicazione: (2026)
di: Fujii, Ryo, et al.
Pubblicazione: (2026)
Evaluating Large Language Models for Material Selection
di: Grandi, Daniele, et al.
Pubblicazione: (2024)
di: Grandi, Daniele, et al.
Pubblicazione: (2024)
Evaluating Multi-Hop Reasoning in Large Language Models: A Chemistry-Centric Case Study
di: Khodadad, Mohammad, et al.
Pubblicazione: (2025)
di: Khodadad, Mohammad, et al.
Pubblicazione: (2025)
From Monolingual to Bilingual: Investigating Language Conditioning in Large Language Models for Psycholinguistic Tasks
di: Yuan, Shuzhou, et al.
Pubblicazione: (2025)
di: Yuan, Shuzhou, et al.
Pubblicazione: (2025)
Aligning Large Language Model Behavior with Human Citation Preferences
di: Ando, Kenichiro, et al.
Pubblicazione: (2026)
di: Ando, Kenichiro, et al.
Pubblicazione: (2026)
Reasoning Capabilities of Large Language Models on Dynamic Tasks
di: Wong, Annie, et al.
Pubblicazione: (2025)
di: Wong, Annie, et al.
Pubblicazione: (2025)
Benchmarking Large Language Models for Math Reasoning Tasks
di: Seßler, Kathrin, et al.
Pubblicazione: (2024)
di: Seßler, Kathrin, et al.
Pubblicazione: (2024)
Evaluating Counterfactual Strategic Reasoning in Large Language Models
di: Georgousis, Dimitrios, et al.
Pubblicazione: (2026)
di: Georgousis, Dimitrios, et al.
Pubblicazione: (2026)
Evaluating Accounting Reasoning Capabilities of Large Language Models
di: Zhou, Jie, et al.
Pubblicazione: (2026)
di: Zhou, Jie, et al.
Pubblicazione: (2026)
GroundCocoa: A Benchmark for Evaluating Compositional & Conditional Reasoning in Language Models
di: Kohli, Harsh, et al.
Pubblicazione: (2024)
di: Kohli, Harsh, et al.
Pubblicazione: (2024)
Reliable Control-Point Selection for Steering Reasoning in Large Language Models
di: Zhuang, Haomin, et al.
Pubblicazione: (2026)
di: Zhuang, Haomin, et al.
Pubblicazione: (2026)
Eliciting Causal Abilities in Large Language Models for Reasoning Tasks
di: Wang, Yajing, et al.
Pubblicazione: (2024)
di: Wang, Yajing, et al.
Pubblicazione: (2024)
Evaluating Large Language Models on Spatial Tasks: A Multi-Task Benchmarking Study
di: Xu, Liuchang, et al.
Pubblicazione: (2024)
di: Xu, Liuchang, et al.
Pubblicazione: (2024)
A Systematic Evaluation of Large Language Models for Natural Language Generation Tasks
di: Ni, Xuanfan, et al.
Pubblicazione: (2024)
di: Ni, Xuanfan, et al.
Pubblicazione: (2024)
EthioLLM: Multilingual Large Language Models for Ethiopian Languages with Task Evaluation
di: Tonja, Atnafu Lambebo, et al.
Pubblicazione: (2024)
di: Tonja, Atnafu Lambebo, et al.
Pubblicazione: (2024)
Evaluating Large Language Models in Theory of Mind Tasks
di: Kosinski, Michal
Pubblicazione: (2023)
di: Kosinski, Michal
Pubblicazione: (2023)
Evaluating Computational Accuracy of Large Language Models in Numerical Reasoning Tasks for Healthcare Applications
di: Malghan, Arjun R.
Pubblicazione: (2025)
di: Malghan, Arjun R.
Pubblicazione: (2025)
Construction of Domain-specified Japanese Large Language Model for Finance through Continual Pre-training
di: Hirano, Masanori, et al.
Pubblicazione: (2024)
di: Hirano, Masanori, et al.
Pubblicazione: (2024)
EconNLI: Evaluating Large Language Models on Economics Reasoning
di: Guo, Yue, et al.
Pubblicazione: (2024)
di: Guo, Yue, et al.
Pubblicazione: (2024)
Refactoring Programs Using Large Language Models with Few-Shot Examples
di: Shirafuji, Atsushi, et al.
Pubblicazione: (2023)
di: Shirafuji, Atsushi, et al.
Pubblicazione: (2023)
The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models
di: Lee, Taewhoo, et al.
Pubblicazione: (2025)
di: Lee, Taewhoo, et al.
Pubblicazione: (2025)
Evaluating Ill-Defined Tasks in Large Language Models
di: Zhou, Yi, et al.
Pubblicazione: (2026)
di: Zhou, Yi, et al.
Pubblicazione: (2026)
DrawingBench: Evaluating Spatial Reasoning and UI Interaction Capabilities of Large Language Models through Mouse-Based Drawing Tasks
di: Kim, Hyunjun, et al.
Pubblicazione: (2025)
di: Kim, Hyunjun, et al.
Pubblicazione: (2025)
Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models
di: Wang, Xiaolong, et al.
Pubblicazione: (2024)
di: Wang, Xiaolong, et al.
Pubblicazione: (2024)
Benchmarking Critical Questions Generation: A Challenging Reasoning Task for Large Language Models
di: Figueras, Banca Calvo, et al.
Pubblicazione: (2025)
di: Figueras, Banca Calvo, et al.
Pubblicazione: (2025)
Evaluating Large Language Models for Abstract Evaluation Tasks: An Empirical Study
di: Liu, Yinuo, et al.
Pubblicazione: (2026)
di: Liu, Yinuo, et al.
Pubblicazione: (2026)
Documenti analoghi
-
Abductive Reasoning with Syllogistic Forms in Large Language Models
di: Abe, Hirohiko, et al.
Pubblicazione: (2026) -
Normative Reasoning in Large Language Models: A Comparative Benchmark from Logical and Modal Perspectives
di: Ozeki, Kentaro, et al.
Pubblicazione: (2025) -
Exploring Reasoning Biases in Large Language Models Through Syllogism: Insights from the NeuBAROCO Dataset
di: Ozeki, Kentaro, et al.
Pubblicazione: (2024) -
A Theorem-Proving-Based Evaluation of Neural Semantic Parsing
di: Funakura, Hayate, et al.
Pubblicazione: (2025) -
Merging Continual Pretraining Models for Domain-Specialized LLMs: A Case Study in Finance
di: Ueda, Kentaro, et al.
Pubblicazione: (2025)