Buchumschlag

How Well Do LLMs Perform on the Simplest Long-Chain Reasoning Tasks: An Empirical Study on the Equivalence Class Problem

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zheng, Chun, Wu, Lianlong, Li, Bingqian, Liu, Lvting, Zhou, Yi
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

InductionBench: LLMs Fail in the Simplest Complexity Class
von: Hua, Wenyue, et al.
Veröffentlicht: (2025)

SPIN-Bench: How Well Do LLMs Plan Strategically and Reason Socially?
von: Yao, Jianzhu, et al.
Veröffentlicht: (2025)

How Do LLMs Perform Two-Hop Reasoning in Context?
von: Guo, Tianyu, et al.
Veröffentlicht: (2025)

How Do Agents Perform Code Optimization? An Empirical Study
von: Peng, Huiyun, et al.
Veröffentlicht: (2025)

How Well Do LLMs Understand Tunisian Arabic?
von: Mahdi, Mohamed
Veröffentlicht: (2025)

How Well Do Multimodal Models Reason on ECG Signals?
von: Xu, Maxwell A., et al.
Veröffentlicht: (2026)

An Empirical Study of Data Ability Boundary in LLMs' Math Reasoning
von: Chen, Zui, et al.
Veröffentlicht: (2024)

Are Long-LLMs A Necessity For Long-Context Tasks?
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

Task Complexity Matters: An Empirical Study of Reasoning in LLMs for Sentiment Analysis
von: Huang, Donghao, et al.
Veröffentlicht: (2026)

ARCHE: A Novel Task to Evaluate LLMs on Latent Reasoning Chain Extraction
von: Li, Pengze, et al.
Veröffentlicht: (2025)

How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning
von: Chen, Haoyang, et al.
Veröffentlicht: (2026)

Agentic Frameworks for Reasoning Tasks: An Empirical Study
von: Rasheed, Zeeshan, et al.
Veröffentlicht: (2026)

ToxiLab: How Well Do Open-Source LLMs Generate Synthetic Toxicity Data?
von: Hui, Zheng, et al.
Veröffentlicht: (2024)

RealFin: How Well Do LLMs Reason About Finance When Users Leave Things Unsaid?
von: Dai, Yuyang, et al.
Veröffentlicht: (2026)

An Empirical Study of Reasoning Steps in Thinking Code LLMs
von: Xue, Haoran, et al.
Veröffentlicht: (2025)

The Thinking Spectrum: An Empirical Study of Tunable Reasoning in LLMs through Model Merging
von: Lan, Xiaochong, et al.
Veröffentlicht: (2025)

How Do Semantically Equivalent Code Transformations Impact Membership Inference on LLMs for Code?
von: Yang, Hua, et al.
Veröffentlicht: (2025)

Scalable Qualitative Coding with LLMs: Chain-of-Thought Reasoning Matches Human Performance in Some Hermeneutic Tasks
von: Dunivin, Zackary Okun
Veröffentlicht: (2024)

How Focused Are LLMs? A Quantitative Study via Repetitive Deterministic Prediction Tasks
von: Hou, Wanda, et al.
Veröffentlicht: (2025)

Effective Learning for Small Reasoning Models: An Empirical Study on 0.5B Reasoning LLMs
von: Zhuang, Xialie, et al.
Veröffentlicht: (2025)

Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models
von: Liu, Ruikang, et al.
Veröffentlicht: (2025)

How Well Do Models Follow Their Constitutions?
von: Jakkli, Arya, et al.
Veröffentlicht: (2026)

How Well Do LLMs Predict Human Behavior? A Measure of their Pretrained Knowledge
von: Gao, Wayne, et al.
Veröffentlicht: (2026)

GSM-Infinite: How Do Your LLMs Behave over Infinitely Increasing Context Length and Reasoning Complexity?
von: Zhou, Yang, et al.
Veröffentlicht: (2025)

From Long to Short: LLMs Excel at Trimming Own Reasoning Chains
von: Han, Wei, et al.
Veröffentlicht: (2025)

Draft-Thinking: Learning Efficient Reasoning in Long Chain-of-Thought LLMs
von: Cao, Jie, et al.
Veröffentlicht: (2026)

How Well do LLMs Compress Their Own Chain-of-Thought? A Token Complexity Approach
von: Lee, Ayeong, et al.
Veröffentlicht: (2025)

An Empirical Study of Deep Reinforcement Learning in Continuing Tasks
von: Wan, Yi, et al.
Veröffentlicht: (2025)

Does Chain-of-Thought Reasoning Help Mobile GUI Agent? An Empirical Study
von: Zhang, Li, et al.
Veröffentlicht: (2025)

An Investigation of Robustness of LLMs in Mathematical Reasoning: Benchmarking with Mathematically-Equivalent Transformation of Advanced Mathematical Problems
von: Hao, Yuren, et al.
Veröffentlicht: (2025)

How Do LLMs Encode Scientific Quality? An Empirical Study Using Monosemantic Features from Sparse Autoencoders
von: McCoubrey, Michael, et al.
Veröffentlicht: (2026)

How Likely Do LLMs with CoT Mimic Human Reasoning?
von: Bao, Guangsheng, et al.
Veröffentlicht: (2024)

Why Do Open-Source LLMs Struggle with Data Analysis? A Systematic Empirical Study
von: Zhu, Yuqi, et al.
Veröffentlicht: (2025)

Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics
von: Yu, Sheldon, et al.
Veröffentlicht: (2025)

Do All Individual Layers Help? An Empirical Study of Task-Interfering Layers in Vision-Language Models
von: Liu, Zhiming, et al.
Veröffentlicht: (2026)

A Decomposition Perspective to Long-context Reasoning for LLMs
von: Xiao, Yanling, et al.
Veröffentlicht: (2026)

An Empirical Study of LLM Reasoning Ability Under Strict Output Length Constraint
von: Sun, Yi, et al.
Veröffentlicht: (2025)

On the Empirical Complexity of Reasoning and Planning in LLMs
von: Kang, Liwei, et al.
Veröffentlicht: (2024)

NPG-Muse: Scaling Long Chain-of-Thought Reasoning with NP-Hard Graph Problems
von: Wang, Yuyao, et al.
Veröffentlicht: (2025)

Deconstructing Long Chain-of-Thought: A Structured Reasoning Optimization Framework for Long CoT Distillation
von: Luo, Yijia, et al.
Veröffentlicht: (2025)