Mathematical Proof as a Litmus Test: Revealing Failure Modes of Advanced Large Reasoning Models
Fuente:
arXiv
Salvato in:
| Autori principali: | Guo, Dadi, Liu, Jiayu, Fan, Zhiyuan, He, Zhitao, Li, Haoran, Li, Yuxin, Wang, Yumeng, Fung, Yi R. |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Diversity-Enhanced Reasoning for Subjective Questions
di: Wang, Yumeng, et al.
Pubblicazione: (2025)
di: Wang, Yumeng, et al.
Pubblicazione: (2025)
MMBoundary: Advancing MLLM Knowledge Boundary Awareness through Reasoning Step Confidence Calibration
di: He, Zhitao, et al.
Pubblicazione: (2025)
di: He, Zhitao, et al.
Pubblicazione: (2025)
MATP-BENCH: Can MLLM Be a Good Automated Theorem Prover for Multimodal Problems?
di: He, Zhitao, et al.
Pubblicazione: (2025)
di: He, Zhitao, et al.
Pubblicazione: (2025)
MedEBench: Diagnosing Reliability in Text-Guided Medical Image Editing
di: Liu, Minghao, et al.
Pubblicazione: (2025)
di: Liu, Minghao, et al.
Pubblicazione: (2025)
CultureCLIP: Empowering CLIP with Cultural Awareness through Synthetic Images and Contextualized Captions
di: Huang, Yuchen, et al.
Pubblicazione: (2025)
di: Huang, Yuchen, et al.
Pubblicazione: (2025)
Unveiling the Lack of LVLM Robustness to Fundamental Visual Variations: Why and Path Forward
di: Fan, Zhiyuan, et al.
Pubblicazione: (2025)
di: Fan, Zhiyuan, et al.
Pubblicazione: (2025)
ClinTutor-R1: Advancing Scalable and Robust One-to-Many Alignment in Clinical Socratic Education
di: He, Zhitao, et al.
Pubblicazione: (2025)
di: He, Zhitao, et al.
Pubblicazione: (2025)
RebuttalAgent: Strategic Persuasion in Academic Rebuttal via Theory of Mind
di: He, Zhitao, et al.
Pubblicazione: (2026)
di: He, Zhitao, et al.
Pubblicazione: (2026)
LinAlg-Bench: A Forensic Benchmark Revealing Structural Failure Modes in LLM Mathematical Reasoning
di: Agarwal, Shradha, et al.
Pubblicazione: (2026)
di: Agarwal, Shradha, et al.
Pubblicazione: (2026)
LitmusKt: Concurrency Stress Testing for Kotlin
di: Lochmelis, Denis, et al.
Pubblicazione: (2025)
di: Lochmelis, Denis, et al.
Pubblicazione: (2025)
Towards A Litmus Test for Common Sense
di: Latapie, Hugo
Pubblicazione: (2025)
di: Latapie, Hugo
Pubblicazione: (2025)
Large Language Models and Mathematical Reasoning Failures
di: Boye, Johan, et al.
Pubblicazione: (2025)
di: Boye, Johan, et al.
Pubblicazione: (2025)
Let's Reason Formally: Natural-Formal Hybrid Reasoning Enhances LLM's Math Capability
di: Wang, Ruida, et al.
Pubblicazione: (2025)
di: Wang, Ruida, et al.
Pubblicazione: (2025)
SELF-REDRAFT: Eliciting Intrinsic Exploration-Exploitation Balance in Test-Time Scaling for Code Generation
di: Chen, Yixiang, et al.
Pubblicazione: (2025)
di: Chen, Yixiang, et al.
Pubblicazione: (2025)
Lean4Physics: Comprehensive Reasoning Framework for College-level Physics in Lean4
di: Li, Yuxin, et al.
Pubblicazione: (2025)
di: Li, Yuxin, et al.
Pubblicazione: (2025)
CALM: Unleashing the Cross-Lingual Self-Aligning Ability of Language Model Question Answering
di: Wang, Yumeng, et al.
Pubblicazione: (2025)
di: Wang, Yumeng, et al.
Pubblicazione: (2025)
EconEvals: Benchmarks and Litmus Tests for Economic Decision-Making by LLM Agents
di: Fish, Sara, et al.
Pubblicazione: (2025)
di: Fish, Sara, et al.
Pubblicazione: (2025)
Towards Self-Evolving Benchmarks: Synthesizing Agent Trajectories via Test-Time Exploration under Validate-by-Reproduce Paradigm
di: Guo, Dadi, et al.
Pubblicazione: (2025)
di: Guo, Dadi, et al.
Pubblicazione: (2025)
MAC-Tuning: LLM Multi-Compositional Problem Reasoning with Enhanced Knowledge Boundary Awareness
di: Huang, Junsheng, et al.
Pubblicazione: (2025)
di: Huang, Junsheng, et al.
Pubblicazione: (2025)
Reasoning Path Divergence: A New Metric and Curation Strategy to Unlock LLM Diverse Thinking
di: Ju, Feng, et al.
Pubblicazione: (2025)
di: Ju, Feng, et al.
Pubblicazione: (2025)
CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models
di: Qian, Cheng, et al.
Pubblicazione: (2023)
di: Qian, Cheng, et al.
Pubblicazione: (2023)
Advancing Language Multi-Agent Learning with Credit Re-Assignment for Interactive Environment Generalization
di: He, Zhitao, et al.
Pubblicazione: (2025)
di: He, Zhitao, et al.
Pubblicazione: (2025)
To Learn or Not to Learn: A Litmus Test for Using Reinforcement Learning in Control
di: Schulte, Victor, et al.
Pubblicazione: (2026)
di: Schulte, Victor, et al.
Pubblicazione: (2026)
Revealing Interpretable Failure Modes of VLMs
di: Chaudhary, Isha, et al.
Pubblicazione: (2026)
di: Chaudhary, Isha, et al.
Pubblicazione: (2026)
Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data
di: Li, Haoran, et al.
Pubblicazione: (2024)
di: Li, Haoran, et al.
Pubblicazione: (2024)
Enhancing Advanced Visual Reasoning Ability of Large Language Models
di: Li, Zhiyuan, et al.
Pubblicazione: (2024)
di: Li, Zhiyuan, et al.
Pubblicazione: (2024)
Litmus: Fair Pricing for Serverless Computing
di: Pei, Qi, et al.
Pubblicazione: (2024)
di: Pei, Qi, et al.
Pubblicazione: (2024)
THINK-Bench: Evaluating Thinking Efficiency and Chain-of-Thought Quality of Large Reasoning Models
di: Li, Zhiyuan, et al.
Pubblicazione: (2025)
di: Li, Zhiyuan, et al.
Pubblicazione: (2025)
Look Before You Leap: Problem Elaboration Prompting Improves Mathematical Reasoning in Large Language Models
di: Liao, Haoran, et al.
Pubblicazione: (2024)
di: Liao, Haoran, et al.
Pubblicazione: (2024)
On Stable Long-Form Generation: Benchmarking and Mitigating Length Volatility
di: He, Zhitao, et al.
Pubblicazione: (2026)
di: He, Zhitao, et al.
Pubblicazione: (2026)
MARS-SQL: A multi-agent reinforcement learning framework for Text-to-SQL
di: Yang, Haolin, et al.
Pubblicazione: (2025)
di: Yang, Haolin, et al.
Pubblicazione: (2025)
ARISE: An Adaptive Resolution-Aware Metric for Test-Time Scaling Evaluation in Large Reasoning Models
di: Yin, Zhangyue, et al.
Pubblicazione: (2025)
di: Yin, Zhangyue, et al.
Pubblicazione: (2025)
LIBERO-X: Robustness Litmus for Vision-Language-Action Models
di: Wang, Guodong, et al.
Pubblicazione: (2026)
di: Wang, Guodong, et al.
Pubblicazione: (2026)
Failure Modes of LLMs for Causal Reasoning on Narratives
di: Yamin, Khurram, et al.
Pubblicazione: (2024)
di: Yamin, Khurram, et al.
Pubblicazione: (2024)
Gradient Variance Reveals Failure Modes in Flow-Based Generative Models
di: Reu, Teodora, et al.
Pubblicazione: (2025)
di: Reu, Teodora, et al.
Pubblicazione: (2025)
Higher Affinity Enables More Accurate Detection of SARS‐CoV‐2 in Human Saliva Using Aptamer‐Based Litmus Test
di: Rudi Liu, et al.
Pubblicazione: (2024)
di: Rudi Liu, et al.
Pubblicazione: (2024)
Code2Math: Can Your Code Agent Effectively Evolve Math Problems Through Exploration?
di: Guo, Dadi, et al.
Pubblicazione: (2026)
di: Guo, Dadi, et al.
Pubblicazione: (2026)
TableReasoner: Advancing Table Reasoning Framework with Large Language Models
di: Xiong, Sishi, et al.
Pubblicazione: (2025)
di: Xiong, Sishi, et al.
Pubblicazione: (2025)
When Do Symbolic Solvers Enhance Reasoning in Large Language Models?
di: He, Zhiyuan, et al.
Pubblicazione: (2025)
di: He, Zhiyuan, et al.
Pubblicazione: (2025)
Evaluating Mathematical Reasoning of Large Language Models: A Focus on Error Identification and Correction
di: Li, Xiaoyuan, et al.
Pubblicazione: (2024)
di: Li, Xiaoyuan, et al.
Pubblicazione: (2024)
Documenti analoghi
-
Diversity-Enhanced Reasoning for Subjective Questions
di: Wang, Yumeng, et al.
Pubblicazione: (2025) -
MMBoundary: Advancing MLLM Knowledge Boundary Awareness through Reasoning Step Confidence Calibration
di: He, Zhitao, et al.
Pubblicazione: (2025) -
MATP-BENCH: Can MLLM Be a Good Automated Theorem Prover for Multimodal Problems?
di: He, Zhitao, et al.
Pubblicazione: (2025) -
MedEBench: Diagnosing Reliability in Text-Guided Medical Image Editing
di: Liu, Minghao, et al.
Pubblicazione: (2025) -
CultureCLIP: Empowering CLIP with Cultural Awareness through Synthetic Images and Contextualized Captions
di: Huang, Yuchen, et al.
Pubblicazione: (2025)