Buchumschlag

Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Alan, Liu, Yixin, Sarkar, Arpan, Downey, Doug, Cohan, Arman
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SciDQA: A Deep Reading Comprehension Dataset over Scientific Papers
von: Singh, Shruti, et al.
Veröffentlicht: (2024)

On Evaluating LLM Alignment by Evaluating LLMs as Judges
von: Liu, Yixin, et al.
Veröffentlicht: (2025)

Understanding Reference Policies in Direct Preference Optimization
von: Liu, Yixin, et al.
Veröffentlicht: (2024)

M3SciQA: A Multi-Modal Multi-Document Scientific QA Benchmark for Evaluating Foundation Models
von: Li, Chuhan, et al.
Veröffentlicht: (2024)

YaleNLP @ PerAnsSumm 2025: Multi-Perspective Integration via Mixture-of-Agents for Enhanced Healthcare QA Summarization
von: Jang, Dongsuk, et al.
Veröffentlicht: (2025)

XFinBench: Benchmarking LLMs in Complex Financial Problem Solving and Reasoning
von: Zhang, Zhihan, et al.
Veröffentlicht: (2025)

Can LLMs Identify Critical Limitations within Scientific Research? A Systematic Evaluation on AI Research Papers
von: Xu, Zhijian, et al.
Veröffentlicht: (2025)

COMAL: A Convergent Meta-Algorithm for Aligning LLMs with General Preferences
von: Liu, Yixin, et al.
Veröffentlicht: (2024)

MARG: Multi-Agent Review Generation for Scientific Papers
von: D'Arcy, Mike, et al.
Veröffentlicht: (2024)

FinanceMath: Knowledge-Intensive Math Reasoning in Finance Domains
von: Zhao, Yilun, et al.
Veröffentlicht: (2023)

Generating Literature-Driven Scientific Theories at Scale
von: Jansen, Peter, et al.
Veröffentlicht: (2026)

MIR: Methodology Inspiration Retrieval for Scientific Research Problems
von: Garikaparthi, Aniketh, et al.
Veröffentlicht: (2025)

SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature
von: Wadden, David, et al.
Veröffentlicht: (2024)

SciMDR: Advancing Scientific Multimodal Document Reasoning
von: Chen, Ziyu, et al.
Veröffentlicht: (2026)

DocMath-Eval: Evaluating Math Reasoning Capabilities of LLMs in Understanding Long and Specialized Documents
von: Zhao, Yilun, et al.
Veröffentlicht: (2023)

SciMON: Scientific Inspiration Machines Optimized for Novelty
von: Wang, Qingyun, et al.
Veröffentlicht: (2023)

Can Multimodal Foundation Models Understand Schematic Diagrams? An Empirical Study on Information-Seeking QA over Scientific Papers
von: Zhao, Yilun, et al.
Veröffentlicht: (2025)

IRIS: Interactive Research Ideation System for Accelerating Scientific Discovery
von: Garikaparthi, Aniketh, et al.
Veröffentlicht: (2025)

HYBRIDMIND: Meta Selection of Natural Language and Symbolic Language for Enhanced LLM Reasoning
von: Han, Simeng, et al.
Veröffentlicht: (2024)

AbGen: Evaluating Large Language Models in Ablation Study Design and Evaluation for Scientific Research
von: Zhao, Yilun, et al.
Veröffentlicht: (2025)

SciVer: Evaluating Foundation Models for Multimodal Scientific Claim Verification
von: Wang, Chengye, et al.
Veröffentlicht: (2025)

Table-R1: Inference-Time Scaling for Table Reasoning
von: Yang, Zheyuan, et al.
Veröffentlicht: (2025)

SUCEA: Reasoning-Intensive Retrieval for Adversarial Fact-checking through Claim Decomposition and Editing
von: Liu, Hongjun, et al.
Veröffentlicht: (2025)

Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training
von: Liu, Yixin, et al.
Veröffentlicht: (2026)

Observable Propagation: Uncovering Feature Vectors in Transformers
von: Dunefsky, Jacob, et al.
Veröffentlicht: (2023)

SciArena: An Open Evaluation Platform for Non-Verifiable Scientific Literature-Grounded Tasks
von: Zhao, Yilun, et al.
Veröffentlicht: (2025)

Calibrating Long-form Generations from Large Language Models
von: Huang, Yukun, et al.
Veröffentlicht: (2024)

Patient-Similarity Cohort Reasoning in Clinical Text-to-SQL
von: Shen, Yifei, et al.
Veröffentlicht: (2026)

SciRAG: Adaptive, Citation-Aware, and Outline-Guided Retrieval and Synthesis for Scientific Literature
von: Ding, Hang, et al.
Veröffentlicht: (2025)

FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering
von: Long, Yitao, et al.
Veröffentlicht: (2025)

Demystifying Long Chain-of-Thought Reasoning in LLMs
von: Yeo, Edward, et al.
Veröffentlicht: (2025)

Symbolic or Numerical? Understanding Physics Problem Solving in Reasoning LLMs
von: Dan, Nifu, et al.
Veröffentlicht: (2025)

ARIES: A Corpus of Scientific Paper Edits Made in Response to Peer Reviews
von: D'Arcy, Mike, et al.
Veröffentlicht: (2023)

MSRS: Evaluating Multi-Source Retrieval-Augmented Generation
von: Phanse, Rohan, et al.
Veröffentlicht: (2025)

Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics
von: Lee, Jinu, et al.
Veröffentlicht: (2025)

LimRank: Less is More for Reasoning-Intensive Information Reranking
von: Song, Tingyu, et al.
Veröffentlicht: (2025)

Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving
von: Xu, Xin, et al.
Veröffentlicht: (2025)

Re-evaluating Automatic LLM System Ranking for Alignment with Human Preference
von: Gao, Mingqi, et al.
Veröffentlicht: (2024)

Physics Reasoner: Knowledge-Augmented Reasoning for Solving Physics Problems with Large Language Models
von: Pang, Xinyu, et al.
Veröffentlicht: (2024)

On the Benefits of Fine-Grained Loss Truncation: A Case Study on Factuality in Summarization
von: Flores, Lorenzo Jaime Yu, et al.
Veröffentlicht: (2024)