MathGAP: Out-of-Distribution Evaluation on Problems with Arbitrarily Complex Proofs
Fuente:
arXiv
Salvato in:
| Autori principali: | Opedal, Andreas, Shirakami, Haruki, Schölkopf, Bernhard, Saparov, Abulhair, Sachan, Mrinmaya |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners?
di: Opedal, Andreas, et al.
Pubblicazione: (2024)
di: Opedal, Andreas, et al.
Pubblicazione: (2024)
Are Language Models Efficient Reasoners? A Perspective from Logic Programming
di: Opedal, Andreas, et al.
Pubblicazione: (2025)
di: Opedal, Andreas, et al.
Pubblicazione: (2025)
Learning to Reason Efficiently with A* Post-Training
di: Opedal, Andreas, et al.
Pubblicazione: (2026)
di: Opedal, Andreas, et al.
Pubblicazione: (2026)
World Models for Math Story Problems
di: Opedal, Andreas, et al.
Pubblicazione: (2023)
di: Opedal, Andreas, et al.
Pubblicazione: (2023)
Improving Large Language Model Safety with Contrastive Representation Learning
di: Simko, Samuel, et al.
Pubblicazione: (2025)
di: Simko, Samuel, et al.
Pubblicazione: (2025)
Transformers Can Learn Connectivity in Some Graphs but Not Others
di: Roy, Amit, et al.
Pubblicazione: (2025)
di: Roy, Amit, et al.
Pubblicazione: (2025)
Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting
di: Getachew, Nathaniel, et al.
Pubblicazione: (2025)
di: Getachew, Nathaniel, et al.
Pubblicazione: (2025)
Do Language Models Follow Occam's Razor? An Evaluation of Parsimony in Inductive and Abductive Reasoning
di: Sun, Yunxin, et al.
Pubblicazione: (2025)
di: Sun, Yunxin, et al.
Pubblicazione: (2025)
Personas as a Way to Model Truthfulness in Language Models
di: Joshi, Nitish, et al.
Pubblicazione: (2023)
di: Joshi, Nitish, et al.
Pubblicazione: (2023)
Simulating Students or Sycophantic Problem Solving? On Misconception Faithfulness of LLM Simulators
di: Do, Heejin, et al.
Pubblicazione: (2026)
di: Do, Heejin, et al.
Pubblicazione: (2026)
MathTutorBench: A Benchmark for Measuring Open-ended Pedagogical Capabilities of LLM Tutors
di: Macina, Jakub, et al.
Pubblicazione: (2025)
di: Macina, Jakub, et al.
Pubblicazione: (2025)
Can Large Language Models Infer Causation from Correlation?
di: Jin, Zhijing, et al.
Pubblicazione: (2023)
di: Jin, Zhijing, et al.
Pubblicazione: (2023)
Quriosity: Analyzing Human Questioning Behavior and Causal Inquiry through Curiosity-Driven Queries
di: Ceraolo, Roberto, et al.
Pubblicazione: (2024)
di: Ceraolo, Roberto, et al.
Pubblicazione: (2024)
CausalCite: A Causal Formulation of Paper Citations
di: Kumar, Ishan, et al.
Pubblicazione: (2023)
di: Kumar, Ishan, et al.
Pubblicazione: (2023)
Towards Aligning Language Models with Textual Feedback
di: Lloret, Saüc Abadal, et al.
Pubblicazione: (2024)
di: Lloret, Saüc Abadal, et al.
Pubblicazione: (2024)
Implicit Personalization in Language Models: A Systematic Study
di: Jin, Zhijing, et al.
Pubblicazione: (2024)
di: Jin, Zhijing, et al.
Pubblicazione: (2024)
CLadder: Assessing Causal Reasoning in Language Models
di: Jin, Zhijing, et al.
Pubblicazione: (2023)
di: Jin, Zhijing, et al.
Pubblicazione: (2023)
Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors
di: Daheim, Nico, et al.
Pubblicazione: (2024)
di: Daheim, Nico, et al.
Pubblicazione: (2024)
Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation
di: Liu, Tianyu, et al.
Pubblicazione: (2024)
di: Liu, Tianyu, et al.
Pubblicazione: (2024)
Transformers Struggle to Learn to Search
di: Saparov, Abulhair, et al.
Pubblicazione: (2024)
di: Saparov, Abulhair, et al.
Pubblicazione: (2024)
Identifying Intervenable and Interpretable Features via Orthogonality Regularization
di: Miller, Moritz, et al.
Pubblicazione: (2026)
di: Miller, Moritz, et al.
Pubblicazione: (2026)
Out-of-Variable Generalization for Discriminative Models
di: Guo, Siyuan, et al.
Pubblicazione: (2023)
di: Guo, Siyuan, et al.
Pubblicazione: (2023)
FormalProofBench: Can Models Write Graduate Level Math Proofs That Are Formally Verified?
di: Ravi, Nikil, et al.
Pubblicazione: (2026)
di: Ravi, Nikil, et al.
Pubblicazione: (2026)
Dense SAE Latents Are Features, Not Bugs
di: Sun, Xiaoqing, et al.
Pubblicazione: (2025)
di: Sun, Xiaoqing, et al.
Pubblicazione: (2025)
Confidence Regulation Neurons in Language Models
di: Stolfo, Alessandro, et al.
Pubblicazione: (2024)
di: Stolfo, Alessandro, et al.
Pubblicazione: (2024)
Corrupted by Reasoning: Reasoning Language Models Become Free-Riders in Public Goods Games
di: Piedrahita, David Guzman, et al.
Pubblicazione: (2025)
di: Piedrahita, David Guzman, et al.
Pubblicazione: (2025)
LLMs Are Prone to Fallacies in Causal Inference
di: Joshi, Nitish, et al.
Pubblicazione: (2024)
di: Joshi, Nitish, et al.
Pubblicazione: (2024)
Generating Pedagogically Meaningful Visuals for Math Word Problems: A New Benchmark and Analysis of Text-to-Image Models
di: Wang, Junling, et al.
Pubblicazione: (2025)
di: Wang, Junling, et al.
Pubblicazione: (2025)
Can LLMs Model Incorrect Student Reasoning? A Case Study on Distractor Generation
di: Zengaffinen, Yanick, et al.
Pubblicazione: (2026)
di: Zengaffinen, Yanick, et al.
Pubblicazione: (2026)
Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation
di: Mahdavi, Sadegh, et al.
Pubblicazione: (2025)
di: Mahdavi, Sadegh, et al.
Pubblicazione: (2025)
Investigating Bias: A Multilingual Pipeline for Generating, Solving, and Evaluating Math Problems with LLMs
di: Mahran, Mariam, et al.
Pubblicazione: (2025)
di: Mahran, Mariam, et al.
Pubblicazione: (2025)
Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis
di: Jenny, David F., et al.
Pubblicazione: (2023)
di: Jenny, David F., et al.
Pubblicazione: (2023)
TreeCut: A Synthetic Unanswerable Math Word Problem Dataset for LLM Hallucination Evaluation
di: Ouyang, Jialin
Pubblicazione: (2025)
di: Ouyang, Jialin
Pubblicazione: (2025)
Counterfactual reasoning: an analysis of in-context emergence
di: Miller, Moritz, et al.
Pubblicazione: (2025)
di: Miller, Moritz, et al.
Pubblicazione: (2025)
Autoformalizing Natural Language to First-Order Logic: A Case Study in Logical Fallacy Detection
di: Lalwani, Abhinav, et al.
Pubblicazione: (2024)
di: Lalwani, Abhinav, et al.
Pubblicazione: (2024)
Solving for X and Beyond: Can Large Language Models Solve Complex Math Problems with More-Than-Two Unknowns?
di: Kao, Kuei-Chun, et al.
Pubblicazione: (2024)
di: Kao, Kuei-Chun, et al.
Pubblicazione: (2024)
Augmenting Math Word Problems via Iterative Question Composing
di: Liu, Haoxiong, et al.
Pubblicazione: (2024)
di: Liu, Haoxiong, et al.
Pubblicazione: (2024)
Can Vision-Language Models Solve Visual Math Equations?
di: Choudhury, Monjoy Narayan, et al.
Pubblicazione: (2025)
di: Choudhury, Monjoy Narayan, et al.
Pubblicazione: (2025)
Reasoning Models Reason Well, Until They Don't
di: Rameshkumar, Revanth, et al.
Pubblicazione: (2025)
di: Rameshkumar, Revanth, et al.
Pubblicazione: (2025)
Decomposing Elements of Problem Solving: What "Math" Does RL Teach?
di: Qin, Tian, et al.
Pubblicazione: (2025)
di: Qin, Tian, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners?
di: Opedal, Andreas, et al.
Pubblicazione: (2024) -
Are Language Models Efficient Reasoners? A Perspective from Logic Programming
di: Opedal, Andreas, et al.
Pubblicazione: (2025) -
Learning to Reason Efficiently with A* Post-Training
di: Opedal, Andreas, et al.
Pubblicazione: (2026) -
World Models for Math Story Problems
di: Opedal, Andreas, et al.
Pubblicazione: (2023) -
Improving Large Language Model Safety with Contrastive Representation Learning
di: Simko, Samuel, et al.
Pubblicazione: (2025)