Transformers Struggle to Learn to Search

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Saparov, Abulhair, Pawar, Srushti, Pimpalgaonkar, Shreyas, Joshi, Nitish, Pang, Richard Yuanzhe, Padmakumar, Vishakh, Kazemi, Seyed Mehran, Kim, Najoung, He, He
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Personas as a Way to Model Truthfulness in Language Models
von: Joshi, Nitish, et al.
Veröffentlicht: (2023)

LLMs Are Prone to Fallacies in Causal Inference
von: Joshi, Nitish, et al.
Veröffentlicht: (2024)

Transformers Can Learn Connectivity in Some Graphs but Not Others
von: Roy, Amit, et al.
Veröffentlicht: (2025)

Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting
von: Getachew, Nathaniel, et al.
Veröffentlicht: (2025)

Do Language Models Follow Occam's Razor? An Evaluation of Parsimony in Inductive and Abductive Reasoning
von: Sun, Yunxin, et al.
Veröffentlicht: (2025)

Does Writing with Language Models Reduce Content Diversity?
von: Padmakumar, Vishakh, et al.
Veröffentlicht: (2023)

Beyond the Binary: Capturing Diverse Preferences With Reward Regularization
von: Padmakumar, Vishakh, et al.
Veröffentlicht: (2024)

A Practical Review of Mechanistic Interpretability for Transformer-Based Language Models
von: Rai, Daking, et al.
Veröffentlicht: (2024)

Reasoning Models Reason Well, Until They Don't
von: Rameshkumar, Revanth, et al.
Veröffentlicht: (2025)

Creativity Support in the Age of Large Language Models: An Empirical Study Involving Emerging Writers
von: Chakrabarty, Tuhin, et al.
Veröffentlicht: (2023)

MathGAP: Out-of-Distribution Evaluation on Problems with Arbitrarily Complex Proofs
von: Opedal, Andreas, et al.
Veröffentlicht: (2024)

Learning to Reason Efficiently with A* Post-Training
von: Opedal, Andreas, et al.
Veröffentlicht: (2026)

Evaluating the Diversity and Quality of LLM Generated Content
von: Shypula, Alexander, et al.
Veröffentlicht: (2025)

Measuring LLM Novelty As The Frontier Of Original And High-Quality Output
von: Padmakumar, Vishakh, et al.
Veröffentlicht: (2025)

A systematic framework for generating novel experimental hypotheses from language models
von: Misra, Kanishka, et al.
Veröffentlicht: (2024)

Can RL Teach Long-Horizon Reasoning to LLMs? Expressiveness Is Key
von: Wang, Tianle, et al.
Veröffentlicht: (2026)

World Models for Math Story Problems
von: Opedal, Andreas, et al.
Veröffentlicht: (2023)

Principled Content Selection to Generate Diverse and Personalized Multi-Document Summaries
von: Padmakumar, Vishakh, et al.
Veröffentlicht: (2025)

Is It Thinking or Cheating? Detecting Implicit Reward Hacking by Measuring Reasoning Effort
von: Wang, Xinpeng, et al.
Veröffentlicht: (2025)

Iterative Reasoning Preference Optimization
von: Pang, Richard Yuanzhe, et al.
Veröffentlicht: (2024)

SparkMe: Adaptive Semi-Structured Interviewing for Qualitative Insight Discovery
von: Anugraha, David, et al.
Veröffentlicht: (2026)

No Single Best Model for Diversity: Learning a Router for Sample Diversity
von: Liu, Yuhan, et al.
Veröffentlicht: (2026)

Code Pretraining Improves Entity Tracking Abilities of Language Models
von: Kim, Najoung, et al.
Veröffentlicht: (2024)

Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners?
von: Opedal, Andreas, et al.
Veröffentlicht: (2024)

Are Language Models Efficient Reasoners? A Perspective from Logic Programming
von: Opedal, Andreas, et al.
Veröffentlicht: (2025)

In-context Learning with Retrieved Demonstrations for Language Models: A Survey
von: Luo, Man, et al.
Veröffentlicht: (2024)

Intent-Aware Schema Generation And Refinement For Literature Review Tables
von: Padmakumar, Vishakh, et al.
Veröffentlicht: (2025)

Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity
von: Saakyan, Arkadiy, et al.
Veröffentlicht: (2025)

Modifying Large Language Model Post-Training for Diverse Creative Writing
von: Chung, John Joon Young, et al.
Veröffentlicht: (2025)

Smaller, Weaker, Yet Better: Training LLM Reasoners via Compute-Optimal Sampling
von: Bansal, Hritik, et al.
Veröffentlicht: (2024)

Leveraging Implicit Feedback from Deployment Data in Dialogue
von: Pang, Richard Yuanzhe, et al.
Veröffentlicht: (2023)

Vision-and-Language Training Helps Deploy Taxonomic Knowledge but Does Not Fundamentally Alter It
von: Qin, Yulu, et al.
Veröffentlicht: (2025)

Whose Boat Does it Float? Improving Personalization in Preference Tuning via Inferred User Personas
von: Balepur, Nishant, et al.
Veröffentlicht: (2025)

Do Language Models Track Entities Across State Changes?
von: Tang, Zilu, et al.
Veröffentlicht: (2026)

Language Models Struggle to Use Representations Learned In-Context
von: Lepori, Michael A., et al.
Veröffentlicht: (2026)

Long-context LLMs Struggle with Long In-context Learning
von: Li, Tianle, et al.
Veröffentlicht: (2024)

Self-Rewarding Language Models
von: Yuan, Weizhe, et al.
Veröffentlicht: (2024)

Two Failures of Self-Consistency in the Multi-Step Reasoning of LLMs
von: Chen, Angelica, et al.
Veröffentlicht: (2023)

Reasoning or Reciting? Exploring the Capabilities and Limitations of Language Models Through Counterfactual Tasks
von: Wu, Zhaofeng, et al.
Veröffentlicht: (2023)

Findings of the BlackboxNLP 2025 Shared Task: Localizing Circuits and Causal Variables in Language Models
von: Arad, Dana, et al.
Veröffentlicht: (2025)