Buchumschlag

Limits of Transformer Language Models on Learning to Compose Algorithms

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Thomm, Jonathan, Camposampiero, Giacomo, Terzic, Aleksandar, Hersche, Michael, Schölkopf, Bernhard, Rahimi, Abbas
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Terminating Differentiable Tree Experts
von: Thomm, Jonathan, et al.
Veröffentlicht: (2024)

On the Expressiveness and Length Generalization of Selective State-Space Models on Regular Languages
von: Terzić, Aleksandar, et al.
Veröffentlicht: (2024)

Towards Learning Abductive Reasoning using VSA Distributed Representations
von: Camposampiero, Giacomo, et al.
Veröffentlicht: (2024)

Towards Learning to Reason: Comparing LLMs with Neuro-Symbolic on Arithmetic Relations in Abstract Reasoning
von: Hersche, Michael, et al.
Veröffentlicht: (2024)

I-RAVEN-X: Benchmarking Generalization and Robustness of Analogical and Mathematical Reasoning in Large Language and Reasoning Models
von: Camposampiero, Giacomo, et al.
Veröffentlicht: (2025)

Scalable Evaluation and Neural Models for Compositional Generalization
von: Camposampiero, Giacomo, et al.
Veröffentlicht: (2025)

Can Large Reasoning Models do Analogical Reasoning under Perceptual Uncertainty?
von: Camposampiero, Giacomo, et al.
Veröffentlicht: (2025)

Locally Coherent Parallel Decoding in Diffusion Language Models
von: Hersche, Michael, et al.
Veröffentlicht: (2026)

Soft-Masked Diffusion Language Models
von: Hersche, Michael, et al.
Veröffentlicht: (2025)

Structured Sparse Transition Matrices to Enable State Tracking in State-Space Models
von: Terzić, Aleksandar, et al.
Veröffentlicht: (2025)

Thompson Sampling via Fine-Tuning of LLMs
von: Menet, Nicolas, et al.
Veröffentlicht: (2025)

Flash PD-SSM: Memory-Optimized Structured Sparse State-Space Models
von: Terzić, Aleksandar, et al.
Veröffentlicht: (2026)

Improving Large Language Model Safety with Contrastive Representation Learning
von: Simko, Samuel, et al.
Veröffentlicht: (2025)

Identifying Intervenable and Interpretable Features via Orthogonality Regularization
von: Miller, Moritz, et al.
Veröffentlicht: (2026)

On the Role of Noise in Factorizers for Disentangling Distributed Representations
von: Karunaratne, Geethan, et al.
Veröffentlicht: (2024)

Analyzing the Role of Semantic Representations in the Era of Large Language Models
von: Jin, Zhijing, et al.
Veröffentlicht: (2024)

Reparameterized LLM Training via Orthogonal Equivalence Transformation
von: Qiu, Zeju, et al.
Veröffentlicht: (2025)

Can Large Language Models Infer Causation from Correlation?
von: Jin, Zhijing, et al.
Veröffentlicht: (2023)

Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners?
von: Opedal, Andreas, et al.
Veröffentlicht: (2024)

Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures
von: Hersche, Michael, et al.
Veröffentlicht: (2024)

A Theoretical Analysis of Test-Driven Code Generation
von: Menet, Nicolas, et al.
Veröffentlicht: (2026)

Learning to Reason Efficiently with A* Post-Training
von: Opedal, Andreas, et al.
Veröffentlicht: (2026)

Learning Beyond Pattern Matching? Assaying Mathematical Understanding in LLMs
von: Guo, Siyuan, et al.
Veröffentlicht: (2024)

Counterfactual reasoning: an analysis of in-context emergence
von: Miller, Moritz, et al.
Veröffentlicht: (2025)

A foundation model with multi-variate parallel attention to generate neuronal activity
von: Carzaniga, Francesco, et al.
Veröffentlicht: (2025)

MathGAP: Out-of-Distribution Evaluation on Problems with Arbitrarily Complex Proofs
von: Opedal, Andreas, et al.
Veröffentlicht: (2024)

CLadder: Assessing Causal Reasoning in Language Models
von: Jin, Zhijing, et al.
Veröffentlicht: (2023)

Are Language Models Efficient Reasoners? A Perspective from Logic Programming
von: Opedal, Andreas, et al.
Veröffentlicht: (2025)

Generalized Interpolating Discrete Diffusion
von: von Rütte, Dimitri, et al.
Veröffentlicht: (2025)

The Limited Impact of Medical Adaptation of Large Language and Vision-Language Models
von: Jeong, Daniel P., et al.
Veröffentlicht: (2024)

Learning a Decision Tree Algorithm with Transformers
von: Zhuang, Yufan, et al.
Veröffentlicht: (2024)

Orthogonal Finetuning Made Scalable
von: Qiu, Zeju, et al.
Veröffentlicht: (2025)

Implicit Personalization in Language Models: A Systematic Study
von: Jin, Zhijing, et al.
Veröffentlicht: (2024)

Discovering Interpretable Algorithms by Decompiling Transformers to RASP
von: Huang, Xinting, et al.
Veröffentlicht: (2026)

A Meta-Learning Perspective on Transformers for Causal Language Modeling
von: Wu, Xinbo, et al.
Veröffentlicht: (2023)

Can Small-Scale Data Poisoning Exacerbate Dialect-Linked Biases in Large Language Models?
von: Abbas, Chaymaa, et al.
Veröffentlicht: (2025)

A Composable Channel-Adaptive Architecture for Seizure Classification
von: Carzaniga, Francesco, et al.
Veröffentlicht: (2025)

Theoretical Benefit and Limitation of Diffusion Language Model
von: Feng, Guhao, et al.
Veröffentlicht: (2025)

Hallucination is Inevitable: An Innate Limitation of Large Language Models
von: Xu, Ziwei, et al.
Veröffentlicht: (2024)

Leveraging Large Language Models for Wireless Symbol Detection via In-Context Learning
von: Abbas, Momin, et al.
Veröffentlicht: (2024)