Buchumschlag

Transformers Linearly Represent Highly Structured World Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kniazev, Roman, Fijalkow, Nathanaël
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Scalable Anytime Algorithms for Learning Fragments of Linear Temporal Logic
von: Raha, Ritam, et al.
Veröffentlicht: (2021)

EcoSearch: A Constant-Delay Best-First Search Algorithm for Program Synthesis
von: Matricon, Théo, et al.
Veröffentlicht: (2024)

Computing the Reachability Value of Posterior-Deterministic POMDPs
von: Fijalkow, Nathanaël, et al.
Veröffentlicht: (2026)

HLogformer: A Hierarchical Transformer for Representing Log Data
von: Hou, Zhichao, et al.
Veröffentlicht: (2024)

Representing Rule-based Chatbots with Transformers
von: Friedman, Dan, et al.
Veröffentlicht: (2024)

Compression Represents Intelligence Linearly
von: Huang, Yuzhen, et al.
Veröffentlicht: (2024)

Improving World Models using Deep Supervision with Linear Probes
von: Zahorodnii, Andrii
Veröffentlicht: (2025)

Diffusion Transformers as Open-World Spatiotemporal Foundation Models
von: Yuan, Yuan, et al.
Veröffentlicht: (2024)

Improving Transformer World Models for Data-Efficient RL
von: Dedieu, Antoine, et al.
Veröffentlicht: (2025)

One Transformer for All Time Series: Representing and Training with Time-Dependent Heterogeneous Tabular Data
von: Luetto, Simone, et al.
Veröffentlicht: (2023)

MemoryPrompt: A Light Wrapper to Improve Context Tracking in Pre-trained Language Models
von: Rakotonirina, Nathanaël Carraz, et al.
Veröffentlicht: (2024)

Do Transformer World Models Give Better Policy Gradients?
von: Ma, Michel, et al.
Veröffentlicht: (2024)

Cliqueformer: Model-Based Optimization with Structured Transformers
von: Kuba, Jakub Grudzien, et al.
Veröffentlicht: (2024)

Linear Transformers as VAR Models: Aligning Autoregressive Attention Mechanisms with Autoregressive Forecasting
von: Lu, Jiecheng, et al.
Veröffentlicht: (2025)

Effective Structured Prompting by Meta-Learning and Representative Verbalizer
von: Jiang, Weisen, et al.
Veröffentlicht: (2023)

LTL learning on GPUs
von: Valizadeh, Mojtaba, et al.
Veröffentlicht: (2024)

Position: AI Evaluations Should be Grounded on a Theory of Capability
von: Jo, Nathanael, et al.
Veröffentlicht: (2025)

AI-driven Transformer Model for Fault Prediction in Non-Linear Dynamic Automotive System
von: Kumar, Priyanka
Veröffentlicht: (2024)

Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
von: Hu, Wenjie, et al.
Veröffentlicht: (2025)

Probing the Impact of Scale on Data-Efficient, Generalist Transformer World Models for Atari
von: Kim, Jooyeon
Veröffentlicht: (2026)

Representation Alignment Rests on Linear Structure
von: Bangachev, Kiril, et al.
Veröffentlicht: (2026)

Learning Causal Abstractions of Linear Structural Causal Models
von: Massidda, Riccardo, et al.
Veröffentlicht: (2024)

FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data
von: Song, Zhenghang, et al.
Veröffentlicht: (2026)

Language Models Represent Space and Time
von: Gurnee, Wes, et al.
Veröffentlicht: (2023)

ZeroS: Zero-Sum Linear Attention for Efficient Transformers
von: Lu, Jiecheng, et al.
Veröffentlicht: (2026)

Natural Building Blocks for Structured World Models: Theory, Evidence, and Scaling
von: Da Costa, Lancelot, et al.
Veröffentlicht: (2025)

Polynormer: Polynomial-Expressive Graph Transformer in Linear Time
von: Deng, Chenhui, et al.
Veröffentlicht: (2024)

Linear Transformers Implicitly Discover Unified Numerical Algorithms
von: Lutz, Patrick, et al.
Veröffentlicht: (2025)

What One Cannot, Two Can: Two-Layer Transformers Provably Represent Induction Heads on Any-Order Markov Chains
von: Ekbote, Chanakya, et al.
Veröffentlicht: (2025)

One-shot World Models Using a Transformer Trained on a Synthetic Prior
von: Ferreira, Fabio, et al.
Veröffentlicht: (2024)

Beyond Linear Surrogates: High-Fidelity Local Explanations for Black-Box Models
von: Shrestha, Sanjeev, et al.
Veröffentlicht: (2025)

UrbanAI 2025 Challenge: Linear vs Transformer Models for Long-Horizon Exogenous Temperature Forecasting
von: Gokhman, Ruslan
Veröffentlicht: (2025)

Ister: Linear Transformer for Efficient Multivariate Time Series Forecasting
von: Cao, Fanpu, et al.
Veröffentlicht: (2024)

Why Deep Jacobian Spectra Separate: Depth-Induced Scaling and Singular-Vector Alignment
von: Haas, Nathanaël, et al.
Veröffentlicht: (2026)

Programmatic Reinforcement Learning: Navigating Gridworlds
von: Shabadi, Guruprerana, et al.
Veröffentlicht: (2024)

OOWM: Structuring Embodied Reasoning and Planning via Object-Oriented Programmatic World Modeling
von: Chen, Hongyu, et al.
Veröffentlicht: (2026)

How Should We Represent History in Interpretable Models of Clinical Policies?
von: Matsson, Anton, et al.
Veröffentlicht: (2024)

Behavior-Invariant Task Representation Learning with Transformer-based World Models for Offline Meta-Reinforcement Learning
von: Qian, Fuyuan, et al.
Veröffentlicht: (2026)

On the Expressive Power of Transformers for Maxout Networks and Continuous Piecewise Linear Functions
von: Gu, Linyan, et al.
Veröffentlicht: (2026)

Transfer Learning of Surrogate Models via Domain Affine Transformation Across Synthetic and Real-World Benchmarks
von: Pan, Shuaiqun, et al.
Veröffentlicht: (2025)