Copertina

Transformers Linearly Represent Highly Structured World Models

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Kniazev, Roman, Fijalkow, Nathanaël
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Scalable Anytime Algorithms for Learning Fragments of Linear Temporal Logic
di: Raha, Ritam, et al.
Pubblicazione: (2021)

EcoSearch: A Constant-Delay Best-First Search Algorithm for Program Synthesis
di: Matricon, Théo, et al.
Pubblicazione: (2024)

Computing the Reachability Value of Posterior-Deterministic POMDPs
di: Fijalkow, Nathanaël, et al.
Pubblicazione: (2026)

HLogformer: A Hierarchical Transformer for Representing Log Data
di: Hou, Zhichao, et al.
Pubblicazione: (2024)

Representing Rule-based Chatbots with Transformers
di: Friedman, Dan, et al.
Pubblicazione: (2024)

Compression Represents Intelligence Linearly
di: Huang, Yuzhen, et al.
Pubblicazione: (2024)

Improving World Models using Deep Supervision with Linear Probes
di: Zahorodnii, Andrii
Pubblicazione: (2025)

Diffusion Transformers as Open-World Spatiotemporal Foundation Models
di: Yuan, Yuan, et al.
Pubblicazione: (2024)

Improving Transformer World Models for Data-Efficient RL
di: Dedieu, Antoine, et al.
Pubblicazione: (2025)

One Transformer for All Time Series: Representing and Training with Time-Dependent Heterogeneous Tabular Data
di: Luetto, Simone, et al.
Pubblicazione: (2023)

MemoryPrompt: A Light Wrapper to Improve Context Tracking in Pre-trained Language Models
di: Rakotonirina, Nathanaël Carraz, et al.
Pubblicazione: (2024)

Do Transformer World Models Give Better Policy Gradients?
di: Ma, Michel, et al.
Pubblicazione: (2024)

Cliqueformer: Model-Based Optimization with Structured Transformers
di: Kuba, Jakub Grudzien, et al.
Pubblicazione: (2024)

Linear Transformers as VAR Models: Aligning Autoregressive Attention Mechanisms with Autoregressive Forecasting
di: Lu, Jiecheng, et al.
Pubblicazione: (2025)

Effective Structured Prompting by Meta-Learning and Representative Verbalizer
di: Jiang, Weisen, et al.
Pubblicazione: (2023)

LTL learning on GPUs
di: Valizadeh, Mojtaba, et al.
Pubblicazione: (2024)

Position: AI Evaluations Should be Grounded on a Theory of Capability
di: Jo, Nathanael, et al.
Pubblicazione: (2025)

AI-driven Transformer Model for Fault Prediction in Non-Linear Dynamic Automotive System
di: Kumar, Priyanka
Pubblicazione: (2024)

Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
di: Hu, Wenjie, et al.
Pubblicazione: (2025)

Probing the Impact of Scale on Data-Efficient, Generalist Transformer World Models for Atari
di: Kim, Jooyeon
Pubblicazione: (2026)

Representation Alignment Rests on Linear Structure
di: Bangachev, Kiril, et al.
Pubblicazione: (2026)

Learning Causal Abstractions of Linear Structural Causal Models
di: Massidda, Riccardo, et al.
Pubblicazione: (2024)

FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data
di: Song, Zhenghang, et al.
Pubblicazione: (2026)

Language Models Represent Space and Time
di: Gurnee, Wes, et al.
Pubblicazione: (2023)

ZeroS: Zero-Sum Linear Attention for Efficient Transformers
di: Lu, Jiecheng, et al.
Pubblicazione: (2026)

Natural Building Blocks for Structured World Models: Theory, Evidence, and Scaling
di: Da Costa, Lancelot, et al.
Pubblicazione: (2025)

Polynormer: Polynomial-Expressive Graph Transformer in Linear Time
di: Deng, Chenhui, et al.
Pubblicazione: (2024)

Linear Transformers Implicitly Discover Unified Numerical Algorithms
di: Lutz, Patrick, et al.
Pubblicazione: (2025)

What One Cannot, Two Can: Two-Layer Transformers Provably Represent Induction Heads on Any-Order Markov Chains
di: Ekbote, Chanakya, et al.
Pubblicazione: (2025)

One-shot World Models Using a Transformer Trained on a Synthetic Prior
di: Ferreira, Fabio, et al.
Pubblicazione: (2024)

Beyond Linear Surrogates: High-Fidelity Local Explanations for Black-Box Models
di: Shrestha, Sanjeev, et al.
Pubblicazione: (2025)

UrbanAI 2025 Challenge: Linear vs Transformer Models for Long-Horizon Exogenous Temperature Forecasting
di: Gokhman, Ruslan
Pubblicazione: (2025)

Ister: Linear Transformer for Efficient Multivariate Time Series Forecasting
di: Cao, Fanpu, et al.
Pubblicazione: (2024)

Why Deep Jacobian Spectra Separate: Depth-Induced Scaling and Singular-Vector Alignment
di: Haas, Nathanaël, et al.
Pubblicazione: (2026)

Programmatic Reinforcement Learning: Navigating Gridworlds
di: Shabadi, Guruprerana, et al.
Pubblicazione: (2024)

OOWM: Structuring Embodied Reasoning and Planning via Object-Oriented Programmatic World Modeling
di: Chen, Hongyu, et al.
Pubblicazione: (2026)

How Should We Represent History in Interpretable Models of Clinical Policies?
di: Matsson, Anton, et al.
Pubblicazione: (2024)

Behavior-Invariant Task Representation Learning with Transformer-based World Models for Offline Meta-Reinforcement Learning
di: Qian, Fuyuan, et al.
Pubblicazione: (2026)

On the Expressive Power of Transformers for Maxout Networks and Continuous Piecewise Linear Functions
di: Gu, Linyan, et al.
Pubblicazione: (2026)

Transfer Learning of Surrogate Models via Domain Affine Transformation Across Synthetic and Real-World Benchmarks
di: Pan, Shuaiqun, et al.
Pubblicazione: (2025)