Buchumschlag

In-Context Learning of Linear Dynamical Systems with Transformers: Approximation Bounds and Depth-Separation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cole, Frank, Zhao, Yuxuan, Lu, Yulong, Zhang, Tianhao
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

In-Context Learning of Linear Systems: Generalization Theory and Applications to Operator Learning
von: Cole, Frank, et al.
Veröffentlicht: (2024)

A Theory of Diversity for Random Matrices with Applications to In-Context Learning of Schrödinger Equations
von: Cole, Frank, et al.
Veröffentlicht: (2026)

Score-based generative models break the curse of dimensionality in learning a family of sub-Gaussian probability distributions
von: Cole, Frank, et al.
Veröffentlicht: (2024)

Posterior Concentration of Bayesian Physics-Informed Neural Networks for Elliptic PDEs
von: Zhao, Yuxuan, et al.
Veröffentlicht: (2026)

In-Context Operator Learning on the Space of Probability Measures
von: Cole, Frank, et al.
Veröffentlicht: (2026)

On Universality of Non-Separable Approximate Message Passing Algorithms
von: Lovig, Max, et al.
Veröffentlicht: (2025)

Depth Separation in Norm-Bounded Infinite-Width Neural Networks
von: Parkinson, Suzanna, et al.
Veröffentlicht: (2024)

Exact Learning Dynamics of In-Context Learning in Linear Transformers and Its Application to Non-Linear Transformers
von: Mainali, Nischal, et al.
Veröffentlicht: (2025)

Training Dynamics of In-Context Learning in Linear Attention
von: Zhang, Yedi, et al.
Veröffentlicht: (2025)

Dynamics of Transient Structure in In-Context Linear Regression Transformers
von: Carroll, Liam, et al.
Veröffentlicht: (2025)

Gap-Dependent Bounds for Nearly Minimax Optimal Reinforcement Learning with Linear Function Approximation
von: Zhang, Haochen, et al.
Veröffentlicht: (2026)

Approximation Error Upper and Lower Bounds for Hölder Class with Transformers
von: He, Xin, et al.
Veröffentlicht: (2026)

Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits
von: Du, Yuxuan, et al.
Veröffentlicht: (2024)

Misspecified $Q$-Learning with Sparse Linear Function Approximation: Tight Bounds on Approximation Error
von: Du, Ally Yalei, et al.
Veröffentlicht: (2024)

Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning
von: Xie, Zixuan, et al.
Veröffentlicht: (2026)

Approximation Bounds for Transformer Networks with Application to Regression
von: Jiao, Yuling, et al.
Veröffentlicht: (2025)

Frequency-Separable Hamiltonian Neural Network for Multi-Timescale Dynamics
von: Li, Yaojun, et al.
Veröffentlicht: (2026)

Transformers as Implicit State Estimators: In-Context Learning in Dynamical Systems
von: Akram, Usman, et al.
Veröffentlicht: (2024)

Linear Transformers are Versatile In-Context Learners
von: Vladymyrov, Max, et al.
Veröffentlicht: (2024)

Transformers Meet In-Context Learning: A Universal Approximation Theory
von: Li, Gen, et al.
Veröffentlicht: (2025)

Learning in Compact Spaces with Approximately Normalized Transformer
von: Franke, Jörg K. H., et al.
Veröffentlicht: (2025)

Exact Conversion of In-Context Learning to Model Weights in Linearized-Attention Transformers
von: Chen, Brian K, et al.
Veröffentlicht: (2024)

How Transformers Utilize Multi-Head Attention in In-Context Learning? A Case Study on Sparse Linear Regression
von: Chen, Xingwu, et al.
Veröffentlicht: (2024)

Expectation Error Bounds for Transfer Learning in Linear Regression and Linear Neural Networks
von: Liu, Meitong, et al.
Veröffentlicht: (2026)

Linear Chain Transformation: Expanding Optimization Dynamics for Fine-Tuning Large Language Models
von: Wang, Yulong, et al.
Veröffentlicht: (2024)

InAttention: Linear Context Scaling for Transformers
von: Eisner, Joseph
Veröffentlicht: (2024)

A Switching System Theory of Q-Learning with Linear Function Approximation
von: Lee, Donghwan, et al.
Veröffentlicht: (2026)

Transformers Implement Functional Gradient Descent to Learn Non-Linear Functions In Context
von: Cheng, Xiang, et al.
Veröffentlicht: (2023)

Robust Active Learning (RoAL): Countering Dynamic Adversaries in Active Learning with Elastic Weight Consolidation
von: Fajri, Ricky Maulana, et al.
Veröffentlicht: (2024)

Depth Separations in Neural Networks: Separating the Dimension from the Accuracy
von: Safran, Itay, et al.
Veröffentlicht: (2024)

AGaLiTe: Approximate Gated Linear Transformers for Online Reinforcement Learning
von: Pramanik, Subhojeet, et al.
Veröffentlicht: (2023)

Distributionally Robust Off-Dynamics Reinforcement Learning: Provable Efficiency with Linear Function Approximation
von: Liu, Zhishuai, et al.
Veröffentlicht: (2024)

Understanding In-Context Learning of Linear Models in Transformers Through an Adversarial Lens
von: Anwar, Usman, et al.
Veröffentlicht: (2024)

Sharp Lower Bounds for Linearized ReLU^k Approximation on the Sphere
von: Mao, Tong, et al.
Veröffentlicht: (2025)

Regret Lower Bounds for Learning Linear Quadratic Gaussian Systems
von: Ziemann, Ingvar, et al.
Veröffentlicht: (2022)

Two-Scale Latent Dynamics for Recurrent-Depth Transformers
von: Pappone, Francesco, et al.
Veröffentlicht: (2025)

Accelerated Distributional Temporal Difference Learning with Linear Function Approximation
von: Jin, Kaicheng, et al.
Veröffentlicht: (2025)

How Do Nonlinear Transformers Learn and Generalize in In-Context Learning?
von: Li, Hongkang, et al.
Veröffentlicht: (2024)

On the Dimension-Free Approximation of Deep Neural Networks for Symmetric Korobov Functions
von: Lu, Yulong, et al.
Veröffentlicht: (2025)

Replicable Reinforcement Learning with Linear Function Approximation
von: Eaton, Eric, et al.
Veröffentlicht: (2025)