Buchumschlag

RT-Transformer: The Transformer Block as a Spherical State Estimator

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Racioppo, Peter
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Robust Filter Attention: Self-Attention as Precision-Weighted State Estimation
von: Racioppo, Peter
Veröffentlicht: (2025)

Equivariant Spherical Transformer for Efficient Molecular Modeling
von: An, Junyi, et al.
Veröffentlicht: (2025)

AC-SINDy: Compositional Sparse Identification of Nonlinear Dynamics
von: Racioppo, Peter
Veröffentlicht: (2026)

SparseSwin: Swin Transformer with Sparse Transformer Block
von: Pinasthika, Krisna, et al.
Veröffentlicht: (2023)

OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions
von: Luo, Charles
Veröffentlicht: (2026)

BlockCert: Certified Blockwise Extraction of Transformer Mechanisms
von: Andric, Sandro
Veröffentlicht: (2025)

Transformer Block Coupling and its Correlation with Generalization in LLMs
von: Aubry, Murdock, et al.
Veröffentlicht: (2024)

Block-Recurrent Dynamics in Vision Transformers
von: Jacobs, Mozes, et al.
Veröffentlicht: (2025)

Block Transformer: Global-to-Local Language Modeling for Fast Inference
von: Ho, Namgyu, et al.
Veröffentlicht: (2024)

The Belief State Transformer
von: Hu, Edward S., et al.
Veröffentlicht: (2024)

Consciousness-ECG Transformer for Conscious State Estimation System with Real-Time Monitoring
von: Kweon, Young-Seok, et al.
Veröffentlicht: (2025)

Relational Preference Encoding in Looped Transformer Internal States
von: Kirin, Jan
Veröffentlicht: (2026)

MeSH: Memory-as-State-Highways for Recursive Transformers
von: Yu, Chengting, et al.
Veröffentlicht: (2025)

On the Role of Hidden States of Modern Hopfield Network in Transformer
von: Masumura, Tsubasa, et al.
Veröffentlicht: (2025)

Echo State Transformer: Attention Over Finite Memories
von: Bendi-Ouis, Yannis, et al.
Veröffentlicht: (2025)

Circuits, Features, and Heuristics in Molecular Transformers
von: Varadi, Kristof, et al.
Veröffentlicht: (2025)

Conformal Transformations for Symmetric Power Transformers
von: Kumar, Saurabh, et al.
Veröffentlicht: (2025)

Spatial Transformers for Radio Map Estimation
von: Viet, Pham Q., et al.
Veröffentlicht: (2024)

Transformer-Based Spatial-Temporal Counterfactual Outcomes Estimation
von: Li, He, et al.
Veröffentlicht: (2025)

ReplaceMe: Network Simplification via Depth Pruning and Transformer Block Linearization
von: Shopkhoev, Dmitriy, et al.
Veröffentlicht: (2025)

Predicting Estimated Times of Restoration for Electrical Outages Using Longitudinal Tabular Transformers
von: Teja, Bogireddy Sai Prasanna, et al.
Veröffentlicht: (2025)

ACTIVA: Amortized Causal Effect Estimation via Transformer-based Variational Autoencoder
von: Sauter, Andreas, et al.
Veröffentlicht: (2025)

Scale-Consistent State-Space Dynamics via Fractal of Stationary Transformations
von: Yu, Geunhyeok, et al.
Veröffentlicht: (2026)

Priming: Hybrid State Space Models From Pre-trained Transformers
von: Chattopadhyay, Aditya, et al.
Veröffentlicht: (2026)

Value-State Gated Attention for Mitigating Extreme-Token Phenomena in Transformers
von: Bu, Rui, et al.
Veröffentlicht: (2025)

SEA: State-Exchange Attention for High-Fidelity Physics Based Transformers
von: Esmati, Parsa, et al.
Veröffentlicht: (2024)

Predicting Human Brain States with Transformer
von: Sun, Yifei, et al.
Veröffentlicht: (2024)

TOAST: Transformer Optimization using Adaptive and Simple Transformations
von: Cannistraci, Irene, et al.
Veröffentlicht: (2024)

An Introduction to Transformers
von: Turner, Richard E.
Veröffentlicht: (2023)

Traj-Transformer: Diffusion Models with Transformer for GPS Trajectory Generation
von: Zhang, Zhiyang, et al.
Veröffentlicht: (2025)

Are Transformers More Robust? Towards Exact Robustness Verification for Transformers
von: Liao, Brian Hsuan-Cheng, et al.
Veröffentlicht: (2022)

Evidential Transformation Network: Turning Pretrained Models into Evidential Models for Post-hoc Uncertainty Estimation
von: Chun, Yongchan, et al.
Veröffentlicht: (2026)

RESCHED: Rethinking Flexible Job Shop Scheduling from a Transformer-based Architecture with Simplified States
von: Xiao, Xiangjie, et al.
Veröffentlicht: (2026)

EnergyPatchTST: Multi-scale Time Series Transformers with Uncertainty Estimation for Energy Forecasting
von: Li, Wei, et al.
Veröffentlicht: (2025)

EnTransformer: A Deep Generative Transformer for Multivariate Probabilistic Forecasting
von: Pathak, Rajdeep, et al.
Veröffentlicht: (2026)

Self-Clustering Graph Transformer Approach to Model Resting-State Functional Brain Activity
von: Thapaliya, Bishal, et al.
Veröffentlicht: (2025)

SGAT4PASS: Spherical Geometry-Aware Transformer for PAnoramic Semantic Segmentation
von: Li, Xuewei, et al.
Veröffentlicht: (2023)

Neural Collapse is Globally Optimal in Deep Regularized ResNets and Transformers
von: Súkeník, Peter, et al.
Veröffentlicht: (2025)

FOAM: Blocked State Folding for Memory-Efficient LLM Training
von: Wen, Ziqing, et al.
Veröffentlicht: (2025)

Transformer Is Inherently a Causal Learner
von: Wang, Xinyue, et al.
Veröffentlicht: (2026)