Buchumschlag

Echo State Transformer: Attention Over Finite Memories

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bendi-Ouis, Yannis, Hinaut, Xavier
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Deploying Open-Source Large Language Models: A performance Analysis
von: Bendi-Ouis, Yannis, et al.
Veröffentlicht: (2024)

CogScale: Scalable Benchmark for Sequence Processing
von: Bendi-Ouis, Yannis, et al.
Veröffentlicht: (2026)

ReservoirChat: Interactive Documentation Enhanced with LLM and Knowledge Graph for ReservoirPy
von: Boraud, Virgile, et al.
Veröffentlicht: (2025)

Linear Reservoir: A Diagonalization-Based Optimization
von: de Coudenhove, Romain, et al.
Veröffentlicht: (2026)

Evolutionary Algorithm for Reservoir Learning and Yielding
von: Testu, Julien, et al.
Veröffentlicht: (2026)

TART: Token-based Architecture Transformer for Neural Network Performance Prediction
von: He, Yannis Y.
Veröffentlicht: (2025)

Modeling Biological Multifunctionality with Echo State Networks
von: Leventi-Peetz, Anastasia-Maria, et al.
Veröffentlicht: (2025)

LOOKAT: Lookup-Optimized Key-Attention for Memory-Efficient Transformers
von: Karmore, Aryan
Veröffentlicht: (2026)

QFlash: Bridging Quantization and Memory Efficiency in Vision Transformer Attention
von: Oh, Sehyeon, et al.
Veröffentlicht: (2026)

Evolving Reservoirs for Meta Reinforcement Learning
von: Léger, Corentin, et al.
Veröffentlicht: (2023)

EchoRL: Reinforcement Learning via Rollout Echoing
von: Bi, Jinhe, et al.
Veröffentlicht: (2026)

MeSH: Memory-as-State-Highways for Recursive Transformers
von: Yu, Chengting, et al.
Veröffentlicht: (2025)

AtMan: Understanding Transformer Predictions Through Memory Efficient Attention Manipulation
von: Deiseroth, Björn, et al.
Veröffentlicht: (2023)

Echo: A Large Language Model with Temporal Episodic Memory
von: Liu, WenTao, et al.
Veröffentlicht: (2025)

Value-State Gated Attention for Mitigating Extreme-Token Phenomena in Transformers
von: Bu, Rui, et al.
Veröffentlicht: (2025)

SEA: State-Exchange Attention for High-Fidelity Physics Based Transformers
von: Esmati, Parsa, et al.
Veröffentlicht: (2024)

Centrality-Based Pruning for Efficient Echo State Networks
von: Laudari, Sudip
Veröffentlicht: (2026)

Adaptive Memory Decay for Log-Linear Attention
von: Amin, Yaxita, et al.
Veröffentlicht: (2026)

Fusing Memory and Attention: A study on LSTM, Transformer and Hybrid Architectures for Symbolic Music Generation
von: Ghoshal, Soudeep, et al.
Veröffentlicht: (2026)

CroSTAta: Cross-State Transition Attention Transformer for Robotic Manipulation
von: Minelli, Giovanni, et al.
Veröffentlicht: (2025)

Less is More: on the Over-Globalizing Problem in Graph Transformers
von: Xing, Yujie, et al.
Veröffentlicht: (2024)

Robust Finite-Memory Policy Gradients for Hidden-Model POMDPs
von: Galesloot, Maris F. L., et al.
Veröffentlicht: (2025)

Recurrent Action Transformer with Memory
von: Cherepanov, Egor, et al.
Veröffentlicht: (2023)

The Bayesian Geometry of Transformer Attention
von: Agarwal, Naman, et al.
Veröffentlicht: (2025)

EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation
von: Wang, Yuda, et al.
Veröffentlicht: (2024)

XicorAttention: Time Series Transformer Using Attention with Nonlinear Correlation
von: Kimura, Daichi, et al.
Veröffentlicht: (2025)

Geometric Attention: A Regime-Explicit Operator Semantics for Transformer Attention
von: Freytes, Luis Rosario
Veröffentlicht: (2026)

MKA: Memory-Keyed Attention for Efficient Long-Context Reasoning
von: Liu, Dong, et al.
Veröffentlicht: (2026)

Attention Schema-based Attention Control (ASAC): A Cognitive-Inspired Approach for Attention Management in Transformers
von: Saxena, Krati, et al.
Veröffentlicht: (2025)

Generalizing Multi-Step Inverse Models for Representation Learning to Finite-Memory POMDPs
von: Wu, Lili, et al.
Veröffentlicht: (2024)

Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
von: Mistry, Deven Mahesh, et al.
Veröffentlicht: (2025)

Understanding Transformer from the Perspective of Associative Memory
von: Zhong, Shu, et al.
Veröffentlicht: (2025)

Robust Filter Attention: Self-Attention as Precision-Weighted State Estimation
von: Racioppo, Peter
Veröffentlicht: (2025)

Unveiling and Controlling Anomalous Attention Distribution in Transformers
von: Yan, Ruiqing, et al.
Veröffentlicht: (2024)

Exact Attention Sensitivity and the Geometry of Transformer Stability
von: Emadi, Seyed Morteza
Veröffentlicht: (2026)

Graph Convolutions Enrich the Self-Attention in Transformers!
von: Choi, Jeongwhan, et al.
Veröffentlicht: (2023)

Higher-Order Transformers With Kronecker-Structured Attention
von: Omranpour, Soroush, et al.
Veröffentlicht: (2024)

Expanding Expressivity in Transformer Models with MöbiusAttention
von: Halacheva, Anna-Maria, et al.
Veröffentlicht: (2024)

Transformers as Neural Operators for Solutions of Differential Equations with Finite Regularity
von: Shih, Benjamin, et al.
Veröffentlicht: (2024)

Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
von: Hu, Wenjie, et al.
Veröffentlicht: (2025)