Buchumschlag

On the Resurgence of Recurrent Models for Long Sequences -- Survey and Research Opportunities in the Transformer Era

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tiezzi, Matteo, Casoni, Michele, Betti, Alessandro, Guidi, Tommaso, Gori, Marco, Melacci, Stefano
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era
von: Tiezzi, Matteo, et al.
Veröffentlicht: (2024)

A Unified Framework for Neural Computation and Learning Over Time
von: Melacci, Stefano, et al.
Veröffentlicht: (2024)

Generative System Dynamics in Recurrent Neural Networks
von: Casoni, Michele, et al.
Veröffentlicht: (2025)

Continual Learning of Conjugated Visual Representations through Higher-order Motion Flows
von: Marullo, Simone, et al.
Veröffentlicht: (2024)

Dynamic Decoupling of Placid Terminal Attractor-based Gradient Descent Algorithm
von: Zhao, Jinwei, et al.
Veröffentlicht: (2024)

Book your room in the Turing Hotel! A symmetric and distributed Turing Test with multiple AIs and humans
von: Di Maio, Christian, et al.
Veröffentlicht: (2026)

Nature-Inspired Local Propagation
von: Betti, Alessandro, et al.
Veröffentlicht: (2024)

The KANDY Benchmark: Incremental Neuro-Symbolic Learning and Reasoning with Kandinsky Patterns
von: Lorello, Luca Salvatore, et al.
Veröffentlicht: (2024)

Sliding Window Recurrences for Sequence Models
von: Secrieru, Dragos, et al.
Veröffentlicht: (2025)

Poolformer: Recurrent Networks with Pooling for Long-Sequence Modeling
von: Fernández, Daniel Gallo
Veröffentlicht: (2025)

Modeling Long Sequences in Bladder Cancer Recurrence: A Comparative Evaluation of LSTM,Transformer,and Mamba
von: Zhang, Runquan, et al.
Veröffentlicht: (2024)

Graph Hierarchical Recurrence for Long-Range Generalization
von: Carotti, Stefano, et al.
Veröffentlicht: (2026)

Learning to Evaluate Autonomous Behaviour in Human-Robot Interaction
von: Tiezzi, Matteo, et al.
Veröffentlicht: (2025)

FovEx: Human-Inspired Explanations for Vision Transformers and Convolutional Neural Networks
von: Panda, Mahadev Prasad, et al.
Veröffentlicht: (2024)

Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training
von: Luo, Cheng, et al.
Veröffentlicht: (2024)

Bidirectional Linear Recurrent Models for Sequence-Level Multisource Fusion
von: Liu, Qisai, et al.
Veröffentlicht: (2025)

IceFormer: Accelerated Inference with Long-Sequence Transformers on CPUs
von: Mao, Yuzhen, et al.
Veröffentlicht: (2024)

Introduction to Sequence Modeling with Transformers
von: Kämäräinen, Joni-Kristian
Veröffentlicht: (2025)

Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences
von: Tumma, Neehal, et al.
Veröffentlicht: (2026)

In-Context Learning for MIMO Equalization Using Transformer-Based Sequence Models
von: Zecchin, Matteo, et al.
Veröffentlicht: (2023)

SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
von: Cundy, Chris, et al.
Veröffentlicht: (2023)

Evaluating the Potential of Quantum Machine Learning in Cybersecurity: A Case-Study on PCA-based Intrusion Detection Systems
von: Bellante, Armando, et al.
Veröffentlicht: (2025)

Diagonal Batching Unlocks Parallelism in Recurrent Memory Transformers for Long Contexts
von: Sivtsov, Danil, et al.
Veröffentlicht: (2025)

Load Forecasting in the Era of Smart Grids: Opportunities and Advanced Machine Learning Models
von: Maneshni, Aurausp
Veröffentlicht: (2025)

RotRNN: Modelling Long Sequences with Rotations
von: Biegun, Kai, et al.
Veröffentlicht: (2024)

LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory
von: Liu, Zicheng, et al.
Veröffentlicht: (2024)

On the (In)Security of Loading Machine Learning Models
von: Digregorio, Gabriele, et al.
Veröffentlicht: (2025)

A Neuro-Symbolic Framework for Sequence Classification with Relational and Temporal Knowledge
von: Lorello, Luca Salvatore, et al.
Veröffentlicht: (2025)

Approximation Rate of the Transformer Architecture for Sequence Modeling
von: Jiang, Haotian, et al.
Veröffentlicht: (2023)

Local Attention Mechanism: Boosting the Transformer Architecture for Long-Sequence Time Series Forecasting
von: Aguilera-Martos, Ignacio, et al.
Veröffentlicht: (2024)

TwinFormer: A Dual-Level Transformer for Long-Sequence Time-Series Forecasting
von: Kumavat, Mahima, et al.
Veröffentlicht: (2025)

Multitask Kernel-based Learning with Logic Constraints
von: Diligenti, Michelangelo, et al.
Veröffentlicht: (2024)

SMR: State Memory Replay for Long Sequence Modeling
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

CAB: Comprehensive Attention Benchmarking on Long Sequence Modeling
von: Zhang, Jun, et al.
Veröffentlicht: (2022)

Knowledge-enhanced Transformer for Multivariate Long Sequence Time-series Forecasting
von: Kakde, Shubham Tanaji, et al.
Veröffentlicht: (2024)

Continuous-Time Attention: PDE-Guided Mechanisms for Long-Sequence Transformers
von: Zhang, Yukun, et al.
Veröffentlicht: (2025)

Mamba-360: Survey of State Space Models as Transformer Alternative for Long Sequence Modelling: Methods, Applications, and Challenges
von: Patro, Badri Narayana, et al.
Veröffentlicht: (2024)

Compact Recurrent Transformer with Persistent Memory
von: Mucllari, Edison, et al.
Veröffentlicht: (2025)

Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling
von: Wang, Mingze, et al.
Veröffentlicht: (2024)

Design Proteins Using Large Language Models: Enhancements and Comparative Analyses
von: Zeinalipour, Kamyar, et al.
Veröffentlicht: (2024)