Copertina

Demystifying the Token Dynamics of Deep Selective State Space Models

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Vo, Thieu N, Pham, Tung D., Tong, Xin T., Nguyen, Tan Minh
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Dynamical Properties of Tokens in Self-Attention and Effects of Positional Encoding
di: Pham, Duy-Tung, et al.
Pubblicazione: (2025)

Equivariant Polynomial Functional Networks
di: Vo, Thieu N., et al.
Pubblicazione: (2024)

Equivariant Neural Functional Networks for Transformers
di: Tran, Viet-Hoang, et al.
Pubblicazione: (2024)

A Clifford Algebraic Approach to E(n)-Equivariant High-order Graph Neural Networks
di: Tran, Viet-Hoang, et al.
Pubblicazione: (2024)

Metacognitive Sensitivity for Test-Time Dynamic Model Selection
di: Trinh, Le Tuan Minh, et al.
Pubblicazione: (2025)

MMA: A Momentum Mamba Architecture for Human Activity Recognition with Inertial Sensors
di: Nguyen, Thai-Khanh, et al.
Pubblicazione: (2025)

Quasi-Equivariant Metanetworks
di: Tran, Viet-Hoang, et al.
Pubblicazione: (2026)

Learning bridge numbers of knots
di: Vo, Hanh, et al.
Pubblicazione: (2024)

DeepTokenEEG Enhancing Mild Cognitive Impairment and Alzheimers Classification via Tokenized EEG Features
di: Nguyen-Quang, Thinh, et al.
Pubblicazione: (2026)

Monomial Matrix Group Equivariant Neural Functional Networks
di: Tran, Viet-Hoang, et al.
Pubblicazione: (2024)

Resolving Memorization in Empirical Diffusion Model for Manifold Data in High-Dimensional Spaces
di: Lyu, Yang, et al.
Pubblicazione: (2025)

State Space Models are Provably Comparable to Transformers in Dynamic Token Selection
di: Nishikawa, Naoki, et al.
Pubblicazione: (2024)

KOSS: Kalman-Optimal Selective State Spaces for Long-Term Sequence Modeling
di: Wang, Lei, et al.
Pubblicazione: (2025)

MambaByte: Token-free Selective State Space Model
di: Wang, Junxiong, et al.
Pubblicazione: (2024)

Statistical Inference for Clustering-based Anomaly Detection
di: Phu, Nguyen Thi Minh, et al.
Pubblicazione: (2025)

Statistical Inference for Sequential Feature Selection after Domain Adaptation
di: Loc, Duong Tan, et al.
Pubblicazione: (2025)

Statistical Inference for Feature Selection after Optimal Transport-based Domain Adaptation
di: Loi, Nguyen Thang, et al.
Pubblicazione: (2024)

PPG-to-ECG Signal Translation for Continuous Atrial Fibrillation Detection via Attention-based Deep State-Space Modeling
di: Vo, Khuong, et al.
Pubblicazione: (2023)

Dynamic Thinking-Token Selection for Efficient Reasoning in Large Reasoning Models
di: Guo, Zhenyuan, et al.
Pubblicazione: (2026)

Taipan: Efficient and Expressive State Space Language Models with Selective Attention
di: Van Nguyen, Chien, et al.
Pubblicazione: (2024)

Theoretical Foundations of Deep Selective State-Space Models
di: Cirone, Nicola Muca, et al.
Pubblicazione: (2024)

Deep Latent Variable Modeling of Physiological Signals
di: Vo, Khuong
Pubblicazione: (2024)

Synthetic Swarm Mosquito Dataset for Acoustic Classification: A Proof of Concept
di: Dinh, Thai-Duy, et al.
Pubblicazione: (2025)

Automatic Prompt Selection for Large Language Models
di: Do, Viet-Tung, et al.
Pubblicazione: (2024)

Rethinking Token Reduction for State Space Models
di: Zhan, Zheng, et al.
Pubblicazione: (2024)

Self-Supervised State Space Model for Real-Time Traffic Accident Prediction Using eKAN Networks
di: Tan, Xin, et al.
Pubblicazione: (2024)

MambaMixer: Efficient Selective State Space Models with Dual Token and Channel Selection
di: Behrouz, Ali, et al.
Pubblicazione: (2024)

Minimum Specification Perturbation: Robustness as Distance-to-Falsification in Causal Inference
di: Dang, Hoang, et al.
Pubblicazione: (2026)

RAMBO: Enhancing RAG-based Repository-Level Method Body Completion
di: Bui, Tuan-Dung, et al.
Pubblicazione: (2024)

Active-Dormant Attention Heads: Mechanistically Demystifying Extreme-Token Phenomena in LLMs
di: Guo, Tianyu, et al.
Pubblicazione: (2024)

Dual Mamba for Node-Specific Representation Learning: Tackling Over-Smoothing with Selective State Space Modeling
di: He, Xin, et al.
Pubblicazione: (2025)

E(3)-Equivariant Mesh Neural Networks
di: Trang, Thuan, et al.
Pubblicazione: (2024)

Predicting Space Tourism Demand Using Explainable AI
di: Pham, Tan-Hanh, et al.
Pubblicazione: (2025)

Deep Attention-based Sequential Ensemble Learning for BLE-Based Indoor Localization in Care Facilities
di: Pham, Minh Triet, et al.
Pubblicazione: (2026)

Demystifying Embedding Spaces using Large Language Models
di: Tennenholtz, Guy, et al.
Pubblicazione: (2023)

Defect Prediction with Content-based Features
di: Pham, Hung Viet, et al.
Pubblicazione: (2024)

Sequence Diffusion Model for Temporal Link Prediction in Continuous-Time Dynamic Graph
di: Duc, Nguyen Minh, et al.
Pubblicazione: (2026)

R.I.P.: A Simple Black-box Attack on Continual Test-time Adaptation
di: Hoang, Trung-Hieu, et al.
Pubblicazione: (2024)

Deep Learning-based Approaches for State Space Models: A Selective Review
di: Lin, Jiahe, et al.
Pubblicazione: (2024)

DyG-Mamba: Continuous State Space Modeling on Dynamic Graphs
di: Li, Dongyuan, et al.
Pubblicazione: (2024)