Buchumschlag

The Effect of Depth on the Expressivity of Deep Linear State-Space Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bao, Zeyu, Yu, Penghao, Jiang, Haotian, Li, Qianxiao
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

InfoFlow: A Framework for Multi-Layer Transformer Analysis
von: Yu, Penghao, et al.
Veröffentlicht: (2026)

The Effect of Attention Head Count on Transformer Approximation
von: Yu, Penghao, et al.
Veröffentlicht: (2025)

Numerical Investigation of Sequence Modeling Theory using Controllable Memory Functions
von: Jiang, Haotian, et al.
Veröffentlicht: (2025)

Approximation Rate of the Transformer Architecture for Sequence Modeling
von: Jiang, Haotian, et al.
Veröffentlicht: (2023)

Allocation of Parameters in Transformers
von: Yu, Ruoxi, et al.
Veröffentlicht: (2025)

From Generalization Analysis to Optimization Designs for State Space Models
von: Liu, Fusheng, et al.
Veröffentlicht: (2024)

Autocorrelation Matters: Understanding the Role of Initialization Schemes for State Space Models
von: Liu, Fusheng, et al.
Veröffentlicht: (2024)

RAM-Net: Expressive Linear Attention with Selectively Addressable Memory
von: Xiao, Kaicheng, et al.
Veröffentlicht: (2026)

StableSSM: Alleviating the Curse of Memory in State-space Models through Stable Reparameterization
von: Wang, Shida, et al.
Veröffentlicht: (2023)

The Role of Depth, Width, and Tree Size in Expressiveness of Deep Forest
von: Lyu, Shen-Huan, et al.
Veröffentlicht: (2024)

Learning task-specific predictive models for scientific computing
von: Yin, Jianyuan, et al.
Veröffentlicht: (2025)

On the Role of Depth in the Expressivity of RNNs
von: Lizaire, Maude, et al.
Veröffentlicht: (2026)

Deep learning and the rate of approximation by flows
von: Cheng, Jingpu, et al.
Veröffentlicht: (2026)

Accelerating Legacy Numerical Solvers by Non-intrusive Gradient-based Meta-solving
von: Arisaka, Sohei, et al.
Veröffentlicht: (2024)

Unifying back-propagation and forward-forward algorithms through model predictive control
von: Ren, Lianhai, et al.
Veröffentlicht: (2024)

DynGMA: a robust approach for learning stochastic differential equations from data
von: Zhu, Aiqing, et al.
Veröffentlicht: (2024)

Learning Macroscopic Dynamics from Partial Microscopic Observations
von: Chen, Mengyi, et al.
Veröffentlicht: (2024)

On the Expressiveness of State Space Models via Temporal Logics
von: Alsmann, Eric, et al.
Veröffentlicht: (2026)

Continuity-Preserving Convolutional Autoencoders for Learning Continuous Latent Dynamical Models from Images
von: Zhu, Aiqing, et al.
Veröffentlicht: (2025)

Taipan: Efficient and Expressive State Space Language Models with Selective Attention
von: Van Nguyen, Chien, et al.
Veröffentlicht: (2024)

On the Expressiveness and Length Generalization of Selective State-Space Models on Regular Languages
von: Terzić, Aleksandar, et al.
Veröffentlicht: (2024)

On Hypothesis Transfer Learning of Functional Linear Models
von: Lin, Haotian, et al.
Veröffentlicht: (2022)

Kimi Linear: An Expressive, Efficient Attention Architecture
von: Kimi Team, et al.
Veröffentlicht: (2025)

Structured Linear CDEs: Maximally Expressive and Parallel-in-Time Sequence Models
von: Walker, Benjamin, et al.
Veröffentlicht: (2025)

On the Expressive Power of GNNs to Solve Linear SDPs
von: Qian, Chendi, et al.
Veröffentlicht: (2026)

Learning Permutation-invariant Macroscopic Dynamics
von: Han, Zhichao, et al.
Veröffentlicht: (2026)

MambaVoiceCloning: Efficient and Expressive Text-to-Speech via State-Space Modeling and Diffusion Control
von: Kumar, Sahil, et al.
Veröffentlicht: (2026)

The Expressive Capacity of State Space Models: A Formal Language Perspective
von: Sarrof, Yash, et al.
Veröffentlicht: (2024)

Machine Unlearning under Retain-Forget Entanglement
von: Cheng, Jingpu, et al.
Veröffentlicht: (2026)

Inverse Approximation Theory for Nonlinear Recurrent Neural Networks
von: Wang, Shida, et al.
Veröffentlicht: (2023)

Unfolding Target Detection with State Space Model
von: Yu, Luca Jiang-Tao, et al.
Veröffentlicht: (2024)

SeRpEnt: Selective Resampling for Expressive State Space Models
von: Rando, Stefano, et al.
Veröffentlicht: (2025)

Are Expressive Models Truly Necessary for Offline RL?
von: Wang, Guan, et al.
Veröffentlicht: (2024)

Sparsity is Combinatorial Depth: Quantifying MoE Expressivity via Tropical Geometry
von: Su, Ye, et al.
Veröffentlicht: (2026)

Latent Matters: Learning Deep State-Space Models
von: Klushyn, Alexej, et al.
Veröffentlicht: (2026)

Pause Tokens Strictly Increase the Expressivity of Constant-Depth Transformers
von: London, Charles, et al.
Veröffentlicht: (2025)

On the Expressiveness of Rational ReLU Neural Networks With Bounded Depth
von: Averkov, Gennadiy, et al.
Veröffentlicht: (2025)

A Little Depth Goes a Long Way: The Expressive Power of Log-Depth Transformers
von: Merrill, William, et al.
Veröffentlicht: (2025)

On the Expressive Power of Permutation-Equivariant Weight-Space Networks
von: Dayan, Adir, et al.
Veröffentlicht: (2026)

Exploring Adversarial Robustness of Deep State Space Models
von: Qi, Biqing, et al.
Veröffentlicht: (2024)