Buchumschlag

Autocorrelation Matters: Understanding the Role of Initialization Schemes for State Space Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Fusheng, Li, Qianxiao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

From Generalization Analysis to Optimization Designs for State Space Models
von: Liu, Fusheng, et al.
Veröffentlicht: (2024)

The Effect of Depth on the Expressivity of Deep Linear State-Space Models
von: Bao, Zeyu, et al.
Veröffentlicht: (2025)

Approximation Rate of the Transformer Architecture for Sequence Modeling
von: Jiang, Haotian, et al.
Veröffentlicht: (2023)

StableSSM: Alleviating the Curse of Memory in State-space Models through Stable Reparameterization
von: Wang, Shida, et al.
Veröffentlicht: (2023)

Learning task-specific predictive models for scientific computing
von: Yin, Jianyuan, et al.
Veröffentlicht: (2025)

Accelerating Legacy Numerical Solvers by Non-intrusive Gradient-based Meta-solving
von: Arisaka, Sohei, et al.
Veröffentlicht: (2024)

Unifying back-propagation and forward-forward algorithms through model predictive control
von: Ren, Lianhai, et al.
Veröffentlicht: (2024)

Numerical Investigation of Sequence Modeling Theory using Controllable Memory Functions
von: Jiang, Haotian, et al.
Veröffentlicht: (2025)

Deep Autocorrelation Modeling for Time-Series Forecasting: Progress and Prospects
von: Wang, Hao, et al.
Veröffentlicht: (2026)

DynGMA: a robust approach for learning stochastic differential equations from data
von: Zhu, Aiqing, et al.
Veröffentlicht: (2024)

Learning Macroscopic Dynamics from Partial Microscopic Observations
von: Chen, Mengyi, et al.
Veröffentlicht: (2024)

Machine Unlearning under Retain-Forget Entanglement
von: Cheng, Jingpu, et al.
Veröffentlicht: (2026)

UnHiPPO: Uncertainty-aware Initialization for State Space Models
von: Lienen, Marten, et al.
Veröffentlicht: (2025)

Latent Matters: Learning Deep State-Space Models
von: Klushyn, Alexej, et al.
Veröffentlicht: (2026)

Continuity-Preserving Convolutional Autoencoders for Learning Continuous Latent Dynamical Models from Images
von: Zhu, Aiqing, et al.
Veröffentlicht: (2025)

Mimetic Initialization Helps State Space Models Learn to Recall
von: Trockman, Asher, et al.
Veröffentlicht: (2024)

Learning Permutation-invariant Macroscopic Dynamics
von: Han, Zhichao, et al.
Veröffentlicht: (2026)

MSign: An Optimizer Preventing Training Instability in Large Language Models via Stable Rank Restoration
von: Ren, Lianhai, et al.
Veröffentlicht: (2026)

Fast Gaussian Process Approximations for Autocorrelated Data
von: Chokhachian, Ahmadreza, et al.
Veröffentlicht: (2025)

InfoFlow: A Framework for Multi-Layer Transformer Analysis
von: Yu, Penghao, et al.
Veröffentlicht: (2026)

Inverse Approximation Theory for Nonlinear Recurrent Neural Networks
von: Wang, Shida, et al.
Veröffentlicht: (2023)

Initialization Schemes for Kolmogorov-Arnold Networks: An Empirical Study
von: Rigas, Spyros, et al.
Veröffentlicht: (2025)

Understanding and Mitigating Bottlenecks of State Space Models through the Lens of Recency and Over-smoothing
von: Wang, Peihao, et al.
Veröffentlicht: (2024)

Scalable learning of macroscopic stochastic dynamics
von: Chen, Mengyi, et al.
Veröffentlicht: (2025)

A unified framework for establishing the universal approximation of transformer-type architectures
von: Cheng, Jingpu, et al.
Veröffentlicht: (2025)

Deep learning and the rate of approximation by flows
von: Cheng, Jingpu, et al.
Veröffentlicht: (2026)

The Effect of Attention Head Count on Transformer Approximation
von: Yu, Penghao, et al.
Veröffentlicht: (2025)

Identifiable learning of dissipative dynamics
von: Zhu, Aiqing, et al.
Veröffentlicht: (2025)

Mitigating distribution shift in machine learning-augmented hybrid simulation
von: Zhao, Jiaxi, et al.
Veröffentlicht: (2024)

Partially-Observable Sequential Change-Point Detection for Autocorrelated Data via Upper Confidence Region
von: Xu, Haijie, et al.
Veröffentlicht: (2024)

Analysis of Long Range Dependency Understanding in State Space Models
von: Ravikumar, Srividya, et al.
Veröffentlicht: (2026)

Unraveling the Interplay between Carryover Effects and Reward Autocorrelations in Switchback Experiments
von: Wen, Qianglin, et al.
Veröffentlicht: (2024)

Spectra-Guided Neural Tucker Factorization
von: Wang, Fusheng, et al.
Veröffentlicht: (2026)

Allocation of Parameters in Transformers
von: Yu, Ruoxi, et al.
Veröffentlicht: (2025)

Identifying Elasticities in Autocorrelated Time Series Using Causal Graphs
von: Tiedemann, Silvana, et al.
Veröffentlicht: (2024)

Autocorrelation Reintroduces Spectral Bias in KANs for Time Series Forecasting
von: Zeng, Chen, et al.
Veröffentlicht: (2026)

Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme
von: Li, Johnny Jingze, et al.
Veröffentlicht: (2024)

Terminally constrained flow-based generative models from an optimal control perspective
von: Gao, Weiguo, et al.
Veröffentlicht: (2026)

The Driver-Blindness Phenomenon: Why Deep Sequence Models Default to Autocorrelation in Blood Glucose Forecasting
von: Shakeri, Heman
Veröffentlicht: (2025)

Longhorn: State Space Models are Amortized Online Learners
von: Liu, Bo, et al.
Veröffentlicht: (2024)