From Generalization Analysis to Optimization Designs for State Space Models
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Liu, Fusheng, Li, Qianxiao |
|---|---|
| Format: | Preprint |
| Publié: |
2024
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Autocorrelation Matters: Understanding the Role of Initialization Schemes for State Space Models
par: Liu, Fusheng, et autres
Publié: (2024)
par: Liu, Fusheng, et autres
Publié: (2024)
The Effect of Depth on the Expressivity of Deep Linear State-Space Models
par: Bao, Zeyu, et autres
Publié: (2025)
par: Bao, Zeyu, et autres
Publié: (2025)
Approximation Rate of the Transformer Architecture for Sequence Modeling
par: Jiang, Haotian, et autres
Publié: (2023)
par: Jiang, Haotian, et autres
Publié: (2023)
StableSSM: Alleviating the Curse of Memory in State-space Models through Stable Reparameterization
par: Wang, Shida, et autres
Publié: (2023)
par: Wang, Shida, et autres
Publié: (2023)
Learning task-specific predictive models for scientific computing
par: Yin, Jianyuan, et autres
Publié: (2025)
par: Yin, Jianyuan, et autres
Publié: (2025)
MSign: An Optimizer Preventing Training Instability in Large Language Models via Stable Rank Restoration
par: Ren, Lianhai, et autres
Publié: (2026)
par: Ren, Lianhai, et autres
Publié: (2026)
InfoFlow: A Framework for Multi-Layer Transformer Analysis
par: Yu, Penghao, et autres
Publié: (2026)
par: Yu, Penghao, et autres
Publié: (2026)
Accelerating Legacy Numerical Solvers by Non-intrusive Gradient-based Meta-solving
par: Arisaka, Sohei, et autres
Publié: (2024)
par: Arisaka, Sohei, et autres
Publié: (2024)
Unifying back-propagation and forward-forward algorithms through model predictive control
par: Ren, Lianhai, et autres
Publié: (2024)
par: Ren, Lianhai, et autres
Publié: (2024)
Numerical Investigation of Sequence Modeling Theory using Controllable Memory Functions
par: Jiang, Haotian, et autres
Publié: (2025)
par: Jiang, Haotian, et autres
Publié: (2025)
DynGMA: a robust approach for learning stochastic differential equations from data
par: Zhu, Aiqing, et autres
Publié: (2024)
par: Zhu, Aiqing, et autres
Publié: (2024)
Learning Macroscopic Dynamics from Partial Microscopic Observations
par: Chen, Mengyi, et autres
Publié: (2024)
par: Chen, Mengyi, et autres
Publié: (2024)
Machine Unlearning under Retain-Forget Entanglement
par: Cheng, Jingpu, et autres
Publié: (2026)
par: Cheng, Jingpu, et autres
Publié: (2026)
Continuity-Preserving Convolutional Autoencoders for Learning Continuous Latent Dynamical Models from Images
par: Zhu, Aiqing, et autres
Publié: (2025)
par: Zhu, Aiqing, et autres
Publié: (2025)
On the Curse of Memory in Recurrent Neural Networks: Approximation and Optimization Analysis
par: Li, Zhong, et autres
Publié: (2020)
par: Li, Zhong, et autres
Publié: (2020)
Learning Permutation-invariant Macroscopic Dynamics
par: Han, Zhichao, et autres
Publié: (2026)
par: Han, Zhichao, et autres
Publié: (2026)
Inverse Approximation Theory for Nonlinear Recurrent Neural Networks
par: Wang, Shida, et autres
Publié: (2023)
par: Wang, Shida, et autres
Publié: (2023)
Multi-Objective Latent Space Optimization of Generative Molecular Design Models
par: Abeer, A N M Nafiz, et autres
Publié: (2022)
par: Abeer, A N M Nafiz, et autres
Publié: (2022)
Generalization Error Analysis for Selective State-Space Models Through the Lens of Attention
par: Honarpisheh, Arya, et autres
Publié: (2025)
par: Honarpisheh, Arya, et autres
Publié: (2025)
A Theoretical Analysis of Mamba's Training Dynamics: Filtering Relevant Features for Generalization in State Space Models
par: Shandirasegaran, Mugunthan, et autres
Publié: (2026)
par: Shandirasegaran, Mugunthan, et autres
Publié: (2026)
Scalable learning of macroscopic stochastic dynamics
par: Chen, Mengyi, et autres
Publié: (2025)
par: Chen, Mengyi, et autres
Publié: (2025)
A unified framework for establishing the universal approximation of transformer-type architectures
par: Cheng, Jingpu, et autres
Publié: (2025)
par: Cheng, Jingpu, et autres
Publié: (2025)
Deep learning and the rate of approximation by flows
par: Cheng, Jingpu, et autres
Publié: (2026)
par: Cheng, Jingpu, et autres
Publié: (2026)
The Effect of Attention Head Count on Transformer Approximation
par: Yu, Penghao, et autres
Publié: (2025)
par: Yu, Penghao, et autres
Publié: (2025)
Identifiable learning of dissipative dynamics
par: Zhu, Aiqing, et autres
Publié: (2025)
par: Zhu, Aiqing, et autres
Publié: (2025)
Mitigating distribution shift in machine learning-augmented hybrid simulation
par: Zhao, Jiaxi, et autres
Publié: (2024)
par: Zhao, Jiaxi, et autres
Publié: (2024)
Controllability Analysis of State Space-based Language Model
par: Mabrok, Mohamed, et autres
Publié: (2025)
par: Mabrok, Mohamed, et autres
Publié: (2025)
Global Optimization By Gradient From Hierarchical Score-Matching Spaces
par: Li, Ming
Publié: (2026)
par: Li, Ming
Publié: (2026)
GG-SSMs: Graph-Generating State Space Models
par: Zubić, Nikola, et autres
Publié: (2024)
par: Zubić, Nikola, et autres
Publié: (2024)
Parallelizing Autoregressive Generation with Variational State Space Models
par: Lambrechts, Gaspard, et autres
Publié: (2024)
par: Lambrechts, Gaspard, et autres
Publié: (2024)
Spectra-Guided Neural Tucker Factorization
par: Wang, Fusheng, et autres
Publié: (2026)
par: Wang, Fusheng, et autres
Publié: (2026)
Allocation of Parameters in Transformers
par: Yu, Ruoxi, et autres
Publié: (2025)
par: Yu, Ruoxi, et autres
Publié: (2025)
Quantum-Optimized Selective State Space Model for Efficient Time Series Prediction
par: Jura, Stefan-Alexandru, et autres
Publié: (2025)
par: Jura, Stefan-Alexandru, et autres
Publié: (2025)
Terminally constrained flow-based generative models from an optimal control perspective
par: Gao, Weiguo, et autres
Publié: (2026)
par: Gao, Weiguo, et autres
Publié: (2026)
PerfMamba: Performance Analysis and Pruning of Selective State Space Models
par: Asif, Abdullah Al, et autres
Publié: (2025)
par: Asif, Abdullah Al, et autres
Publié: (2025)
Generalization Analysis for Classification on Korobov Space
par: Liu, Yuqing
Publié: (2025)
par: Liu, Yuqing
Publié: (2025)
Longhorn: State Space Models are Amortized Online Learners
par: Liu, Bo, et autres
Publié: (2024)
par: Liu, Bo, et autres
Publié: (2024)
Deep State-Space Generative Model For Correlated Time-to-Event Predictions
par: Xue, Yuan, et autres
Publié: (2024)
par: Xue, Yuan, et autres
Publié: (2024)
Paid with Models: Optimal Contract Design for Collaborative Machine Learning
par: Wang, Bingchen, et autres
Publié: (2024)
par: Wang, Bingchen, et autres
Publié: (2024)
From Function to Distribution Modeling: A PAC-Generative Approach to Offline Optimization
par: Zhang, Qiang, et autres
Publié: (2024)
par: Zhang, Qiang, et autres
Publié: (2024)
Documents similaires
-
Autocorrelation Matters: Understanding the Role of Initialization Schemes for State Space Models
par: Liu, Fusheng, et autres
Publié: (2024) -
The Effect of Depth on the Expressivity of Deep Linear State-Space Models
par: Bao, Zeyu, et autres
Publié: (2025) -
Approximation Rate of the Transformer Architecture for Sequence Modeling
par: Jiang, Haotian, et autres
Publié: (2023) -
StableSSM: Alleviating the Curse of Memory in State-space Models through Stable Reparameterization
par: Wang, Shida, et autres
Publié: (2023) -
Learning task-specific predictive models for scientific computing
par: Yin, Jianyuan, et autres
Publié: (2025)