Buchumschlag

The Computational Limits of State-Space Models and Mamba via the Lens of Circuit Complexity

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Yifang, Li, Xiaoyu, Liang, Yingyu, Shi, Zhenmei, Song, Zhao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computational Complexity Artificial Intelligence Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Circuit Complexity Bounds for Visual Autoregressive Model
von: Ke, Yekun, et al.
Veröffentlicht: (2025)

Circuit Complexity Bounds for RoPE-based Transformer Architecture
von: Chen, Bo, et al.
Veröffentlicht: (2024)

Time and Memory Trade-off of KV-Cache Compression in Tensor Transformer Decoding
von: Chen, Yifang, et al.
Veröffentlicht: (2025)

On Fine-Grained I/O Complexity of Attention Backward Passes
von: Li, Xiaoyu, et al.
Veröffentlicht: (2024)

On the Computational Capability of Graph Neural Networks: A Circuit Complexity Bound Perspective
von: Li, Xiaoyu, et al.
Veröffentlicht: (2025)

Theoretical Constraints on the Expressive Power of $\mathsf{RoPE}$-based Tensor Attention Transformers
von: Li, Xiaoyu, et al.
Veröffentlicht: (2024)

On Computational Limits and Provably Efficient Criteria of Visual Autoregressive Models: A Fine-Grained Complexity Analysis
von: Ke, Yekun, et al.
Veröffentlicht: (2025)

Modern Hopfield Networks Require Chain-of-Thought to Solve $\mathsf{NC}^1$-Hard Problems
von: Cao, Yang, et al.
Veröffentlicht: (2024)

RoPE Attention Can Be Trained in Almost Linear Time
von: Cao, Yang, et al.
Veröffentlicht: (2024)

Neural Algorithmic Reasoning for Hypergraphs with Looped Transformers
von: Huang, Zekai, et al.
Veröffentlicht: (2025)

On Computational Limits of FlowAR Models: Expressivity and Efficiency
von: Cao, Yang, et al.
Veröffentlicht: (2025)

Looped ReLU MLPs May Be All You Need as Practical Programmable Computers
von: Liang, Yingyu, et al.
Veröffentlicht: (2024)

When Can We Solve the Weighted Low Rank Approximation Problem in Truly Subquadratic Time?
von: Li, Chenyang, et al.
Veröffentlicht: (2025)

Universal Approximation of Visual Autoregressive Transformers
von: Chen, Yifang, et al.
Veröffentlicht: (2025)

A Tighter Complexity Analysis of SparseGPT
von: Li, Xiaoyu, et al.
Veröffentlicht: (2024)

Do Large Language Models Have Compositional Ability? An Investigation into Limitations and Scalability
von: Xu, Zhuoyan, et al.
Veröffentlicht: (2024)

Provable Failure of Language Models in Learning Majority Boolean Logic via Gradient Descent
von: Chen, Bo, et al.
Veröffentlicht: (2025)

RichSpace: Enriching Text-to-Video Prompt Space via Text Embedding Interpolation
von: Cao, Yuefan, et al.
Veröffentlicht: (2025)

Training Tensor Attention Efficiently: From Cubic to Almost Linear Time
von: Cao, Yang, et al.
Veröffentlicht: (2024)

Towards Infinite-Long Prefix in Transformer
von: Liang, Yingyu, et al.
Veröffentlicht: (2024)

HSR-Enhanced Sparse Attention Acceleration
von: Chen, Bo, et al.
Veröffentlicht: (2024)

Why Larger Language Models Do In-context Learning Differently?
von: Shi, Zhenmei, et al.
Veröffentlicht: (2024)

The Computational Complexity of Satisfiability in State Space Models
von: Alsmann, Eric, et al.
Veröffentlicht: (2025)

Beyond Linear Approximations: A Novel Pruning Approach for Attention Matrix
von: Liang, Yingyu, et al.
Veröffentlicht: (2024)

Multi-Layer Transformers Gradient Can be Approximated in Almost Linear Time
von: Liang, Yingyu, et al.
Veröffentlicht: (2024)

NPHardEval: Dynamic Benchmark on Reasoning Ability of Large Language Models via Complexity Classes
von: Fan, Lizhou, et al.
Veröffentlicht: (2023)

A Measure-Theoretic Analysis of Reasoning: Structural Generalization and Approximation Limits
von: Zhang, Yuyang, et al.
Veröffentlicht: (2026)

Towards Few-Shot Adaptation of Foundation Models via Multitask Finetuning
von: Xu, Zhuoyan, et al.
Veröffentlicht: (2024)

Unlocking the Theory Behind Scaling 1-Bit Neural Networks
von: Daliri, Majid, et al.
Veröffentlicht: (2024)

Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

BigO(Bench) -- Can LLMs Generate Code with Controlled Time and Space Complexity?
von: Chambon, Pierre, et al.
Veröffentlicht: (2025)

CMAT: A Multi-Agent Collaboration Tuning Framework for Enhancing Small Language Models
von: Liang, Xuechen, et al.
Veröffentlicht: (2024)

Discovering the Gems in Early Layers: Accelerating Long-Context LLMs with 1000x Input Token Reduction
von: Shi, Zhenmei, et al.
Veröffentlicht: (2024)

Unraveling the Smoothness Properties of Diffusion Models: A Gaussian Mixture Perspective
von: Liang, Yingyu, et al.
Veröffentlicht: (2024)

Mathematical Formalism for Memory Compression in Selective State Space Models
von: Bhat, Siddhanth
Veröffentlicht: (2024)

Scaling Law Phenomena Across Regression Paradigms: Multiple and Kernel Approaches
von: Chen, Yifang, et al.
Veröffentlicht: (2025)

Dissecting Submission Limit in Desk-Rejections: A Mathematical Analysis of Fairness in AI Conference Policies
von: Cao, Yuefan, et al.
Veröffentlicht: (2025)

The Computational Complexity of Circuit Discovery for Inner Interpretability
von: Adolfi, Federico, et al.
Veröffentlicht: (2024)

Demystifying the unreasonable effectiveness of online alignment methods
von: Kang, Enoch Hyunwook
Veröffentlicht: (2026)

Rethinking Model-based, Policy-based, and Value-based Reinforcement Learning via the Lens of Representation Complexity
von: Feng, Guhao, et al.
Veröffentlicht: (2023)