:: Library Catalog

Copertina

Salvato in:

Dettagli Bibliografici
Autore principale:	Horbatko, Liubomyr
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Artificial Intelligence Computation and Language
Accesso online:	https://arxiv.org/abs/2604.18580
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Taipan: Efficient and Expressive State Space Language Models with Selective Attention
di: Van Nguyen, Chien, et al.
Pubblicazione: (2024)

On the Expressiveness and Length Generalization of Selective State-Space Models on Regular Languages
di: Terzić, Aleksandar, et al.
Pubblicazione: (2024)

MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts
di: Pióro, Maciej, et al.
Pubblicazione: (2024)

Selective Attention Improves Transformer
di: Leviathan, Yaniv, et al.
Pubblicazione: (2024)

Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
di: Saxena, Utkarsh, et al.
Pubblicazione: (2024)

Selective Synchronization Attention
di: Hays, Hasi
Pubblicazione: (2026)

Sectoral Coupling in Linguistic State Space
di: Dumbrava, Sebastian
Pubblicazione: (2025)

Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection
di: Julistiono, Addison Kristanto, et al.
Pubblicazione: (2024)

Quamba2: A Robust and Scalable Post-training Quantization Framework for Selective State Space Models
di: Chiang, Hung-Yueh, et al.
Pubblicazione: (2025)

Projected Autoregression: Autoregressive Language Generation in Continuous State Space
di: Naparstek, Oshri
Pubblicazione: (2026)

MemMamba: Rethinking Memory Patterns in State Space Model
di: Wang, Youjin, et al.
Pubblicazione: (2025)

PICASO: Permutation-Invariant Context Composition with State Space Models
di: Liu, Tian Yu, et al.
Pubblicazione: (2025)

Technologies on Effectiveness and Efficiency: A Survey of State Spaces Models
di: Lv, Xingtai, et al.
Pubblicazione: (2025)

Birdie: Advancing State Space Models with Reward-Driven Objectives and Curricula
di: Blouir, Sam, et al.
Pubblicazione: (2024)

Repeat After Me: Transformers are Better than State Space Models at Copying
di: Jelassi, Samy, et al.
Pubblicazione: (2024)

Mamba-Shedder: Post-Transformer Compression for Efficient Selective Structured State Space Models
di: Muñoz, J. Pablo, et al.
Pubblicazione: (2025)

R2Gen-Mamba: A Selective State Space Model for Radiology Report Generation
di: Sun, Yongheng, et al.
Pubblicazione: (2024)

RetentiveKV: State-Space Memory for Uncertainty-Aware Multimodal KV Cache Eviction
di: Liu, Sihao, et al.
Pubblicazione: (2026)

Stateful KV Cache Management for LLMs: Balancing Space, Time, Accuracy, and Positional Fidelity
di: Poudel, Pratik
Pubblicazione: (2025)

How Sparse Attention Approximates Exact Attention? Your Attention is Naturally $n^C$-Sparse
di: Deng, Yichuan, et al.
Pubblicazione: (2024)

DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention
di: Huang, Yuxiang, et al.
Pubblicazione: (2026)

Attention Needs to Focus: A Unified Perspective on Attention Allocation
di: Fu, Zichuan, et al.
Pubblicazione: (2026)

Efficiently Dispatching Flash Attention For Partially Filled Attention Masks
di: Sharma, Agniv, et al.
Pubblicazione: (2024)

Depth-Recurrent Attention Mixtures: Giving Latent Reasoning the Attention it Deserves
di: Knupp, Jonas, et al.
Pubblicazione: (2026)

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
di: Yuan, Jingyang, et al.
Pubblicazione: (2025)

The Computational Limits of State-Space Models and Mamba via the Lens of Circuit Complexity
di: Chen, Yifang, et al.
Pubblicazione: (2024)

Block-Attention for Efficient Prefilling
di: Ma, Dongyang, et al.
Pubblicazione: (2024)

Scaling Reasoning without Attention
di: Zhao, Xueliang, et al.
Pubblicazione: (2025)

Higher-order Linear Attention
di: Zhang, Yifan, et al.
Pubblicazione: (2025)

Scalable-Softmax Is Superior for Attention
di: Nakanishi, Ken M.
Pubblicazione: (2025)

Limitations of Normalization in Attention Mechanism
di: Mudarisov, Timur, et al.
Pubblicazione: (2025)

Mixture of Attentions For Speculative Decoding
di: Zimmer, Matthieu, et al.
Pubblicazione: (2024)

NoMAD-Attention: Efficient LLM Inference on CPUs Through Multiply-add-free Attention
di: Zhang, Tianyi, et al.
Pubblicazione: (2024)

Scaling Attention to Very Long Sequences in Linear Time with Wavelet-Enhanced Random Spectral Attention (WERSA)
di: Dentamaro, Vincenzo
Pubblicazione: (2025)

SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention
di: Zhu, Qianchao, et al.
Pubblicazione: (2024)

Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space
di: Bigelow, Eric, et al.
Pubblicazione: (2026)

NOSA: Native and Offloadable Sparse Attention
di: Huang, Yuxiang, et al.
Pubblicazione: (2025)

HSR-Enhanced Sparse Attention Acceleration
di: Chen, Bo, et al.
Pubblicazione: (2024)

More Expressive Attention with Negative Weights
di: Lv, Ang, et al.
Pubblicazione: (2024)

On the Existence and Behavior of Secondary Attention Sinks
di: Wong, Jeffrey T. H., et al.
Pubblicazione: (2025)