Copertina

An Empirical Study of Mamba-based Language Models

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Waleffe, Roger, Byeon, Wonmin, Riach, Duncan, Norick, Brandon, Korthikanti, Vijay, Dao, Tri, Gu, Albert, Hatamizadeh, Ali, Singh, Sudhakar, Narayanan, Deepak, Kulshreshtha, Garvit, Singh, Vartika, Casper, Jared, Kautz, Jan, Shoeybi, Mohammad, Catanzaro, Bryan
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

MambaVision: A Hybrid Mamba-Transformer Vision Backbone
di: Hatamizadeh, Ali, et al.
Pubblicazione: (2024)

Gated Delta Networks: Improving Mamba2 with Delta Rule
di: Yang, Songlin, et al.
Pubblicazione: (2024)

RLP: Reinforcement as a Pretraining Objective
di: Hatamizadeh, Ali, et al.
Pubblicazione: (2025)

Nemotron-CC: Transforming Common Crawl into a Refined Long-Horizon Pretraining Dataset
di: Su, Dan, et al.
Pubblicazione: (2024)

Upcycling Large Language Models into Mixture of Experts
di: He, Ethan, et al.
Pubblicazione: (2024)

Mamba: Linear-Time Sequence Modeling with Selective State Spaces
di: Gu, Albert, et al.
Pubblicazione: (2023)

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention
di: Hatamizadeh, Ali, et al.
Pubblicazione: (2026)

Hadronic tau decays at higher orders in QCD
di: Abbas, Gauhar, et al.
Pubblicazione: (2026)

A new determination of higher-order QCD corrections to hadronic $τ$ decays
di: Abbas, Gauhar, et al.
Pubblicazione: (2025)

Dark-technicolour at colliders
di: Abbas, Gauhar, et al.
Pubblicazione: (2025)

Renormalization-group improved Higgs to two gluons decay rate
di: Abbas, Gauhar, et al.
Pubblicazione: (2022)

Optimal Utility Design with Arbitrary Information Networks
di: Singh, Vartika, et al.
Pubblicazione: (2025)

Coexisting Papulonecrotic Tuberculid and Erythema Induratum in Polyresistant Tuberculous Lymphadenitis
di: Anju George, et al.
Pubblicazione: (2026)

Comment on “Effects of High‐Fidelity Simulation Training on Learning Outcomes and Satisfaction for Practising Registered Nurses: A Systematic Review and Meta‐Analysis”
di: K. Jyothisree, et al.
Pubblicazione: (2026)

DiffiT: Diffusion Vision Transformers for Image Generation
di: Hatamizadeh, Ali, et al.
Pubblicazione: (2023)

The Mamba in the Llama: Distilling and Accelerating Hybrid Models
di: Wang, Junxiong, et al.
Pubblicazione: (2024)

Parallel Sequence Modeling via Generalized Spatial Propagation Network
di: Wang, Hongjun, et al.
Pubblicazione: (2025)

Comparative Study of MAC Protocols for Wireless Mesh Network
di: Singh, Ankita, et al.
Pubblicazione: (2024)

Stability of Polling Systems for a Large Class of Markovian Switching Policies
di: Avrachenkov, Konstantin, et al.
Pubblicazione: (2025)

AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling
di: Liu, Zihan, et al.
Pubblicazione: (2024)

Reuse, Don't Retrain: A Recipe for Continued Pretraining of Language Models
di: Parmar, Jupinder, et al.
Pubblicazione: (2024)

Stateful Token Reduction for Long-Video Hybrid VLMs
di: Jiang, Jindong, et al.
Pubblicazione: (2026)

Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
di: Dao, Tri, et al.
Pubblicazione: (2024)

Compact Language Models via Pruning and Knowledge Distillation
di: Muralidharan, Saurav, et al.
Pubblicazione: (2024)

Going loca: Depression at work as a public feeling in Peru
di: Riya Bisht, et al.
Pubblicazione: (2024)

ViR: Towards Efficient Vision Retention Backbones
di: Hatamizadeh, Ali, et al.
Pubblicazione: (2023)

Invasive Mechanical Ventilation of COVID-19 ARDS Patients
di: Vijay Singh
Pubblicazione: (2021)

Chapter 1 Creating identities
di: Kulshreshtha, Salila
Pubblicazione: (2024)

From Temple to Museum
di: Kulshreshtha, Salila
Pubblicazione: (2023)

Chapter 9 Practices of faith
di: Kulshreshtha, Salila
Pubblicazione: (2024)

A Reverse Mathematical Analysis of Hilbert's Nullstellensatz and Basis Theorem
di: Kulshreshtha, Dhruv
Pubblicazione: (2024)

Chapter 1 Introduction to Temple and Royalty
di: Kulshreshtha, Salila
Pubblicazione: (2022)

Chapter 5 Introduction to Temple Rituals
di: Kulshreshtha, Salila
Pubblicazione: (2022)

Chapter 2 Making of museums
di: Kulshreshtha, Salila
Pubblicazione: (2023)

Feature-based Graph Attention Networks Improve Online Continual Learning
di: Sim, Adjovi, et al.
Pubblicazione: (2025)

MEVG: Multi-event Video Generation with Text-to-Video Models
di: Oh, Gyeongrok, et al.
Pubblicazione: (2023)

Performance Evaluation of a Triangular-Finned Absorber Plate Solar Air Heater: A Theoretical and Experimental Study
di: Singh, Pushkar, et al.
Pubblicazione: (2025)

The Zubarev Double Time Greens function-A Vintage Many Body Technique
di: Singh, Vijay, et al.
Pubblicazione: (2026)

TiDAR: Think in Diffusion, Talk in Autoregression
di: Liu, Jingyu, et al.
Pubblicazione: (2025)

M1: Towards Scalable Test-Time Compute with Mamba Reasoning Models
di: Wang, Junxiong, et al.
Pubblicazione: (2025)