Buchumschlag

Benchmarking the Computational and Representational Efficiency of State Space Models against Transformers on Long-Context Dyadic Sessions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Koledoye, Abidemi, Unachukwu, Chinemerem, Nwobu, Gold, Rana, Hasin
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Long-Context Attention Benchmark: From Kernel Efficiency to Distributed Context Parallelism
von: Bu, Tao, et al.
Veröffentlicht: (2025)

Technical Debt in In-Context Learning: Diminishing Efficiency in Long Context
von: Joo, Taejong, et al.
Veröffentlicht: (2025)

CoMeT: Collaborative Memory Transformer for Efficient Long Context Modeling
von: Zhao, Runsong, et al.
Veröffentlicht: (2026)

Analysis of Long Range Dependency Understanding in State Space Models
von: Ravikumar, Srividya, et al.
Veröffentlicht: (2026)

Context-Selective State Space Models: Feedback is All You Need
von: Zattra, Riccardo, et al.
Veröffentlicht: (2025)

Characterizing State Space Model and Hybrid Language Model Performance with Long Context
von: Mitra, Saptarshi, et al.
Veröffentlicht: (2025)

Reconciling In-Context and In-Weight Learning via Dual Representation Space Encoding
von: Chen, Guanyu, et al.
Veröffentlicht: (2026)

Priming: Hybrid State Space Models From Pre-trained Transformers
von: Chattopadhyay, Aditya, et al.
Veröffentlicht: (2026)

LMAct: A Benchmark for In-Context Imitation Learning with Long Multimodal Demonstrations
von: Ruoss, Anian, et al.
Veröffentlicht: (2024)

CADENCE: Context-Adaptive Depth Estimation for Navigation and Computational Efficiency
von: Johnsen, Timothy K, et al.
Veröffentlicht: (2026)

100-LongBench: Are de facto Long-Context Benchmarks Literally Evaluating Long-Context Ability?
von: Yang, Wang, et al.
Veröffentlicht: (2025)

Paged Attention Meets FlexAttention: Unlocking Long-Context Efficiency in Deployed Inference
von: Joshi, Thomas, et al.
Veröffentlicht: (2025)

On the Robustness of Transformers against Context Hijacking for Linear Classification
von: Li, Tianle, et al.
Veröffentlicht: (2025)

Technologies on Effectiveness and Efficiency: A Survey of State Spaces Models
von: Lv, Xingtai, et al.
Veröffentlicht: (2025)

Graph-Mamba: Towards Long-Range Graph Sequence Modeling with Selective State Spaces
von: Wang, Chloe, et al.
Veröffentlicht: (2024)

PICASO: Permutation-Invariant Context Composition with State Space Models
von: Liu, Tian Yu, et al.
Veröffentlicht: (2025)

ELITR-Bench: A Meeting Assistant Benchmark for Long-Context Language Models
von: Thonet, Thibaut, et al.
Veröffentlicht: (2024)

OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents
von: Abhyankar, Reyna, et al.
Veröffentlicht: (2025)

MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting
von: Cai, Xiuding, et al.
Veröffentlicht: (2024)

AcademicEval: Live Long-Context LLM Benchmark
von: Zhang, Haozhen, et al.
Veröffentlicht: (2025)

Scaling Limits of Long-Context Transformers
von: Bruno, Giuseppe, et al.
Veröffentlicht: (2026)

Latent Behavior Diffusion for Sequential Reaction Generation in Dyadic Setting
von: Nguyen, Minh-Duc, et al.
Veröffentlicht: (2025)

Long Code Arena: a Set of Benchmarks for Long-Context Code Models
von: Bogomolov, Egor, et al.
Veröffentlicht: (2024)

DyGMamba: Efficiently Modeling Long-Term Temporal Dependency on Continuous-Time Dynamic Graphs with State Space Models
von: Ding, Zifeng, et al.
Veröffentlicht: (2024)

Unifying Model-Free Efficiency and Model-Based Representations via Latent Dynamics
von: Acharjee, Jashaswimalya, et al.
Veröffentlicht: (2026)

λ: A Benchmark for Data-Efficiency in Long-Horizon Indoor Mobile Manipulation Robotics
von: Jaafar, Ahmed, et al.
Veröffentlicht: (2024)

Towards Theoretical Understanding of Transformer Test-Time Computing: Investigation on In-Context Linear Regression
von: Chen, Xingwu, et al.
Veröffentlicht: (2025)

Scale-Consistent State-Space Dynamics via Fractal of Stationary Transformations
von: Yu, Geunhyeok, et al.
Veröffentlicht: (2026)

ProtAlign: Contrastive learning paradigm for Sequence and structure alignment
von: Ranganath, Aditya, et al.
Veröffentlicht: (2026)

ICL-Router: In-Context Learned Model Representations for LLM Routing
von: Wang, Chenxu, et al.
Veröffentlicht: (2025)

Contextures: Representations from Contexts
von: Zhai, Runtian, et al.
Veröffentlicht: (2025)

Long Context In-Context Compression by Getting to the Gist of Gisting
von: Petrov, Aleksandar, et al.
Veröffentlicht: (2025)

Benchmarking the State of Networks with a Low-Cost Method Based on Reservoir Computing
von: Reimers, Felix Simon, et al.
Veröffentlicht: (2025)

Uncertainty Representations in State-Space Layers for Deep Reinforcement Learning under Partial Observability
von: Luis, Carlos E., et al.
Veröffentlicht: (2024)

Compute-in-Memory Implementation of State Space Models for Event Sequence Processing
von: Zhang, Xiaoyu, et al.
Veröffentlicht: (2025)

Revisiting In-Context Learning with Long Context Language Models
von: Baek, Jinheon, et al.
Veröffentlicht: (2024)

Benchmarking Pretrained Molecular Embedding Models For Molecular Representation Learning
von: Praski, Mateusz, et al.
Veröffentlicht: (2025)

Reflective Context Learning: Studying the Optimization Primitives of Context Space
von: Vassilyev, Nikita, et al.
Veröffentlicht: (2026)

Efficiency for Free: Ideal Data Are Transportable Representations
von: Sun, Peng, et al.
Veröffentlicht: (2024)

Benchmarking General-Purpose In-Context Learning
von: Wang, Fan, et al.
Veröffentlicht: (2024)