Buchumschlag

MoxE: Mixture of xLSTM Experts with Entropy-Aware Routing for Efficient Language Modeling

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Thiombiano, Abdoul Majid O., Hnich, Brahim, Mrad, Ali Ben, Mkaouer, Mohamed Wiem
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Distil-xLSTM: Learning Attention Mechanisms through Recurrent Structures
von: Thiombiano, Abdoul Majid O., et al.
Veröffentlicht: (2025)

xLSTM-SENet: xLSTM for Single-Channel Speech Enhancement
von: Kühne, Nikolai Lund, et al.
Veröffentlicht: (2025)

When Mamba Meets xLSTM: An Efficient and Precise Method with the xLSTM-VMUNet Model for Skin lesion Segmentation
von: Fang, Zhuoyi, et al.
Veröffentlicht: (2024)

xLSTM-ECG: Multi-label ECG Classification via Feature Fusion with xLSTM
von: Kang, Lei, et al.
Veröffentlicht: (2025)

Vision-LSTM: xLSTM as Generic Vision Backbone
von: Alkin, Benedikt, et al.
Veröffentlicht: (2024)

Effective Distillation to Hybrid xLSTM Architectures
von: Hauzenberger, Lukas, et al.
Veröffentlicht: (2026)

Enhancing Spatiotemporal Networks with xLSTM: A Scalar LSTM Approach for Cellular Traffic Forecasting
von: Ali, Khalid, et al.
Veröffentlicht: (2025)

xLSTM: Extended Long Short-Term Memory
von: Beck, Maximilian, et al.
Veröffentlicht: (2024)

xLSTM 7B: A Recurrent LLM for Fast and Efficient Inference
von: Beck, Maximilian, et al.
Veröffentlicht: (2025)

xLSTMTime : Long-term Time Series Forecasting With xLSTM
von: Alharthi, Musleh, et al.
Veröffentlicht: (2024)

Seg-LSTM: Performance of xLSTM for Semantic Segmentation of Remotely Sensed Images
von: Zhu, Qinfeng, et al.
Veröffentlicht: (2024)

MolGraph-xLSTM: A graph-based dual-level xLSTM framework with multi-head mixture-of-experts for enhanced molecular representation and interpretability
von: Sun, Yan, et al.
Veröffentlicht: (2025)

Tiled Flash Linear Attention: More Efficient Linear RNN and xLSTM Kernels
von: Beck, Maximilian, et al.
Veröffentlicht: (2025)

xLSTMAD: A Powerful xLSTM-based Method for Anomaly Detection
von: Faber, Kamil, et al.
Veröffentlicht: (2025)

Benchmarking Transformer and xLSTM for Time-Series Forecasting of Heat Consumption
von: Wahl, Marja, et al.
Veröffentlicht: (2026)

xLSTM Scaling Laws: Competitive Performance with Linear Time-Complexity
von: Beck, Maximilian, et al.
Veröffentlicht: (2025)

xLSTM-PINN: Memory-Gated Spectral Remodeling for Physics-Informed Learning
von: Tao, Ze, et al.
Veröffentlicht: (2025)

Bio-xLSTM: Generative modeling, representation and in-context learning of biological and chemical sequences
von: Schmidinger, Niklas, et al.
Veröffentlicht: (2024)

xLSTM-Mixer: Multivariate Time Series Forecasting by Mixing via Scalar Memories
von: Kraus, Maurice, et al.
Veröffentlicht: (2024)

MAL: Cluster-Masked and Multi-Task Pretraining for Enhanced xLSTM Vision Performance
von: Huang, Wenjun, et al.
Veröffentlicht: (2024)

A Large Recurrent Action Model: xLSTM enables Fast Inference for Robotics Tasks
von: Schmied, Thomas, et al.
Veröffentlicht: (2024)

AF-MAT: Aspect-aware Flip-and-Fuse xLSTM for Aspect-based Sentiment Analysis
von: Lawan, Adamu, et al.
Veröffentlicht: (2025)

Are Vision xLSTM Embedded UNet More Reliable in Medical 3D Image Segmentation?
von: Dutta, Pallabi, et al.
Veröffentlicht: (2024)

A Deep Reinforcement Learning Approach to Automated Stock Trading, using xLSTM Networks
von: Sarlakifar, Faezeh, et al.
Veröffentlicht: (2025)

RouteHijack: Routing-Aware Attack on Mixture-of-Experts LLMs
von: Xu, Zhiyuan, et al.
Veröffentlicht: (2026)

How to Refactor this Code? An Exploratory Study on Developer-ChatGPT Refactoring Conversations
von: AlOmar, Eman Abdullah, et al.
Veröffentlicht: (2024)

Routing-Aware Explanations for Mixture of Experts Graph Models in Malware Detection
von: Shokouhinejad, Hossein, et al.
Veröffentlicht: (2026)

xLSTM-FER: Enhancing Student Expression Recognition with Extended Vision Long Short-Term Memory Network
von: Huang, Qionghao, et al.
Veröffentlicht: (2024)

CARL-MoE: Communication-Aware Adaptive Routing with Load-Balanced Expert Parallelism for Efficient Mixture-of-Experts Training
von: Jin, Haopeng
Veröffentlicht: (2026)

AntiCopyPaster 2.0: Whitebox just-in-time code duplicates extraction
von: AlOmar, Eman Abdullah, et al.
Veröffentlicht: (2024)

Mixture of Message Passing Experts with Routing Entropy Regularization for Node Classification
von: Chen, Xuanze, et al.
Veröffentlicht: (2025)

Adaptive Multi-Expert Reasoning via Difficulty-Aware Routing and Uncertainty-Guided Aggregation
von: Ehab, Mohamed, et al.
Veröffentlicht: (2026)

RASA: Routing-Aware Safety Alignment for Mixture-of-Experts Models
von: Liang, Jiacheng, et al.
Veröffentlicht: (2026)

Modality-Guided Mixture of Graph Experts with Entropy-Triggered Routing for Multimodal Recommendation
von: Dai, Ji, et al.
Veröffentlicht: (2026)

Insights from the Field: Exploring Students' Perspectives on Bad Unit Testing Practices
von: Peruma, Anthony, et al.
Veröffentlicht: (2024)

Routing-Free Mixture-of-Experts
von: Liu, Yilun, et al.
Veröffentlicht: (2026)

Multilingual Routing in Mixture-of-Experts
von: Bandarkar, Lucas, et al.
Veröffentlicht: (2025)

AdaMoE: Token-Adaptive Routing with Null Experts for Mixture-of-Experts Language Models
von: Zeng, Zihao, et al.
Veröffentlicht: (2024)

Expert Routing for Communication-Efficient MoE via Finite Expert Banks
von: Salehi, Mohammad Reza Deylam, et al.
Veröffentlicht: (2026)

AGA3DNet: Anatomy-Guided Gaussian Priors with Multi-view xLSTM for 3D Brain MRI Subtype Classification
von: Duan, Peiyu, et al.
Veröffentlicht: (2026)