Buchumschlag

GateTS: Versatile and Efficient Forecasting via Attention-Inspired routed Mixture-of-Experts

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yemets, Kyrylo, Lukashchuk, Mykola, Izonin, Ivan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Composing Non-Conjugate Factor Graphs with Closed-Form Variational Inference
von: Lukashchuk, Mykola, et al.
Veröffentlicht: (2026)

AME-TS: Anchored Mixture-of-Experts for Time Series Forecasting
von: Wang, Rui, et al.
Veröffentlicht: (2026)

Quadratic Gating Mixture of Experts: Statistical Insights into Self-Attention
von: Akbarian, Pedram, et al.
Veröffentlicht: (2024)

Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

A Statistical Theory of Gated Attention through the Lens of Hierarchical Mixture of Experts
von: Nguyen, Viet, et al.
Veröffentlicht: (2026)

DirMoE: Dirichlet-routed Mixture of Experts
von: Vahidi, Amirhossein, et al.
Veröffentlicht: (2026)

Continual Traffic Forecasting via Mixture of Experts
von: Lee, Sanghyun, et al.
Veröffentlicht: (2024)

Gaussian Variational Inference with Non-Gaussian Factors for State Estimation: A UWB Localization Case Study
von: Stirling, Andrew, et al.
Veröffentlicht: (2025)

Convergence Rates for Softmax Gating Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2025)

Gaussian Process-Gated Hierarchical Mixtures of Experts
von: Liu, Yuhao, et al.
Veröffentlicht: (2023)

On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

On Least Square Estimation in Softmax Gating Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

Fast Training of Mixture-of-Experts for Time Series Forecasting via Expert Loss Integration
von: Mahtout, Btissame El, et al.
Veröffentlicht: (2026)

Rethinking Multinomial Logistic Mixture of Experts with Sigmoid Gating Function
von: Pham, Tuan Minh, et al.
Veröffentlicht: (2026)

GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
von: Zheng, Chen, et al.
Veröffentlicht: (2025)

Mixture-of-Experts for Distributed Edge Computing with Channel-Aware Gating Function
von: Song, Qiuchen, et al.
Veröffentlicht: (2025)

Statistical Perspective of Top-K Sparse Softmax Gating Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2023)

A General Theory for Softmax Gating Multinomial Logistic Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2023)

Resolution of the Borel-Kolmogorov Paradox via the Maximum Entropy Principle
von: Trésor, Raphaël, et al.
Veröffentlicht: (2025)

Wavelet Mixture of Experts for Time Series Forecasting
von: Zhou, Zheng, et al.
Veröffentlicht: (2025)

Fate: Fast Edge Inference of Mixture-of-Experts Models via Cross-Layer Gate
von: Fang, Zhiyuan, et al.
Veröffentlicht: (2025)

Sub-MoE: Efficient Mixture-of-Expert LLMs Compression via Subspace Expert Merging
von: Li, Lujun, et al.
Veröffentlicht: (2025)

Bandwidth-Efficient Adaptive Mixture-of-Experts via Low-Rank Compensation
von: Liu, Zhenyu, et al.
Veröffentlicht: (2025)

Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing
von: Piękos, Piotr, et al.
Veröffentlicht: (2025)

A Gated Residual Kolmogorov-Arnold Networks for Mixtures of Experts
von: Inzirillo, Hugo, et al.
Veröffentlicht: (2024)

Fed-GAME: Personalized Federated Learning with Graph Attention Mixture-of-Experts For Time-Series Forecasting
von: Li, Yi, et al.
Veröffentlicht: (2026)

FaST: Efficient and Effective Long-Horizon Forecasting for Large-Scale Spatial-Temporal Graphs via Mixture-of-Experts
von: Zhao, Yiji, et al.
Veröffentlicht: (2026)

Efficiently Editing Mixture-of-Experts Models with Compressed Experts
von: He, Yifei, et al.
Veröffentlicht: (2025)

Klotski: Efficient Mixture-of-Expert Inference via Expert-Aware Multi-Batch Pipeline
von: Fang, Zhiyuan, et al.
Veröffentlicht: (2025)

On Bayesian Softmax-Gated Mixture-of-Experts Models
von: Bariletto, Nicola, et al.
Veröffentlicht: (2026)

Dynamic Adaptive Shared Experts with Grouped Multi-Head Attention Mixture of Experts
von: Li, Cheng, et al.
Veröffentlicht: (2025)

Mixture of Layers with Hybrid Attention
von: Ternovtsii, Ivan, et al.
Veröffentlicht: (2026)

Mixture-of-Linear-Experts for Long-term Time Series Forecasting
von: Ni, Ronghao, et al.
Veröffentlicht: (2023)

Adaptive Sparsity Level during Training for Efficient Time Series Forecasting with Transformers
von: Atashgahi, Zahra, et al.
Veröffentlicht: (2023)

Mixture-of-Experts under Finite-Rate Gating: Communication--Generalization Trade-offs
von: Khalesi, Ali, et al.
Veröffentlicht: (2026)

Gated Ensemble of Spatio-temporal Mixture of Experts for Multi-task Learning in Ride-hailing System
von: Rahman, M. H., et al.
Veröffentlicht: (2020)

Differentiable Sparsity via $D$-Gating: Simple and Versatile Structured Penalization
von: Kolb, Chris, et al.
Veröffentlicht: (2025)

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts
von: Dwivedi, Chaitanya, et al.
Veröffentlicht: (2026)

Is Temperature Sample Efficient for Softmax Gaussian Mixture of Experts?
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters
von: Chang, Ching, et al.
Veröffentlicht: (2023)