Buchumschlag

Towards Foundational Models for Dynamical System Reconstruction: Hierarchical Meta-Learning via Mixture of Experts

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Nzoyem, Roussel Desmond, Stevens, Grant, Sahota, Amarpal, Barton, David A. W., Deakin, Tom
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Neural Context Flows for Meta-Learning of Dynamical Systems
von: Nzoyem, Roussel Desmond, et al.
Veröffentlicht: (2024)

Reevaluating Meta-Learning Optimization Algorithms Through Contextual Self-Modulation
von: Nzoyem, Roussel Desmond, et al.
Veröffentlicht: (2024)

Out-of-Support Generalisation via Weight-Space Sequence Modelling
von: Nzoyem, Roussel Desmond
Veröffentlicht: (2026)

Weight-Space Linear Recurrent Neural Networks
von: Nzoyem, Roussel Desmond, et al.
Veröffentlicht: (2025)

Render, Don't Decode: Weight-Space World Models with Latent Structural Disentanglement
von: Nzoyem, Roussel Desmond, et al.
Veröffentlicht: (2026)

FLEX: Feature Importance from Layered Counterfactual Explanations
von: Keshtmand, Nawid, et al.
Veröffentlicht: (2025)

KnowEEG: Explainable Knowledge Driven EEG Classification
von: Sahota, Amarpal, et al.
Veröffentlicht: (2025)

Language Models Do Not Embed Numbers Continuously
von: Davies, Alex O., et al.
Veröffentlicht: (2025)

DA-MoE: Towards Dynamic Expert Allocation for Mixture-of-Experts Models
von: Aghdam, Maryam Akhavan, et al.
Veröffentlicht: (2024)

Application of a Mixture of Experts-based Foundation Model to the GlueX DIRC Detector
von: Fanelli, Cristiano, et al.
Veröffentlicht: (2026)

Gaussian Process-Gated Hierarchical Mixtures of Experts
von: Liu, Yuhao, et al.
Veröffentlicht: (2023)

Dynamic Mixture-of-Experts for Incremental Graph Learning
von: Kong, Lecheng, et al.
Veröffentlicht: (2025)

On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

Speculating Experts Accelerates Inference for Mixture-of-Experts
von: Madan, Vivan, et al.
Veröffentlicht: (2026)

Hierarchical Mixture of Experts: Generalizable Learning for High-Level Synthesis
von: Li, Weikai, et al.
Veröffentlicht: (2024)

Towards Stable and Effective Reinforcement Learning for Mixture-of-Experts
von: Zhang, Di, et al.
Veröffentlicht: (2025)

MoEMeta: Mixture-of-Experts Meta Learning for Few-Shot Relational Learning
von: Wu, Han, et al.
Veröffentlicht: (2025)

Reconstructing Heterogeneous Biomolecules via Hierarchical Gaussian Mixtures and Part Discovery
von: Shekarforoush, Shayan, et al.
Veröffentlicht: (2025)

Hierarchical Mixture-of-Experts with Two-Stage Optimization
von: Molodtsov, Gleb, et al.
Veröffentlicht: (2026)

Investigating Brain Connectivity and Regional Statistics from EEG for early stage Parkinson's Classification
von: Sahota, Amarpal, et al.
Veröffentlicht: (2024)

A Mixture of Experts Foundation Model for Scanning Electron Microscopy Image Analysis
von: Ahmed, Sk Miraj, et al.
Veröffentlicht: (2026)

Toward Inference-optimal Mixture-of-Expert Large Language Models
von: Yun, Longfei, et al.
Veröffentlicht: (2024)

HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
von: Zhao, Hao, et al.
Veröffentlicht: (2024)

Guided by the Experts: Provable Feature Learning Dynamic of Soft-Routed Mixture-of-Experts
von: Liao, Fangshuo, et al.
Veröffentlicht: (2025)

Eradicating Negative Transfer in Multi-Physics Foundation Models via Sparse Mixture-of-Experts Routing
von: Sharma, Ellwil, et al.
Veröffentlicht: (2026)

OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
von: Gao, Yuting, et al.
Veröffentlicht: (2025)

Mosaic Pruning: A Hierarchical Framework for Generalizable Pruning of Mixture-of-Experts Models
von: Hu, Wentao, et al.
Veröffentlicht: (2025)

Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion
von: Tang, Anke, et al.
Veröffentlicht: (2024)

Learning More Generalized Experts by Merging Experts in Mixture-of-Experts
von: Park, Sejik
Veröffentlicht: (2024)

Generalizable Foundation Models for Calorimetry via Mixtures-of-Experts and Parameter Efficient Fine Tuning
von: Cardona-Giraldo, Carlos, et al.
Veröffentlicht: (2026)

A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models
von: Sun, Mengyang, et al.
Veröffentlicht: (2025)

Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts
von: Liu, Xu, et al.
Veröffentlicht: (2024)

Massively Multimodal Foundation Models: A Framework for Capturing Interactions with Specialized Mixture-of-Experts
von: Han, Xing, et al.
Veröffentlicht: (2025)

Modeling Expert Interactions in Sparse Mixture of Experts via Graph Structures
von: Nguyen-Nhat, Minh-Khoi, et al.
Veröffentlicht: (2025)

DeRS: Towards Extremely Efficient Upcycled Mixture-of-Experts Models
von: Huang, Yongqi, et al.
Veröffentlicht: (2025)

Dynamic Expert Quantization for Scalable Mixture-of-Experts Inference
von: Chu, Kexin, et al.
Veröffentlicht: (2025)

Every Expert Matters: Towards Effective Knowledge Distillation for Mixture-of-Experts Language Models
von: Kim, Gyeongman, et al.
Veröffentlicht: (2025)

Co-Supervised Learning: Improving Weak-to-Strong Generalization with Hierarchical Mixture of Experts
von: Liu, Yuejiang, et al.
Veröffentlicht: (2024)

Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts
von: Shi, Xiaoming, et al.
Veröffentlicht: (2024)

Towards Generalization-Oriented Models for Vehicle Routing Problems with Mixture-of-Experts
von: Miao, Changhao, et al.
Veröffentlicht: (2026)