Buchumschlag

FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Han, Xing, Nguyen, Huy, Harris, Carl, Ho, Nhat, Saria, Suchi
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

FLAME: Adaptive Mixture-of-Experts for Continual Multimodal Multi-Task Learning
von: Han, Xing, et al.
Veröffentlicht: (2026)

Quadratic Gating Mixture of Experts: Statistical Insights into Self-Attention
von: Akbarian, Pedram, et al.
Veröffentlicht: (2024)

On Parameter Estimation in Deviated Gaussian Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

Convergence Rates for Softmax Gating Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2025)

On Least Square Estimation in Softmax Gating Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

Is Temperature Sample Efficient for Softmax Gaussian Mixture of Experts?
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

Massively Multimodal Foundation Models: A Framework for Capturing Interactions with Specialized Mixture-of-Experts
von: Han, Xing, et al.
Veröffentlicht: (2025)

Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

Towards Convergence Rates for Parameter Estimation in Gaussian-gated Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2023)

A General Theory for Softmax Gating Multinomial Logistic Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2023)

Statistical Perspective of Top-K Sparse Softmax Gating Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2023)

Understanding Expert Structures on Minimax Parameter Estimation in Contaminated Mixture of Experts
von: Yan, Fanqi, et al.
Veröffentlicht: (2024)

Statistical Advantages of Perturbing Cosine Router in Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

Mixture of Experts Meets Prompt-Based Continual Learning
von: Le, Minh, et al.
Veröffentlicht: (2024)

On Bayesian Softmax-Gated Mixture-of-Experts Models
von: Bariletto, Nicola, et al.
Veröffentlicht: (2026)

WATCH: Adaptive Monitoring for AI Deployments via Weighted-Conformal Martingales
von: Prinster, Drew, et al.
Veröffentlicht: (2025)

Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity
von: Yan, Fanqi, et al.
Veröffentlicht: (2026)

Rethinking Multinomial Logistic Mixture of Experts with Sigmoid Gating Function
von: Pham, Tuan Minh, et al.
Veröffentlicht: (2026)

On Minimax Estimation of Parameters in Softmax-Contaminated Mixture of Experts
von: Yan, Fanqi, et al.
Veröffentlicht: (2025)

On the Invariance and Generality of Neural Scaling Laws
von: Han, Xing, et al.
Veröffentlicht: (2026)

RepLoRA: Reparameterizing Low-Rank Adaptation via the Perspective of Mixture of Experts
von: Truong, Tuan, et al.
Veröffentlicht: (2025)

One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning
von: Le, Minh, et al.
Veröffentlicht: (2025)

On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating
von: Nguyen, Huy, et al.
Veröffentlicht: (2025)

A Statistical Theory of Gated Attention through the Lens of Hierarchical Mixture of Experts
von: Nguyen, Viet, et al.
Veröffentlicht: (2026)

Sigmoid Self-Attention has Lower Sample Complexity than Softmax Self-Attention: A Mixture-of-Experts Perspective
von: Yan, Fanqi, et al.
Veröffentlicht: (2025)

CompeteSMoE -- Effective Training of Sparse Mixture of Experts via Competition
von: Pham, Quang, et al.
Veröffentlicht: (2024)

Open-Set Domain Adaptation Under Background Distribution Shift: Challenges and A Provably Efficient Solution
von: Chaudhari, Shravan, et al.
Veröffentlicht: (2025)

MILM: Large Language Models for Multimodal Irregular Time Series with Informative Sampling
von: Chung, Hsing-Huan, et al.
Veröffentlicht: (2026)

Conformal Validity Guarantees Exist for Any Data Distribution (and How to Find Them)
von: Prinster, Drew, et al.
Veröffentlicht: (2024)

Revisit Visual Prompt Tuning: The Expressiveness of Prompt Experts
von: Le, Minh, et al.
Veröffentlicht: (2025)

Between Linear and Sinusoidal: Rethinking the Time Encoder in Dynamic Graph Learning
von: Chung, Hsing-Huan, et al.
Veröffentlicht: (2025)

Improving Coverage in Combined Prediction Sets with Weighted p-values
von: Wong, Gina, et al.
Veröffentlicht: (2025)

Data Augmentations for Improved (Large) Language Model Generalization
von: Feder, Amir, et al.
Veröffentlicht: (2023)

Model Selection for Gaussian-gated Gaussian Mixture of Experts Using Dendrograms of Mixing Measures
von: Thai, Tuan, et al.
Veröffentlicht: (2025)

Horseshoe Mixtures-of-Experts (HS-MoE)
von: Polson, Nick, et al.
Veröffentlicht: (2026)

Dendrograms of Mixing Measures for Softmax-Gated Gaussian Mixture of Experts: Consistency without Model Sweeps
von: Hai, Do Tien, et al.
Veröffentlicht: (2025)

MP-MoE: Matrix Profile-Guided Mixture of Experts for Precipitation Forecasting
von: Tran, Huyen Ngoc, et al.
Veröffentlicht: (2026)

Modeling Expert Interactions in Sparse Mixture of Experts via Graph Structures
von: Nguyen-Nhat, Minh-Khoi, et al.
Veröffentlicht: (2025)

LightMoE: Reducing Mixture-of-Experts Redundancy through Expert Replacing
von: Hao, Jiawei, et al.
Veröffentlicht: (2026)