Buchumschlag

Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Park, Jongseok, Kim, Sunga, Gu, Zhenyu, Stoica, Ion, Cheung, Alvin
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Qrita: High-performance Top-k and Top-p using Pivot-based Truncation and Selection
von: Park, Jongseok, et al.
Veröffentlicht: (2026)

Speculative Decoding: Performance or Illusion?
von: Liu, Xiaoxuan, et al.
Veröffentlicht: (2025)

Sparsity and Superposition in Mixture of Experts
von: Chaudhari, Marmik, et al.
Veröffentlicht: (2025)

HashAttention: Semantic Sparsity for Faster Inference
von: Desai, Aditya, et al.
Veröffentlicht: (2024)

Post-Training Sparse Attention with Double Sparsity
von: Yang, Shuo, et al.
Veröffentlicht: (2024)

Online Speculative Decoding
von: Liu, Xiaoxuan, et al.
Veröffentlicht: (2023)

Geometric Regularization in Mixture-of-Experts: The Disconnect Between Weights and Activations
von: Kim, Hyunjun
Veröffentlicht: (2026)

Uncovering Layer-Dependent Activation Sparsity Patterns in ReLU Transformers
von: Wild, Cody, et al.
Veröffentlicht: (2024)

Inference Time Context Sparsity: Illusion or Opportunity?
von: Joshi, Sahil, et al.
Veröffentlicht: (2026)

The power of fine-grained experts: Granularity boosts expressivity in Mixture of Experts
von: Boix-Adsera, Enric, et al.
Veröffentlicht: (2025)

Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks
von: Nakamura, Taishi, et al.
Veröffentlicht: (2025)

Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models
von: Abnar, Samira, et al.
Veröffentlicht: (2025)

Efficiently Editing Mixture-of-Experts Models with Compressed Experts
von: He, Yifei, et al.
Veröffentlicht: (2025)

Scaling Multi-Node Mixture-of-Experts Inference Using Expert Activation Patterns
von: Bambhaniya, Abhimanyu, et al.
Veröffentlicht: (2026)

MoE-I$^2$: Compressing Mixture of Experts Models through Inter-Expert Pruning and Intra-Expert Low-Rank Decomposition
von: Yang, Cheng, et al.
Veröffentlicht: (2024)

EXION: Exploiting Inter- and Intra-Iteration Output Sparsity for Diffusion Models
von: Heo, Jaehoon, et al.
Veröffentlicht: (2025)

How Many Experts Are Enough? Towards Optimal Semantic Specialization for Mixture-of-Experts
von: Park, Sumin, et al.
Veröffentlicht: (2025)

BigMac: A Communication-Efficient Mixture-of-Experts Model Structure for Fast Training and Inference
von: Jin, Zewen, et al.
Veröffentlicht: (2025)

Accelerating Large-Scale Reasoning Model Inference with Sparse Self-Speculative Decoding
von: Zhao, Yilong, et al.
Veröffentlicht: (2025)

MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
von: Xie, Zhitian, et al.
Veröffentlicht: (2024)

Alloc-MoE: Budget-Aware Expert Activation Allocation for Efficient Mixture-of-Experts Inference
von: Liu, Baihui, et al.
Veröffentlicht: (2026)

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts
von: Dwivedi, Chaitanya, et al.
Veröffentlicht: (2026)

M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
von: Mishra, Mayank, et al.
Veröffentlicht: (2026)

Dynamic Mixture of Experts: An Auto-Tuning Approach for Efficient Transformer Models
von: Guo, Yongxin, et al.
Veröffentlicht: (2024)

PERFT: Parameter-Efficient Routed Fine-Tuning for Mixture-of-Expert Model
von: Liu, Yilun, et al.
Veröffentlicht: (2024)

MC#: Mixture Compressor for Mixture-of-Experts Large Models
von: Huang, Wei, et al.
Veröffentlicht: (2025)

Amber Pruner: Leveraging N:M Activation Sparsity for Efficient Prefill in Large Language Models
von: An, Tai, et al.
Veröffentlicht: (2025)

Dynamic Mixture of Experts Against Severe Distribution Shifts
von: Kim, Donghu
Veröffentlicht: (2025)

A Statistical Framework for Ranking LLM-Based Chatbots
von: Ameli, Siavash, et al.
Veröffentlicht: (2024)

Efficient Quantization of Mixture-of-Experts with Theoretical Generalization Guarantees
von: Chowdhury, Mohammed Nowaz Rabbani, et al.
Veröffentlicht: (2026)

Pruning and Distilling Mixture-of-Experts into Dense Language Models
von: Kim, Junhyuck, et al.
Veröffentlicht: (2026)

MELINOE: Fine-Tuning Enables Memory-Efficient Inference for Mixture-of-Experts Models
von: Raje, Arian, et al.
Veröffentlicht: (2026)

Activation Sparsity Opportunities for Compressing General Large Language Models
von: Dhar, Nobel, et al.
Veröffentlicht: (2024)

Mixture of Experts in Large Language Models
von: Zhang, Danyang, et al.
Veröffentlicht: (2025)

Reinforcement Learning With Sparse-Executing Actions via Sparsity Regularization
von: Pang, Jing-Cheng, et al.
Veröffentlicht: (2021)

AnyExperts: On-Demand Expert Allocation for Multimodal Language Models with Mixture of Expert
von: Gao, Yuting, et al.
Veröffentlicht: (2025)

Klotski: Efficient Mixture-of-Expert Inference via Expert-Aware Multi-Batch Pipeline
von: Fang, Zhiyuan, et al.
Veröffentlicht: (2025)

Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
von: Lu, Xudong, et al.
Veröffentlicht: (2024)

ELAS: Efficient Pre-Training of Low-Rank Large Language Models via 2:4 Activation Sparsity
von: Li, Jiaxi, et al.
Veröffentlicht: (2026)

Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion
von: Tang, Anke, et al.
Veröffentlicht: (2024)