DiEP: Adaptive Mixture-of-Experts Compression through Differentiable Expert Pruning

Ähnliche Einträge

• Cluster-Driven Expert Pruning for Mixture-of-Experts Large Language Models
  von: Guo, Hongcheng, et al.
  Veröffentlicht: (2025)
• Dropping Experts, Recombining Neurons: Retraining-Free Pruning for Sparse Mixture-of-Experts LLMs
  von: Zhou, Yixiao, et al.
  Veröffentlicht: (2025)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts
  von: Zhang, Zeliang, et al.
  Veröffentlicht: (2024)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
  von: Lu, Xudong, et al.
  Veröffentlicht: (2024)
• Mixture of Lookup Experts
  von: Jie, Shibo, et al.
  Veröffentlicht: (2025)