SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Tang, Shengkun, Wang, Zekun, Zheng, Bo, Wang, Liangyu, Men, Rui, Zhang, Siqi, Yuan, Xiulong, Qiu, Zihan, Shen, Zhiqiang, Liu, Dayiheng
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Artificial Intelligence Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Accesso online

https://arxiv.org/abs/2605.08738