SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training

Fuente: arXiv

Guardado en:

Detalles Bibliográficos
Autores principales:	Tang, Shengkun, Wang, Zekun, Zheng, Bo, Wang, Liangyu, Men, Rui, Zhang, Siqi, Yuan, Xiulong, Qiu, Zihan, Shen, Zhiqiang, Liu, Dayiheng
Formato:	Preprint
Publicado:	2026
Materias:	Machine Learning Artificial Intelligence Computation and Language
Acceso en línea:	Acceder al recurso
Etiquetas:	Agregar Etiqueta Sin Etiquetas, Sea el primero en etiquetar este registro!

Internet

https://arxiv.org/abs/2605.08738