Buchumschlag

Scalable Training of Mixture-of-Experts Models with Megatron Core

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yan, Zijie, Bai, Hongxiao, Yao, Xin, Liu, Dennis, Liu, Tong, Liu, Hongbin, Li, Pingtian, Wu, Evan, Fan, Shiqing, Tao, Li, Zhang, Robin, Wang, Yuzhong, Xu, Shifang, Chang, Jack, Chen, Xuwen, Li, Kunlun, Bai, Yan, Deng, Gao, Zheng, Nan, Korthikanti, Vijay Anand, Khattar, Abhinav, He, Ethan, Govande, Soham, Lym, Sangkug, Zhu, Zhongbo, Zhang, Qi, Yuan, Haochen, Ren, Xiaowei, Fu, Deyu, Ma, Tailai, Zhang, Shunkang, Shao, Jiang, Wang, Ray, Rengasamy, Vasudevan, Garg, Rachit, Bhavani, Santosh, Li, Xipeng, Zhou, Chandler, Wu, David, Wei, Yingcan, Aithal, Ashwath, Andersch, Michael, Shoeybi, Mohammad, Yao, Jiajie, Yang, June
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Distributed, Parallel, and Cluster Computing Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Schreiben Sie den ersten Kommentar!