Imagen de Portada

Training LLMs with Fault Tolerant HSDP on 100,000 GPUs

Fuente: arXiv

Guardado en:

Detalles Bibliográficos
Autores principales:	Salpekar, Omkar, Varma, Rohan, Yu, Kenny, Ivanov, Vladimir, Wang, Yang, Sharif, Ahmed, Si, Min, Xu, Shawn, Tian, Feng, Zheng, Shengbao, Rice, Tristan, Garg, Ankush, Peng, Shangfu, Siravara, Shreyas, Fu, Wenyin, de Castro, Rodrigo, Gangidi, Adithya, Obraztsov, Andrey, Narang, Sharan, Edunov, Sergey, Naumov, Maxim, Tang, Chunqiang, Oldham, Mathew
Formato:	Preprint
Publicado:	2026
Materias:	Distributed, Parallel, and Cluster Computing Artificial Intelligence
Acceso en línea:	Acceder al recurso
Etiquetas:	Agregar Etiqueta Sin Etiquetas, Sea el primero en etiquetar este registro!

Descripción
Descripción no disponible.