Training LLMs with Fault Tolerant HSDP on 100,000 GPUs

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Salpekar, Omkar, Varma, Rohan, Yu, Kenny, Ivanov, Vladimir, Wang, Yang, Sharif, Ahmed, Si, Min, Xu, Shawn, Tian, Feng, Zheng, Shengbao, Rice, Tristan, Garg, Ankush, Peng, Shangfu, Siravara, Shreyas, Fu, Wenyin, de Castro, Rodrigo, Gangidi, Adithya, Obraztsov, Andrey, Narang, Sharan, Edunov, Sergey, Naumov, Maxim, Tang, Chunqiang, Oldham, Mathew
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Distributed, Parallel, and Cluster Computing Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Accesso online

https://arxiv.org/abs/2602.00277