ACCO: Accumulate While You Communicate for Communication-Overlapped Sharded LLM Training

Fuente: arXiv
Salvato in:
Dettagli Bibliografici
Autori principali: Nabli, Adel, Fournier, Louis, Erbacher, Pierre, Serrano, Louis, Belilovsky, Eugene, Oyallon, Edouard
Natura: Preprint
Pubblicazione: 2024
Soggetti:
Accesso online:
Tags: Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!