Copertina

Streaming DiLoCo with overlapping communication: Towards a Distributed Free Lunch

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Douillard, Arthur, Donchev, Yanislav, Rush, Keith, Kale, Satyen, Charles, Zachary, Garrett, Zachary, Teston, Gabriel, Lacey, Dave, McIlroy, Ross, Shen, Jiajun, Ramé, Alexandre, Szlam, Arthur, Ranzato, Marc'Aurelio, Barham, Paul
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Eager Updates For Overlapped Communication and Computation in DiLoCo
di: Kale, Satyen, et al.
Pubblicazione: (2025)

DiLoCo: Distributed Low-Communication Training of Language Models
di: Douillard, Arthur, et al.
Pubblicazione: (2023)

Communication-Efficient Language Model Training Scales Reliably and Robustly: Scaling Laws for DiLoCo
di: Charles, Zachary, et al.
Pubblicazione: (2025)

Decoupled DiLoCo for Resilient Distributed Pre-training
di: Douillard, Arthur, et al.
Pubblicazione: (2026)

Asynchronous Local-SGD Training for Language Modeling
di: Liu, Bo, et al.
Pubblicazione: (2024)

DiPaCo: Distributed Path Composition
di: Douillard, Arthur, et al.
Pubblicazione: (2024)

Context Training with Active Information Seeking
di: Huang, Zeyu, et al.
Pubblicazione: (2026)

Understanding Outer Optimizers in Local SGD: Learning Rates, Momentum, and Acceleration
di: Khaled, Ahmed, et al.
Pubblicazione: (2025)

Federated Automatic Differentiation
di: Rush, Keith, et al.
Pubblicazione: (2023)

The Folly of AI for Age Verification
di: McIlroy-Young, Reid
Pubblicazione: (2025)

L'éducation syndicale au Royaume-Uni: perspectives pour les années quatre-vingt
di: John McIlroy (Author)
Pubblicazione: (1981)

Into the eighties: trade union education in the United Kingdom
di: John McIlroy (Author)
Pubblicazione: (1981)

La educación sindical en el Reino Unido en el decenio de 1980
di: John McIlroy (Author)
Pubblicazione: (1981)

Ultrastructural overlap between immunotactoid and cryoglobulin glomerulopathy: A case report
di: Daniel Hirsch, et al.
Pubblicazione: (2024)

Order Independence With Finetuning
di: Brown, Katrina, et al.
Pubblicazione: (2025)

Faster Rates For Federated Variational Inequalities
di: Wang, Guanghui, et al.
Pubblicazione: (2026)

DrJAX: Scalable and Differentiable MapReduce Primitives in JAX
di: Rush, Keith, et al.
Pubblicazione: (2024)

From sensors to solutions: Integrating wearable sensor data into health research
di: Kit B. Beyer, et al.
Pubblicazione: (2025)

What happens when nanochat meets DiLoCo?
di: Acker, Alexander, et al.
Pubblicazione: (2025)

Smoothing DiLoCo with Primal Averaging for Faster Training of LLMs
di: Defazio, Aaron, et al.
Pubblicazione: (2025)

AdaBoN: Adaptive Best-of-N Alignment
di: Raman, Vinod, et al.
Pubblicazione: (2025)

Latent Space Communication via K-V Cache Alignment
di: Dery, Lucio M., et al.
Pubblicazione: (2026)

MuLoCo: Muon is a practical inner optimizer for DiLoCo
di: Thérien, Benjamin, et al.
Pubblicazione: (2025)

Stacking as Accelerated Gradient Descent
di: Agarwal, Naman, et al.
Pubblicazione: (2024)

Almost Tight Bounds for Differentially Private Densest Subgraph
di: Dinitz, Michael, et al.
Pubblicazione: (2023)

No Free Lunch: Non-Asymptotic Analysis of Prediction-Powered Inference
di: Mani, Pranav, et al.
Pubblicazione: (2025)

Deliberation in Latent Space via Differentiable Cache Augmentation
di: Liu, Luyang, et al.
Pubblicazione: (2024)

Cosine-Gated Adam-Decay: Drop-In Staleness-Aware Outer Optimization for Decoupled DiLoCo
di: Shah, Vatsal, et al.
Pubblicazione: (2026)

Il quinto secolo. Studi di filosofia antica in onore di livio rossetti. A cura di S. Giombini e F. Marcacci, Perugia, 2010
di: Sofia Ranzato
Pubblicazione: (2011)

Order-Independence Without Fine Tuning
di: McIlroy-Young, Reid, et al.
Pubblicazione: (2024)

Designing Skill-Compatible AI: Methodologies and Frameworks in Chess
di: Hamade, Karim, et al.
Pubblicazione: (2024)

WARP: On the Benefits of Weight Averaged Rewarded Policies
di: Ramé, Alexandre, et al.
Pubblicazione: (2024)

Insights Into Phylogeny, Diversity and Functional Potential of Poseidoniales Viruses
di: Apoorva Prabhu, et al.
Pubblicazione: (2025)

CLIP-Fields: Weakly Supervised Semantic Fields for Robotic Memory
di: Shafiullah, Nur Muhammad Mahi, et al.
Pubblicazione: (2022)

The Public Library and Adult Education in India
di: Maitra, Satyen
Pubblicazione: (1974)

INTAMEL Meeting 1973, India. The Public Library and Adult Education in India
di: Maitra, Satyen
Pubblicazione: (1974)

Equitable Evaluation via Elicitation
di: Du, Elbert, et al.
Pubblicazione: (2026)

Maia-2: A Unified Model for Human-AI Alignment in Chess
di: Tang, Zhenwei, et al.
Pubblicazione: (2024)

Psychological risk factors predictive of suicidal distress in men receiving a community‐based brief psychological intervention
di: Claire Anne Hanlon, et al.
Pubblicazione: (2024)

Automating the Attendance Tracking Process in Educational Institutions - Figure 3
di: Daniel Damyanov, et al.
Pubblicazione: (2025)