Muon Outperforms Adam in Tail-End Associative Memory Learning

Documenti analoghi

• A Note on the Convergence of Muon
  di: Li, Jiaxiang, et al.
  Pubblicazione: (2025)
• Parameter-free Algorithms for the Stochastically Extended Adversarial Model
  di: Wang, Shuche, et al.
  Pubblicazione: (2025)
• Memory-Efficient LLM Pretraining via Minimalist Optimizer Design
  di: Glentis, Athanasios, et al.
  Pubblicazione: (2025)
• MuonBP: Faster Muon via Block-Periodic Orthogonalization
  di: Khaled, Ahmed, et al.
  Pubblicazione: (2025)
• Heavy-Tailed Class Imbalance and Why Adam Outperforms Gradient Descent on Language Models
  di: Kunstner, Frederik, et al.
  Pubblicazione: (2024)