Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective

Fuente: arXiv
Enregistré dans:
Détails bibliographiques
Auteurs principaux: Wen, Kaiyue, Li, Zhiyuan, Wang, Jason, Hall, David, Liang, Percy, Ma, Tengyu
Format: Preprint
Publié: 2024
Sujets:
Accès en ligne:
Tags: Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!