Buchumschlag

An Adaptive Volatility-based Learning Rate Scheduler

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Ren, Kieran Chai Kai
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DeepSVM: Learning Stochastic Volatility Models with Physics-Informed Deep Operator Networks
von: Malandain, Kieran A., et al.
Veröffentlicht: (2025)

Deep Adaptive Rate Allocation in Volatile Heterogeneous Wireless Networks
von: Maglione, Gregorio, et al.
Veröffentlicht: (2026)

Decoupled Relative Learning Rate Schedules
von: Ludziejewski, Jan, et al.
Veröffentlicht: (2025)

Graph Neural Network-Based Collaborative Perception for Adaptive Scheduling in Distributed Systems
von: Zhu, Wenxuan, et al.
Veröffentlicht: (2025)

Learning Rate Scheduling with Matrix Factorization for Private Training
von: Kalinin, Nikita P., et al.
Veröffentlicht: (2025)

Learning Rate Schedules in the Presence of Distribution Shift
von: Fahrbach, Matthew, et al.
Veröffentlicht: (2023)

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models
von: Defazio, Aaron
Veröffentlicht: (2026)

Cyclical Log Annealing as a Learning Rate Scheduler
von: Naveen, Philip
Veröffentlicht: (2024)

AdaLomo: Low-memory Optimization with Adaptive Learning Rate
von: Lv, Kai, et al.
Veröffentlicht: (2023)

Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules
von: Li, Binghui, et al.
Veröffentlicht: (2025)

Cumulative Learning Rate Adaptation: Revisiting Path-Based Schedules for SGD and Adam
von: Atamna, Asma, et al.
Veröffentlicht: (2025)

Optimal Linear Decay Learning Rate Schedules and Further Refinements
von: Defazio, Aaron, et al.
Veröffentlicht: (2023)

Beyond Cosine Decay: On the effectiveness of Infinite Learning Rate Schedule for Continual Pre-training
von: Singh, Vaibhav, et al.
Veröffentlicht: (2025)

Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
von: Umeda, Hikaru, et al.
Veröffentlicht: (2025)

Power Scheduler: A Batch Size and Token Number Agnostic Learning Rate Scheduler
von: Shen, Yikang, et al.
Veröffentlicht: (2024)

Randomness Helps Rigor: A Probabilistic Learning Rate Scheduler Bridging Theory and Deep Learning Practice
von: Devapriya, Dahlia, et al.
Veröffentlicht: (2024)

Averaging Rate Scheduler for Decentralized Learning on Heterogeneous Data
von: Aketi, Sai Aparna, et al.
Veröffentlicht: (2024)

Accelerating SGDM via Learning Rate and Batch Size Schedules: A Lyapunov-Based Analysis
von: Kondo, Yuichi, et al.
Veröffentlicht: (2025)

MILES: Modality-Informed Learning Rate Scheduler for Balancing Multimodal Learning
von: Guerra-Manzanares, Alejandro, et al.
Veröffentlicht: (2025)

Optimal Learning Rate Schedule for Balancing Effort and Performance
von: Njaradi, Valentina, et al.
Veröffentlicht: (2026)

Training Dynamics of the Cooldown Stage in Warmup-Stable-Decay Learning Rate Scheduler
von: Dremov, Aleksandr, et al.
Veröffentlicht: (2025)

Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets
von: Tang, Chenxia
Veröffentlicht: (2024)

Optimal Learning-Rate Schedules under Functional Scaling Laws: Power Decay and Warmup-Stable-Decay
von: Li, Binghui, et al.
Veröffentlicht: (2026)

Understanding the Generalization Benefits of Late Learning Rate Decay
von: Ren, Yinuo, et al.
Veröffentlicht: (2024)

Adaptive Double-Booking Strategy for Outpatient Scheduling Using Multi-Objective Reinforcement Learning
von: Amalina, Ninda Nurseha, et al.
Veröffentlicht: (2026)

VISP: Volatility Informed Stochastic Projection for Adaptive Regularization
von: Islam, Tanvir
Veröffentlicht: (2025)

Optimal Growth Schedules for Batch Size and Learning Rate in SGD that Reduce SFO Complexity
von: Umeda, Hikaru, et al.
Veröffentlicht: (2025)

Taking the Road Less Scheduled with Adaptive Polyak Steps
von: Oikonomou, Dimitris, et al.
Veröffentlicht: (2025)

From independent patches to coordinated attention: Controlling information flow in vision transformers
von: Murphy, Kieran A.
Veröffentlicht: (2026)

Adaptive Gain Scheduling using Reinforcement Learning for Quadcopter Control
von: Timmerman, Mike, et al.
Veröffentlicht: (2024)

Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling
von: Meterez, Alexandru, et al.
Veröffentlicht: (2025)

Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging
von: Meterez, Alexandru, et al.
Veröffentlicht: (2026)

Fine-Tuning Without Forgetting via Loss-Adaptive Learning Rates
von: Prashant, Parjanya Prajakta, et al.
Veröffentlicht: (2026)

The Surprising Agreement Between Convex Optimization Theory and Learning-Rate Scheduling for Large Model Training
von: Schaipp, Fabian, et al.
Veröffentlicht: (2025)

Enforcing Constraints in Generative Sampling via Adaptive Correction Scheduling
von: Trupin, Noah, et al.
Veröffentlicht: (2026)

Reinforcement Learning for Adaptive Resource Scheduling in Complex System Environments
von: Li, Pochun, et al.
Veröffentlicht: (2024)

Multi-Objective Adaptive Rate Limiting in Microservices Using Deep Reinforcement Learning
von: Lyu, Ning, et al.
Veröffentlicht: (2025)

ASAP: Unsupervised Post-training with Label Distribution Shift Adaptive Learning Rate
von: Park, Heewon, et al.
Veröffentlicht: (2025)

Semantic Scheduling for LLM Inference
von: Hua, Wenyue, et al.
Veröffentlicht: (2025)

A Self-Attentive Meta-Optimizer with Group-Adaptive Learning Rates and Weight Decay
von: Zhao, JiangBo, et al.
Veröffentlicht: (2026)