Buchumschlag

QLABGrad: a Hyperparameter-Free and Convergence-Guaranteed Scheme for Deep Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fu, Minghan, Wu, Fang-Xiang
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Memory-Reduced Meta-Learning with Guaranteed Convergence
von: Yang, Honglin, et al.
Veröffentlicht: (2024)

Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
von: Li, Xiang, et al.
Veröffentlicht: (2024)

Learning Over-Relaxation Policies for ADMM with Convergence Guarantees
von: Lin, Junan, et al.
Veröffentlicht: (2026)

Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees
von: Chen, Chuyan, et al.
Veröffentlicht: (2025)

A New First-Order Meta-Learning Algorithm with Convergence Guarantees
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2024)

MAP Estimation with Denoisers: Convergence Rates and Guarantees
von: Pesme, Scott, et al.
Veröffentlicht: (2025)

Convergence for Discrete Parameter Update Schemes
von: Wilson, Paul, et al.
Veröffentlicht: (2025)

Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees
von: Xiao, Nachuan, et al.
Veröffentlicht: (2023)

Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
von: Deng, Yuyang, et al.
Veröffentlicht: (2024)

Subspace Optimization for Large Language Models with Convergence Guarantees
von: He, Yutong, et al.
Veröffentlicht: (2024)

Solving Inverse Problems with Deep Linear Neural Networks: Global Convergence Guarantees for Gradient Descent with Weight Decay
von: Laus, Hannah, et al.
Veröffentlicht: (2025)

Shuffling Heuristic in Variational Inequalities: Establishing New Convergence Guarantees
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
von: Agafonov, Artem, et al.
Veröffentlicht: (2025)

Over-parameterised Shallow Neural Networks with Asymmetrical Node Scaling: Global Convergence Guarantees and Feature Learning
von: Caron, Francois, et al.
Veröffentlicht: (2023)

Convergence and Complexity Guarantee for Inexact First-order Riemannian Optimization Algorithms
von: Li, Yuchen, et al.
Veröffentlicht: (2024)

Stochastic Polyak Step-sizes and Momentum: Convergence Guarantees and Practical Performance
von: Oikonomou, Dimitris, et al.
Veröffentlicht: (2024)

Learning Algorithm Hyperparameters for Fast Parametric Convex Optimization
von: Sambharya, Rajiv, et al.
Veröffentlicht: (2024)

Convergence of Adam for Non-convex Objectives: Relaxed Hyperparameters and Non-ergodic Case
von: He, Meixuan, et al.
Veröffentlicht: (2023)

Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks
von: Qin, Zhen, et al.
Veröffentlicht: (2023)

High-Probability Convergence Guarantees of Decentralized SGD
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2025)

Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance
von: Zhang, Qi, et al.
Veröffentlicht: (2024)

From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
von: Xie, Shengping, et al.
Veröffentlicht: (2025)

Provably Convergent Federated Trilevel Learning
von: Jiao, Yang, et al.
Veröffentlicht: (2023)

Implicit Differentiation for Hyperparameter Tuning the Weighted Graphical Lasso
von: Pouliquen, Can, et al.
Veröffentlicht: (2023)

Towards Robust Learning to Optimize with Theoretical Guarantees
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

On Performance Guarantees for Federated Learning with Personalized Constraints
von: Ebrahimi, Mohammadjavad, et al.
Veröffentlicht: (2026)

Global Convergence Guarantees for Federated Policy Gradient Methods with Adversaries
von: Ganesh, Swetha, et al.
Veröffentlicht: (2024)

Conformal Mixed-Integer Constraint Learning with Feasibility Guarantees
von: Ovalle, Daniel, et al.
Veröffentlicht: (2025)

Data-Driven Performance Guarantees for Classical and Learned Optimizers
von: Sambharya, Rajiv, et al.
Veröffentlicht: (2024)

Unified Precision-Guaranteed Stopping Rules for Contextual Learning
von: Ding, Mingrui, et al.
Veröffentlicht: (2026)

Federated Dynamical Low-Rank Training with Global Loss Convergence Guarantees
von: Schotthöfer, Steffen, et al.
Veröffentlicht: (2024)

Hyperparameter Optimization for Driving Strategies Based on Reinforcement Learning
von: Adde, Nihal Acharya, et al.
Veröffentlicht: (2024)

Learning Neural Contracting Dynamics: Extended Linearization and Global Guarantees
von: Jaffe, Sean, et al.
Veröffentlicht: (2024)

Generalization Guarantees for Learning Branch-and-Cut Policies in Integer Programming
von: Cheng, Hongyu, et al.
Veröffentlicht: (2025)

Active Learning of Deep Neural Networks via Gradient-Free Cutting Planes
von: Zhang, Erica, et al.
Veröffentlicht: (2024)

Early Directional Convergence in Deep Homogeneous Neural Networks for Small Initializations
von: Kumar, Akshay, et al.
Veröffentlicht: (2024)

Learning to Optimize for Mixed-Integer Non-linear Programming with Feasibility Guarantees
von: Tang, Bo, et al.
Veröffentlicht: (2024)

Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation
von: Sucker, Michael, et al.
Veröffentlicht: (2024)

Finite-Time Decoupled Convergence in Nonlinear Two-Time-Scale Stochastic Approximation
von: Han, Yuze, et al.
Veröffentlicht: (2024)

Block Sparse Bayesian Learning: A Diversified Scheme
von: Zhang, Yanhao, et al.
Veröffentlicht: (2024)