Buchumschlag

Can We Remove the Square-Root in Adaptive Gradient Methods? A Second-Order Perspective

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lin, Wu, Dangel, Felix, Eschenhagen, Runa, Bae, Juhan, Turner, Richard E., Makhzani, Alireza
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Structured Inverse-Free Natural Gradient: Memory-Efficient & Numerically-Stable KFAC
von: Lin, Wu, et al.
Veröffentlicht: (2023)

Spectral-factorized Positive-definite Curvature Learning for NN Training
von: Lin, Wu, et al.
Veröffentlicht: (2025)

Fully Adaptive Zeroth-Order Method for Minimizing Functions with Compressible Gradients
von: Grapiglia, Geovani Nunes, et al.
Veröffentlicht: (2025)

Square Root-Factorized Covariance Steering
von: Kumagai, Naoya, et al.
Veröffentlicht: (2026)

Convergence of First-Order Algorithms with Momentum from the Perspective of an Inexact Gradient Descent Method
von: Khanh, Pham Duy, et al.
Veröffentlicht: (2025)

First and Second Order Approximations to Stochastic Gradient Descent Methods with Momentum Terms
von: Lu, Eric
Veröffentlicht: (2025)

A Generalized Energy-Based Adaptive Gradient Method for Optimization
von: Feng, Lin, et al.
Veröffentlicht: (2025)

A Computational Framework for Solving Wasserstein Lagrangian Flows
von: Neklyudov, Kirill, et al.
Veröffentlicht: (2023)

Adaptive Control of Unknown Linear Switched Systems via Policy Gradient Methods
von: Laurent, Felix, et al.
Veröffentlicht: (2026)

Adaptive Power Flow Approximations with Second-Order Sensitivity Insights
von: Buason, Paprapee, et al.
Veröffentlicht: (2024)

Remove that Square Root: A New Efficient Scale-Invariant Version of AdaGrad
von: Choudhury, Sayantan, et al.
Veröffentlicht: (2024)

A Homogeneous Second-Order Descent Method for Nonconvex Optimization
von: Zhang, Chuwen, et al.
Veröffentlicht: (2022)

Policy Gradient with Second Order Momentum
von: Sun, Tianyu
Veröffentlicht: (2025)

INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
von: Kumar, Krishan, et al.
Veröffentlicht: (2025)

Universal Adaptive Proximal Gradient Methods via Gradient Mapping Accumulation
von: Wang, Zimeng, et al.
Veröffentlicht: (2026)

Robust Learning Meets Quasar-Convex Optimization: Inexact High-Order Proximal-Point Methods
von: Kabgani, Alireza, et al.
Veröffentlicht: (2026)

A Practical Adaptive Subgame Perfect Gradient Method
von: Luner, Alan, et al.
Veröffentlicht: (2025)

Adaptive Accelerated Gradient Method for Smooth Convex Optimization
von: Wang, Zepeng, et al.
Veröffentlicht: (2025)

Adaptive Accelerated Gradient Descent Methods for Convex Optimization
von: Xu, Zeyi, et al.
Veröffentlicht: (2026)

Vectorized Sparse Second-Order Forward Automatic Differentiation for Optimal Control Direct Methods
von: Zou, Yilin, et al.
Veröffentlicht: (2025)

Asymptotic Convergence Analysis of High-Order Proximal-Point Methods Beyond Sublinear Rates
von: Ahookhosh, Masoud, et al.
Veröffentlicht: (2025)

Local Second-Order Limit Dynamics of the Alternating Direction Method of Multipliers for Semidefinite Programming
von: Kang, Shucheng, et al.
Veröffentlicht: (2026)

Homogeneous Second-Order Descent Framework: A Fast Alternative to Newton-Type Methods
von: He, Chang, et al.
Veröffentlicht: (2023)

Second-Order Optimization via Quiescence
von: Agarwal, Aayushya, et al.
Veröffentlicht: (2024)

An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
von: Orvieto, Antonio, et al.
Veröffentlicht: (2024)

A Zeroth-Order Extra-Gradient Method for Black-Box Constrained Optimization
von: Zhou, Yuke, et al.
Veröffentlicht: (2025)

A Simple Adaptive Proximal Gradient Method for Nonconvex Optimization
von: Ye, Zilong, et al.
Veröffentlicht: (2025)

Global Convergence of High-Order Regularization Methods with Sums-of-Squares Taylor Models
von: Zhu, Wenqi, et al.
Veröffentlicht: (2024)

Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2020)

A Sequential Cubic Programming Method with Second-Order Complexity Guarantees for Equality Constrained Optimization
von: Dimou, Nikos, et al.
Veröffentlicht: (2026)

Existence of Quantum Splines via Fourth-Order Gradient Flows
von: Lin, Chun-Chi, et al.
Veröffentlicht: (2026)

Distributed Adaptive Gradient Algorithm with Gradient Tracking for Stochastic Non-Convex Optimization
von: Han, Dongyu, et al.
Veröffentlicht: (2024)

Better LMO-based Momentum Methods with Second-Order Information
von: Khirirat, Sarit, et al.
Veröffentlicht: (2025)

On Solving Minimization and Min-Max Problems by First-Order Methods with Relative Error in Gradients
von: Vasin, Artem, et al.
Veröffentlicht: (2025)

A Note on the Gradient-Evaluation Sequence in Accelerated Gradient Methods
von: Wu, Yan, et al.
Veröffentlicht: (2026)

An Adaptive and Parameter-Free Nesterov's Accelerated Gradient Method for Convex Optimization
von: Suh, Jaewook J., et al.
Veröffentlicht: (2025)

AdaFisher: Adaptive Second Order Optimization via Fisher Information
von: Gomes, Damien Martins, et al.
Veröffentlicht: (2024)

Optimization Methods Rooting in Optimal Control
von: Zhang, Huanshui, et al.
Veröffentlicht: (2023)

Optimal Shrinkage for Distributed Second-Order Optimization
von: Zhang, Fangzhao, et al.
Veröffentlicht: (2024)

Optimal Zeroth-Order Bilevel Optimization
von: Aghasi, Alireza, et al.
Veröffentlicht: (2025)