Buchumschlag

Gradient-Normalized Smoothness for Optimization with Approximate Hessians

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Semenov, Andrei, Jaggi, Martin, Doikov, Nikita
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On Convergence of Incremental Gradient for Non-Convex Smooth Functions
von: Koloskova, Anastasia, et al.
Veröffentlicht: (2023)

Improving Stochastic Cubic Newton with Momentum
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2024)

Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2023)

Spectral Preconditioning for Gradient Methods on Graded Non-convex Functions
von: Doikov, Nikita, et al.
Veröffentlicht: (2024)

Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness
von: Kornilov, Nikita, et al.
Veröffentlicht: (2025)

Cubic regularized subspace Newton for non-convex optimization
von: Zhao, Jim, et al.
Veröffentlicht: (2024)

Adaptive Gradient Normalization and Independent Sampling for (Stochastic) Generalized-Smooth Optimization
von: Yang, Yufeng, et al.
Veröffentlicht: (2024)

Stochastic Difference-of-Convex Optimization with Momentum
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2025)

A Split-Client Approach to Second-Order Optimization
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2025)

A Retrospective Approximation Approach for Smooth Stochastic Optimization
von: Newton, David, et al.
Veröffentlicht: (2021)

Stochastic Non-Smooth Convex Optimization with Unbounded Gradients
von: Kovalev, Dmitry
Veröffentlicht: (2026)

Faster Gradient Methods for Highly-Smooth Stochastic Bilevel Optimization
von: Chen, Lesi, et al.
Veröffentlicht: (2025)

Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
von: Zhao, Yuheng, et al.
Veröffentlicht: (2025)

An Accelerated Gradient Method for Convex Smooth Simple Bilevel Optimization
von: Cao, Jincheng, et al.
Veröffentlicht: (2024)

Adaptive Optimization via Momentum on Variance-Normalized Gradients
von: Patitucci, Francisco, et al.
Veröffentlicht: (2026)

A New First-Order Meta-Learning Algorithm with Convergence Guarantees
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2024)

Quadratic Gradient: A Unified Framework Bridging Gradient Descent and Newton-Type Methods by Synthesizing Hessians and Gradients
von: Chiang, John
Veröffentlicht: (2022)

NeST-BO: Fast Local Bayesian Optimization via Newton-Step Targeting of Gradient and Hessian Information
von: Tang, Wei-Ting, et al.
Veröffentlicht: (2025)

Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points
von: Yamamoto, Naoya, et al.
Veröffentlicht: (2025)

Stochastic Optimization with Random Search
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2025)

Smooth Approximations of the Rounding Function
von: Semenov, Stanislav
Veröffentlicht: (2025)

Universal Reduced-Operator Method and High-Order Global Curvature Bounds
von: Doikov, Nikita, et al.
Veröffentlicht: (2025)

Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

Black-Box Approximation and Optimization with Hierarchical Tucker Decomposition
von: Ryzhakov, Gleb, et al.
Veröffentlicht: (2024)

Global Convergence of Natural Policy Gradient with Hessian-aided Momentum Variance Reduction
von: Feng, Jie, et al.
Veröffentlicht: (2024)

Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods
von: O'Leary-Roseberry, Thomas, et al.
Veröffentlicht: (2024)

Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
von: Sato, Naoki, et al.
Veröffentlicht: (2023)

SGD with Partial Hessian for Deep Neural Networks Optimization
von: Sun, Ying, et al.
Veröffentlicht: (2024)

Directional Smoothness and Gradient Methods: Convergence and Adaptivity
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Optimal Hessian/Jacobian-Free Nonconvex-PL Bilevel Optimization
von: Huang, Feihu
Veröffentlicht: (2024)

First-ish Order Methods: Hessian-aware Scalings of Gradient Descent
von: Smee, Oscar, et al.
Veröffentlicht: (2025)

Complexity Lower Bounds of Adaptive Gradient Algorithms for Non-convex Stochastic Optimization under Relaxed Smoothness
von: Crawshaw, Michael, et al.
Veröffentlicht: (2025)

A Stochastic-Gradient-based Interior-Point Algorithm for Solving Smooth Bound-Constrained Optimization Problems
von: Curtis, Frank E., et al.
Veröffentlicht: (2023)

Double Variance Reduction: A Smoothing Trick for Composite Optimization Problems without First-Order Gradient
von: Di, Hao, et al.
Veröffentlicht: (2024)

Gradient-Variation Online Learning under Generalized Smoothness
von: Xie, Yan-Feng, et al.
Veröffentlicht: (2024)

On the Complexity of Lower-Order Implementations of Higher-Order Methods
von: Doikov, Nikita, et al.
Veröffentlicht: (2025)

Complexity of Minimizing Regularized Convex Quadratic Functions
von: Thomsen, Daniel Berg, et al.
Veröffentlicht: (2024)

Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization
von: Shen, Wei, et al.
Veröffentlicht: (2023)

Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization
von: Kolb, Chris, et al.
Veröffentlicht: (2023)

From Gradient Clipping to Normalization for Heavy Tailed SGD
von: Hübler, Florian, et al.
Veröffentlicht: (2024)