Buchumschlag

Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Gavin, Fattahi, Salar, Zhang, Richard Y.
Format:	Preprint
Veröffentlicht:	2022
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Preconditioned Gradient Descent for Over-Parameterized Nonconvex Matrix Factorization
von: Zhang, Gavin, et al.
Veröffentlicht: (2025)

Improved Global Guarantees for the Nonconvex Burer--Monteiro Factorization via Rank Overparameterization
von: Zhang, Richard Y.
Veröffentlicht: (2022)

Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion
von: Ma, Jianhao, et al.
Veröffentlicht: (2024)

Sharp Global Guarantees for Nonconvex Low-rank Recovery in the Noisy Overparameterized Regime
von: Zhang, Richard Y.
Veröffentlicht: (2021)

Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
von: Ma, Jianhao, et al.
Veröffentlicht: (2025)

Fast and Accurate Estimation of Low-Rank Matrices from Noisy Measurements via Preconditioned Non-Convex Gradient Descent
von: Zhang, Gavin, et al.
Veröffentlicht: (2023)

Simple Alternating Minimization Provably Solves Complete Dictionary Learning
von: Liang, Geyu, et al.
Veröffentlicht: (2022)

Can Learning Be Explained By Local Optimality In Robust Low-rank Matrix Recovery?
von: Ma, Jianhao, et al.
Veröffentlicht: (2023)

Accelerating nuclear-norm regularized low-rank matrix optimization through Burer-Monteiro decomposition
von: Lee, Ching-pei, et al.
Veröffentlicht: (2022)

Benign landscape for Burer-Monteiro factorizations of MaxCut-type semidefinite programs
von: Endor, Faniriana Rakoto, et al.
Veröffentlicht: (2024)

Mirror and Preconditioned Gradient Descent in Wasserstein Space
von: Bonet, Clément, et al.
Veröffentlicht: (2024)

Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent
von: Köhne, Frederik, et al.
Veröffentlicht: (2023)

On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems
von: Lin, Tianyi, et al.
Veröffentlicht: (2019)

Wasserstein Distributionally Robust Online Learning
von: Chen, Guixian, et al.
Veröffentlicht: (2026)

Tightness of SDP and Burer-Monteiro Factorization for Phase Synchronization in High-Noise Regime
von: Zhang, Anderson Ye
Veröffentlicht: (2025)

Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization
von: Lin, Tianyi, et al.
Veröffentlicht: (2024)

The Power of Preconditioning in Overparameterized Low-Rank Matrix Sensing
von: Xu, Xingyu, et al.
Veröffentlicht: (2023)

A Single-Loop Smoothed Gradient Descent-Ascent Algorithm for Nonconvex-Concave Min-Max Problems
von: Zhang, Jiawei, et al.
Veröffentlicht: (2020)

Guarantees of a Preconditioned Subgradient Algorithm for Overparameterized Asymmetric Low-rank Matrix Recovery
von: Giampouras, Paris, et al.
Veröffentlicht: (2024)

Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives
von: Oikonomidis, Konstantinos, et al.
Veröffentlicht: (2026)

Efficient Low-Tubal-Rank Tensor Estimation via Alternating Preconditioned Gradient Descent
von: Liu, Zhiyu, et al.
Veröffentlicht: (2025)

Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
von: Sato, Naoki, et al.
Veröffentlicht: (2023)

Efficient Over-parameterized Matrix Sensing from Noisy Measurements via Alternating Preconditioned Gradient Descent
von: Liu, Zhiyu, et al.
Veröffentlicht: (2025)

Burer-Monteiro factorizability of nuclear norm regularized optimization
von: Ouyang, Wenqing, et al.
Veröffentlicht: (2025)

Convergence of Alternating Gradient Descent for Matrix Factorization
von: Ward, Rachel, et al.
Veröffentlicht: (2023)

Anytime Acceleration of Gradient Descent
von: Zhang, Zihan, et al.
Veröffentlicht: (2024)

Stochastic Gradient Methods with Preconditioned Updates
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2022)

Relationship between Batch Size and Number of Steps Needed for Nonconvex Optimization of Stochastic Gradient Descent using Armijo Line Search
von: Tsukada, Yuki, et al.
Veröffentlicht: (2023)

Super Gradient Descent: Global Optimization requires Global Gradient
von: Achour, Seifeddine
Veröffentlicht: (2024)

Unraveling the Gradient Descent Dynamics of Transformers
von: Song, Bingqing, et al.
Veröffentlicht: (2024)

Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping
von: Liu, Zijian, et al.
Veröffentlicht: (2024)

Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property
von: Yang, Yingzhen, et al.
Veröffentlicht: (2023)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

Corner Gradient Descent
von: Yarotsky, Dmitry
Veröffentlicht: (2025)

Low-Tubal-Rank Tensor Recovery via Factorized Gradient Descent
von: Liu, Zhiyu, et al.
Veröffentlicht: (2024)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
von: Kong, Boao, et al.
Veröffentlicht: (2026)

Adaptive Conditional Gradient Descent
von: Khademi, Abbas, et al.
Veröffentlicht: (2025)

$k$-SVD with Gradient Descent
von: Jedra, Yassir, et al.
Veröffentlicht: (2025)