Buchumschlag

Gradient descent in matrix factorization: Understanding large initialization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Hengchao, Chen, Xin, Elmasri, Mohamad, Sun, Qiang
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Riemannian coordinate descent algorithms on matrix manifolds
von: Han, Andi, et al.
Veröffentlicht: (2024)

A block-coordinate descent framework for non-convex composite optimization. Application to sparse precision matrix estimation
von: Lauga, Guillaume
Veröffentlicht: (2026)

Decentralized Online Riemannian Optimization with Dynamic Environments
von: Chen, Hengchao, et al.
Veröffentlicht: (2024)

Manifold constrained steepest descent
von: Yang, Kaiwei, et al.
Veröffentlicht: (2026)

On subdifferential chain rule of matrix factorization and beyond
von: Guan, Jiewen, et al.
Veröffentlicht: (2024)

Learning mirror maps in policy mirror descent
von: Alfano, Carlo, et al.
Veröffentlicht: (2024)

Multi-level Monte-Carlo Gradient Methods for Stochastic Optimization with Biased Oracles
von: Hu, Yifan, et al.
Veröffentlicht: (2024)

Scalable iterative pruning of large language and vision models using block coordinate descent
von: Rosenberg, Gili, et al.
Veröffentlicht: (2024)

New logarithmic step size for stochastic gradient descent
von: Shamaee, M. Soheil, et al.
Veröffentlicht: (2024)

Iterative regularization in classification via hinge loss diagonal descent
von: Apidopoulos, Vassilis, et al.
Veröffentlicht: (2022)

Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
von: Ma, Jianhao, et al.
Veröffentlicht: (2025)

Gradient descent inference in empirical risk minimization
von: Han, Qiyang, et al.
Veröffentlicht: (2024)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

On exploration of an interior mirror descent flow for stochastic nonconvex constrained problem
von: Ding, Kuangyu, et al.
Veröffentlicht: (2025)

On the global convergence of gradient descent for wide shallow models with bounded nonlinearities
von: Petit, Romain, et al.
Veröffentlicht: (2026)

The duality structure gradient descent algorithm: analysis and applications to neural networks
von: Flynn, Thomas
Veröffentlicht: (2017)

Stochastic Gradient Descent with Adaptive Data
von: Che, Ethan, et al.
Veröffentlicht: (2024)

The Mixing method: low-rank coordinate descent for semidefinite programming with diagonal constraints
von: Wang, Po-Wei, et al.
Veröffentlicht: (2017)

On the stability of gradient descent with second order dynamics for time-varying cost functions
von: Gibson, Travis E., et al.
Veröffentlicht: (2024)

Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
von: Lugosi, Gabor, et al.
Veröffentlicht: (2024)

On Penalty-based Bilevel Gradient Descent Method
von: Shen, Han, et al.
Veröffentlicht: (2023)

Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin
von: Kumar, Akshay, et al.
Veröffentlicht: (2025)

Anytime Acceleration of Gradient Descent
von: Zhang, Zihan, et al.
Veröffentlicht: (2024)

Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
von: Lok, Jackie, et al.
Veröffentlicht: (2024)

Linear convergence of proximal descent schemes on the Wasserstein space
von: Lascu, Razvan-Andrei, et al.
Veröffentlicht: (2024)

Understanding Gradient Orthogonalization for Deep Learning via Non-Euclidean Trust-Region Optimization
von: Kovalev, Dmitry
Veröffentlicht: (2025)

Faster Gradient-Free Algorithms for Nonsmooth Nonconvex Stochastic Optimization
von: Chen, Lesi, et al.
Veröffentlicht: (2023)

Convergence of stochastic gradient descent under a local Lojasiewicz condition for deep neural networks
von: An, Jing, et al.
Veröffentlicht: (2023)

Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework
von: Nanda, Phalguni, et al.
Veröffentlicht: (2026)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

Enhancing Convergence of Decentralized Gradient Tracking under the KL Property
von: Chen, Xiaokai, et al.
Veröffentlicht: (2024)

A stochastic gradient descent algorithm with random search directions
von: Gbaguidi, Eméric
Veröffentlicht: (2025)

Locally Regularized Sparse Graph by Fast Proximal Gradient Descent
von: Sun, Dongfang, et al.
Veröffentlicht: (2024)

Sequential Bayesian Optimal Experimental Design in Infinite Dimensions via Policy Gradient Reinforcement Learning
von: Shen, Kaichen, et al.
Veröffentlicht: (2026)

Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space
von: Kim, Kyurae, et al.
Veröffentlicht: (2026)

An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
von: Zhang, Huiling, et al.
Veröffentlicht: (2023)

$\ell_1$-norm rank-one symmetric matrix factorization has no spurious second-order stationary points
von: Guan, Jiewen, et al.
Veröffentlicht: (2024)

A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints
von: Wang, Lei, et al.
Veröffentlicht: (2022)

Global Convergence of Natural Policy Gradient with Hessian-aided Momentum Variance Reduction
von: Feng, Jie, et al.
Veröffentlicht: (2024)

Single Point-Based Distributed Zeroth-Order Optimization with a Non-Convex Stochastic Objective Function
von: Mhanna, Elissa, et al.
Veröffentlicht: (2024)