Buchumschlag

Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Adeoye, Adeyemi D., Petersen, Philipp Christian, Bemporad, Alberto
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Self-concordant smoothing in proximal quasi-Newton algorithms for large-scale convex composite optimization
von: Adeoye, Adeyemi D., et al.
Veröffentlicht: (2023)

Exact Gauss-Newton Optimization for Training Deep Neural Networks
von: Korbit, Mikalai, et al.
Veröffentlicht: (2024)

Non-Asymptotic Optimization and Generalization Bounds for Stochastic Gauss-Newton in Overparameterized Models
von: Cayci, Semih
Veröffentlicht: (2025)

A proximal augmented Lagrangian method for nonconvex optimization with equality and inequality constraints
von: Adeoye, Adeyemi D., et al.
Veröffentlicht: (2025)

Global and Preference-based Optimization with Mixed Variables using Piecewise Affine Surrogates
von: Zhu, Mengjia, et al.
Veröffentlicht: (2023)

An L-BFGS-B approach for linear and nonlinear system identification under $\ell_1$ and group-Lasso regularization
von: Bemporad, Alberto
Veröffentlicht: (2024)

A Riemannian Optimization Perspective of the Gauss-Newton Method for Feedforward Neural Networks
von: Cayci, Semih
Veröffentlicht: (2024)

Parametric Nonconvex Optimization via Convex Surrogates
von: Wang, Renzi, et al.
Veröffentlicht: (2026)

Error whitening: Why Gauss-Newton outperforms Newton
von: McKay, Maricela Best, et al.
Veröffentlicht: (2026)

Efficient identification of linear, parameter-varying, and nonlinear systems with noise models
von: Bemporad, Alberto, et al.
Veröffentlicht: (2025)

Implicit Regularization Makes Overparameterized Asymmetric Matrix Sensing Robust to Perturbations
von: Wind, Johan S.
Veröffentlicht: (2023)

Incremental Gauss-Newton Descent for Machine Learning
von: Korbit, Mikalai, et al.
Veröffentlicht: (2024)

A Gauss-Newton Approach for Min-Max Optimization in Generative Adversarial Networks
von: Mishra, Neel, et al.
Veröffentlicht: (2024)

Incremental Gauss--Newton Methods with Superlinear Convergence Rates
von: Zhou, Zhiling, et al.
Veröffentlicht: (2024)

Gauss-Newton Natural Gradient Descent for Shape Learning
von: King, James, et al.
Veröffentlicht: (2026)

Gauss-Newton Temporal Difference Learning with Nonlinear Function Approximation
von: Ke, Zhifa, et al.
Veröffentlicht: (2023)

An active learning method for solving competitive multi-agent decision-making and control problems
von: Fabiani, Filippo, et al.
Veröffentlicht: (2022)

On the Convergence of Overparameterized Problems: Inherent Properties of the Compositional Structure of Neural Networks
von: de Oliveira, Arthur Castello Branco, et al.
Veröffentlicht: (2025)

A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
von: Diouane, Youssef, et al.
Veröffentlicht: (2024)

An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
von: Orvieto, Antonio, et al.
Veröffentlicht: (2024)

A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees
von: Zhou, Yuhao, et al.
Veröffentlicht: (2025)

Critical Influence of Overparameterization on Sharpness-aware Minimization
von: Shin, Sungbin, et al.
Veröffentlicht: (2023)

Neural Network Training Techniques Regularize Optimization Trajectory: An Empirical Study
von: Chen, Cheng, et al.
Veröffentlicht: (2020)

Gradient Regularized Newton Boosting Trees with Global Convergence
von: Zozoulenko, Nikita, et al.
Veröffentlicht: (2026)

Sharp Global Guarantees for Nonconvex Low-rank Recovery in the Noisy Overparameterized Regime
von: Zhang, Richard Y.
Veröffentlicht: (2021)

Improved Global Guarantees for the Nonconvex Burer--Monteiro Factorization via Rank Overparameterization
von: Zhang, Richard Y.
Veröffentlicht: (2022)

A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
von: Zhan, Jingxin, et al.
Veröffentlicht: (2025)

RGNMR: A Gauss-Newton method for robust matrix completion with theoretical guarantees
von: Laufer, Eilon Vaknin, et al.
Veröffentlicht: (2025)

Guarantees of a Preconditioned Subgradient Algorithm for Overparameterized Asymmetric Low-rank Matrix Recovery
von: Giampouras, Paris, et al.
Veröffentlicht: (2024)

Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification
von: Zhang, Gavin, et al.
Veröffentlicht: (2022)

On the Benefits of Weight Normalization for Overparameterized Matrix Sensing
von: Wei, Yudong, et al.
Veröffentlicht: (2025)

More is Less: Inducing Sparsity via Overparameterization
von: Chou, Hung-Hsu, et al.
Veröffentlicht: (2021)

qNBO: quasi-Newton Meets Bilevel Optimization
von: Fang, Sheng, et al.
Veröffentlicht: (2025)

How Neural Networks Learn the Support is an Implicit Regularization Effect of SGD
von: Beneventano, Pierfrancesco, et al.
Veröffentlicht: (2024)

Regularized Gradient Clipping Provably Trains Wide and Deep Neural Networks
von: Tucat, Matteo, et al.
Veröffentlicht: (2024)

Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

The Newton-Muon Optimizer
von: Du, Zhehang, et al.
Veröffentlicht: (2026)

The Power of Preconditioning in Overparameterized Low-Rank Matrix Sensing
von: Xu, Xingyu, et al.
Veröffentlicht: (2023)

Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization
von: Kolb, Chris, et al.
Veröffentlicht: (2023)

Curse of Dimensionality in Neural Network Optimization
von: Na, Sanghoon, et al.
Veröffentlicht: (2025)