Buchumschlag

Recent Advances in Non-convex Smoothness Conditions and Applicability to Deep Linear Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Patel, Vivak, Varner, Christian
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control 65K10, 68T07
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Error Bound Analysis for the Regularized Loss of Deep Linear Neural Networks
von: Chen, Po, et al.
Veröffentlicht: (2025)

The Challenges of Optimization For Data Science
von: Varner, Christian, et al.
Veröffentlicht: (2024)

A Novel Gradient Methodology with Economical Objective Function Evaluations for Data Science Applications
von: Varner, Christian, et al.
Veröffentlicht: (2023)

A Novel First-order Method with Event-driven Objective Evaluations
von: Varner, Christian, et al.
Veröffentlicht: (2025)

Fixed-Point Neural Optimal Transport without Implicit Differentiation
von: Park, Yesom, et al.
Veröffentlicht: (2026)

A Layer Separation Optimization Framework for Cross-Entropy Training in Deep Learning
von: Liu, Yaru, et al.
Veröffentlicht: (2026)

Expansive Natural Neural Gradient Flows for Energy Minimization
von: Dahmen, Wolfgang, et al.
Veröffentlicht: (2025)

The Pontryagin Maximum Principle for Training Convolutional Neural Networks
von: Hofmann, Sebastian, et al.
Veröffentlicht: (2025)

Progressive Power Homotopy for Non-convex Optimization
von: Xu, Chen
Veröffentlicht: (2026)

A network based approach for unbalanced optimal transport on surfaces
von: Pan, Jiangong, et al.
Veröffentlicht: (2024)

Global Optimization with A Power-Transformed Objective and Gaussian Smoothing
von: Xu, Chen
Veröffentlicht: (2024)

Variational conditional normalizing flows for computing second-order mean field control problems
von: Zhao, Jiaxi, et al.
Veröffentlicht: (2025)

SVD-Preconditioned Gradient Descent Method for Solving Nonlinear Least Squares Problems
von: Chang, Zhipeng, et al.
Veröffentlicht: (2026)

Faster Adaptive Optimization via Expected Gradient Outer Product Reparameterization
von: DePavia, Adela, et al.
Veröffentlicht: (2025)

Power Homotopy for Zeroth-Order Non-Convex Optimizations
von: Xu, Chen
Veröffentlicht: (2025)

Randomized Matrix Sketching for Neural Network Training and Gradient Monitoring
von: Antil, Harbir, et al.
Veröffentlicht: (2025)

Approximation of the Proximal Operator of the $\ell_\infty$ Norm Using a Neural Network
von: Linehan, Kathryn, et al.
Veröffentlicht: (2024)

Self2Seg: Single-Image Self-Supervised Joint Segmentation and Denoising
von: Gruber, Nadja, et al.
Veröffentlicht: (2023)

Convergence, design and training of continuous-time dropout as a random batch method
von: Álvarez-López, Antonio, et al.
Veröffentlicht: (2025)

Convergence of gradient descent for deep neural networks
von: Chatterjee, Sourav
Veröffentlicht: (2022)

Approximation and Gradient Descent Training with Neural Networks
von: Welper, G.
Veröffentlicht: (2024)

A Single-Loop Bilevel Deep Learning Method for Optimal Control of Obstacle Problems
von: Song, Yongcun, et al.
Veröffentlicht: (2026)

Stochastic Mirror Descent for Convex Optimization with Consensus Constraints
von: Borovykh, Anastasia, et al.
Veröffentlicht: (2022)

Deep Unfolding Network for Nonlinear Multi-Frequency Electrical Impedance Tomography
von: Alberti, Giovanni S., et al.
Veröffentlicht: (2025)

Deep Predictor-Corrector Networks for Robust Parameter Estimation in Non-autonomous System with Discontinuous Inputs
von: Gu, Gyeongwan, et al.
Veröffentlicht: (2026)

Prox-PINNs: A Deep Learning Algorithmic Framework for Elliptic Variational Inequalities
von: Gao, Yu, et al.
Veröffentlicht: (2025)

Meshless Shape Optimization using Neural Networks and Partial Differential Equations on Graphs
von: Martinet, Eloi, et al.
Veröffentlicht: (2025)

Convergence of Momentum-Based Optimization Algorithms with Time-Varying Parameters
von: Vidyasagar, Mathukumalli
Veröffentlicht: (2025)

Asymptotic stability properties and a priori bounds for Adam and other gradient descent optimization methods
von: Dereich, Steffen, et al.
Veröffentlicht: (2025)

Non-Asymptotic Analysis of Projected Gradient Descent for Physics-Informed Neural Networks
von: Nießen, Jonas, et al.
Veröffentlicht: (2025)

Objective Value Change and Shape-Based Accelerated Optimization for the Neural Network Approximation
von: Xie, Pengcheng, et al.
Veröffentlicht: (2025)

Neural-network methods for two-dimensional finite-source reflector design
von: Hacking, Roel, et al.
Veröffentlicht: (2026)

Adam Improves Muon: Adaptive Moment Estimation with Orthogonalized Momentum
von: Zhang, Minxin, et al.
Veröffentlicht: (2026)

To be or not to be stable, that is the question: understanding neural networks for inverse problems
von: Evangelista, Davide, et al.
Veröffentlicht: (2022)

Learning where to learn: Training data distribution optimization for scientific machine learning
von: Guerra, Nicolas, et al.
Veröffentlicht: (2025)

Consensus-based optimization for closed-box adversarial attacks and a connection to evolution strategies
von: Roith, Tim, et al.
Veröffentlicht: (2025)

An Adaptive Tensor-Train Decomposition Approach for Efficient Deep Neural Network Compression
von: Luo, Shiyi, et al.
Veröffentlicht: (2024)

An Augmented Lagrangian Method for Training Recurrent Neural Networks
von: Wang, Yue, et al.
Veröffentlicht: (2024)

Riemannian AmbientFlow: Towards Simultaneous Manifold Learning and Generative Modeling from Corrupted Data
von: Diepeveen, Willem, et al.
Veröffentlicht: (2026)

Convergence Conditions for Stochastic Line Search Based Optimization of Over-parametrized Models
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)