Buchumschlag

Generalization Guarantees of Gradient Descent for Multi-Layer Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Puyu, Lei, Yunwen, Wang, Di, Ying, Yiming, Zhou, Ding-Xuan
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Optimal Rates for Generalization of Gradient Descent for Deep ReLU Classification
von: Li, Yuanfan, et al.
Veröffentlicht: (2025)

Optimization, Generalization and Differential Privacy Bounds for Gradient Descent on Kolmogorov-Arnold Networks
von: Wang, Puyu, et al.
Veröffentlicht: (2026)

Stochastic Gradient Descent with Momentum is Algorithmically Stable
von: Lei, Yunwen, et al.
Veröffentlicht: (2026)

Generalization analysis with deep ReLU networks for metric and similarity learning
von: Zhou, Junyu, et al.
Veröffentlicht: (2024)

Stability-based Generalization Analysis of Randomized Coordinate Descent for Pairwise Learning
von: Wu, Liang, et al.
Veröffentlicht: (2025)

Generalization Bounds for Rank-sparse Neural Networks
von: Ledent, Antoine, et al.
Veröffentlicht: (2025)

On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning
von: Wang, Bokun, et al.
Veröffentlicht: (2024)

Beyond Cross-Validation: Adaptive Parameter Selection for Kernel-Based Gradient Descents
von: Liu, Xiaotong, et al.
Veröffentlicht: (2026)

Towards Initialization-dependent and Non-vacuous Generalization Bounds for Overparameterized Shallow Neural Networks
von: Lei, Yunwen, et al.
Veröffentlicht: (2026)

Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems trained with Gradient Descent
von: Buskulic, Nathan, et al.
Veröffentlicht: (2024)

Distributed Gradient Descent for Functional Learning
von: Yu, Zhan, et al.
Veröffentlicht: (2023)

Generalization Bounds of Stochastic Gradient Descent in Homogeneous Neural Networks
von: Ma, Wenquan, et al.
Veröffentlicht: (2026)

Stochastic Gradient Descent for Two-layer Neural Networks
von: Cao, Dinghao, et al.
Veröffentlicht: (2024)

Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks
von: Xu, Xianliang, et al.
Veröffentlicht: (2024)

Fine-grained Analysis of Non-parametric Estimation for Pairwise Learning
von: Zhou, Junyu, et al.
Veröffentlicht: (2023)

How Does Gradient Descent Learn Features -- A Local Analysis for Regularized Two-Layer Neural Networks
von: Zhou, Mo, et al.
Veröffentlicht: (2024)

Generalization Guarantees on Data-Driven Tuning of Gradient Descent with Langevin Updates
von: Goyal, Saumya, et al.
Veröffentlicht: (2026)

Generalization and Optimization of SGD with Lookahead
von: Li, Kangcheng, et al.
Veröffentlicht: (2025)

Towards Understanding Generalization in DP-GD: A Case Study in Training Two-Layer CNNs
von: Shi, Zhongjie, et al.
Veröffentlicht: (2025)

Statistical Guarantees for High-Dimensional Stochastic Gradient Descent
von: Li, Jiaqi, et al.
Veröffentlicht: (2025)

Learning Theory of the SVRG: Generalization and Convergence Analysis
von: Lei, Yunwen, et al.
Veröffentlicht: (2026)

Solving Inverse Problems with Deep Linear Neural Networks: Global Convergence Guarantees for Gradient Descent with Weight Decay
von: Laus, Hannah, et al.
Veröffentlicht: (2025)

Gradient Flow Convergence Guarantee for General Neural Network Architectures
von: Jakhmola, Yash
Veröffentlicht: (2025)

Variational Stochastic Gradient Descent for Deep Neural Networks
von: Chen, Haotian, et al.
Veröffentlicht: (2024)

Classification with Deep Neural Networks and Logistic Loss
von: Zhang, Zihan, et al.
Veröffentlicht: (2023)

Do Neural Networks Need Gradient Descent to Generalize? A Theoretical Study
von: Alexander, Yotam, et al.
Veröffentlicht: (2025)

Gradient Manipulation in Distributed Stochastic Gradient Descent with Strategic Agents: Truthful Incentives with Convergence Guarantees
von: Chen, Ziqin, et al.
Veröffentlicht: (2026)

Optimal Convergence Rates of Deep Neural Network Classifiers
von: Zhang, Zihan, et al.
Veröffentlicht: (2025)

A Theoretical Analysis of Noise Geometry in Stochastic Gradient Descent
von: Wang, Mingze, et al.
Veröffentlicht: (2023)

Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent
von: Hsiao, Yen-Che, et al.
Veröffentlicht: (2024)

Convergence Analysis of Natural Gradient Descent for Over-parameterized Physics-Informed Neural Networks
von: Xu, Xianliang, et al.
Veröffentlicht: (2024)

Randomized Pairwise Learning with Adaptive Sampling: A PAC-Bayes Analysis
von: Zhou, Sijia, et al.
Veröffentlicht: (2025)

On the Theory of Continual Learning with Gradient Descent for Neural Networks
von: Taheri, Hossein, et al.
Veröffentlicht: (2025)

The Double Descent Behavior in Two Layer Neural Network for Binary Classification
von: Abeykoon, Chathurika S, et al.
Veröffentlicht: (2025)

Gradient Descent Finds Over-Parameterized Neural Networks with Sharp Generalization for Nonparametric Regression
von: Yang, Yingzhen, et al.
Veröffentlicht: (2024)

On Multi-Stage Loss Dynamics in Neural Networks: Mechanisms of Plateau and Descent Stages
von: Chen, Zheng-An, et al.
Veröffentlicht: (2024)

Layer-diverse Negative Sampling for Graph Neural Networks
von: Duan, Wei, et al.
Veröffentlicht: (2024)

Gradient Descent Algorithm Survey
von: Fucheng, Deng, et al.
Veröffentlicht: (2025)

Minibatch and Local SGD: Algorithmic Stability and Linear Speedup in Generalization
von: Lei, Yunwen, et al.
Veröffentlicht: (2023)

Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks
von: Nichani, Eshaan, et al.
Veröffentlicht: (2023)