Buchumschlag

Stochastic Gradient Descent for Two-layer Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cao, Dinghao, Guo, Zheng-Chu, Shi, Lei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Variational Stochastic Gradient Descent for Deep Neural Networks
von: Chen, Haotian, et al.
Veröffentlicht: (2024)

Generalization Bounds of Stochastic Gradient Descent in Homogeneous Neural Networks
von: Ma, Wenquan, et al.
Veröffentlicht: (2026)

Optimal Rates for Generalization of Gradient Descent for Deep ReLU Classification
von: Li, Yuanfan, et al.
Veröffentlicht: (2025)

On the Optimization and Generalization of Two-layer Transformers with Sign Gradient Descent
von: Li, Bingrui, et al.
Veröffentlicht: (2024)

Learning Operators with Stochastic Gradient Descent in General Hilbert Spaces
von: Shi, Lei, et al.
Veröffentlicht: (2024)

Bias of Stochastic Gradient Descent or the Architecture: Disentangling the Effects of Overparameterization of Neural Networks
von: Peleg, Amit, et al.
Veröffentlicht: (2024)

Truncated Kernel Stochastic Gradient Descent on Spheres
von: Bai, Jinhui, et al.
Veröffentlicht: (2024)

Learning Operators by Regularized Stochastic Gradient Descent with Operator-valued Kernels
von: Yang, Jia-Qi, et al.
Veröffentlicht: (2025)

A Theoretical Analysis of Noise Geometry in Stochastic Gradient Descent
von: Wang, Mingze, et al.
Veröffentlicht: (2023)

Stochastic Gradient Descent with Momentum is Algorithmically Stable
von: Lei, Yunwen, et al.
Veröffentlicht: (2026)

Generalization Guarantees of Gradient Descent for Multi-Layer Neural Networks
von: Wang, Puyu, et al.
Veröffentlicht: (2023)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

On the Generalization of Stochastic Gradient Descent with Momentum
von: Ramezani-Kebrya, Ali, et al.
Veröffentlicht: (2018)

Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2024)

Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training
von: Zhao, Shen-Yi, et al.
Veröffentlicht: (2020)

Gradient Descent Robustly Learns the Intrinsic Dimension of Data in Training Convolutional Neural Networks
von: Zhang, Chenyang, et al.
Veröffentlicht: (2025)

Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks
von: Corlouer, Guillaume, et al.
Veröffentlicht: (2026)

Adjacent Leader Decentralized Stochastic Gradient Descent
von: He, Haoze, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent for Nonparametric Additive Regression
von: Chen, Xin, et al.
Veröffentlicht: (2024)

A Bootstrap Perspective on Stochastic Gradient Descent
von: Lan, Hongjian, et al.
Veröffentlicht: (2025)

Bolstering Stochastic Gradient Descent with Model Building
von: Birbil, S. Ilker, et al.
Veröffentlicht: (2021)

Descend or Rewind? Stochastic Gradient Descent Unlearning
von: Mu, Siqiao, et al.
Veröffentlicht: (2025)

Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks
von: Xu, Xianliang, et al.
Veröffentlicht: (2024)

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Adaptive Data
von: Che, Ethan, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Strategic Querying
von: Jiang, Nanfei, et al.
Veröffentlicht: (2025)

Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent
von: Hsiao, Yen-Che, et al.
Veröffentlicht: (2024)

On the Theory of Continual Learning with Gradient Descent for Neural Networks
von: Taheri, Hossein, et al.
Veröffentlicht: (2025)

Towards Learning Stochastic Population Models by Gradient Descent
von: Kreikemeyer, Justin N., et al.
Veröffentlicht: (2024)

Personalized Federated Learning with Exact Stochastic Gradient Descent
von: Nikoloutsopoulos, Sotirios, et al.
Veröffentlicht: (2022)

Stochastic Gradient Descent for Gaussian Processes Done Right
von: Lin, Jihao Andreas, et al.
Veröffentlicht: (2023)

Towards Understanding the Generalizability of Delayed Stochastic Gradient Descent
von: Deng, Xiaoge, et al.
Veröffentlicht: (2023)

Learning Curves of Stochastic Gradient Descent in Kernel Regression
von: Zhang, Haihan, et al.
Veröffentlicht: (2025)

Statistical Guarantees for High-Dimensional Stochastic Gradient Descent
von: Li, Jiaqi, et al.
Veröffentlicht: (2025)

Alternating Gradient Flows: A Theory of Feature Learning in Two-layer Neural Networks
von: Kunin, Daniel, et al.
Veröffentlicht: (2025)

How Does Gradient Descent Learn Features -- A Local Analysis for Regularized Two-Layer Neural Networks
von: Zhou, Mo, et al.
Veröffentlicht: (2024)

Dichotomy of Feature Learning and Unlearning: Fast-Slow Analysis on Neural Networks with Stochastic Gradient Descent
von: Imai, Shota, et al.
Veröffentlicht: (2026)

Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
von: Sato, Naoki, et al.
Veröffentlicht: (2024)

Derivatives of Stochastic Gradient Descent in parametric optimization
von: Iutzeler, Franck, et al.
Veröffentlicht: (2024)

Adaptive Heavy-Tailed Stochastic Gradient Descent
von: Gong, Bodu, et al.
Veröffentlicht: (2025)