Buchumschlag

Bias of Stochastic Gradient Descent or the Architecture: Disentangling the Effects of Overparameterization of Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Peleg, Amit, Hein, Matthias
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Characterizing Dynamical Stability of Stochastic Gradient Descent in Overparameterized Learning
von: Chemnitz, Dennis, et al.
Veröffentlicht: (2024)

Dual Space Preconditioning for Gradient Descent in the Overparameterized Regime
von: Ghane, Reza, et al.
Veröffentlicht: (2026)

Benefits of Early Stopping in Gradient Descent for Overparameterized Logistic Regression
von: Wu, Jingfeng, et al.
Veröffentlicht: (2025)

Estimation of Toeplitz Covariance Matrices using Overparameterized Gradient Descent
von: Busbib, Daniel, et al.
Veröffentlicht: (2025)

Stochastic Gradient Descent for Two-layer Neural Networks
von: Cao, Dinghao, et al.
Veröffentlicht: (2024)

Variational Stochastic Gradient Descent for Deep Neural Networks
von: Chen, Haotian, et al.
Veröffentlicht: (2024)

Advancing Compositional Awareness in CLIP with Efficient Fine-Tuning
von: Peleg, Amit, et al.
Veröffentlicht: (2025)

Generalization Bounds of Stochastic Gradient Descent in Homogeneous Neural Networks
von: Ma, Wenquan, et al.
Veröffentlicht: (2026)

Effectiveness of Distributed Gradient Descent with Local Steps for Overparameterized Models
von: Zhu, Heng, et al.
Veröffentlicht: (2024)

The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
von: Li, Jichu, et al.
Veröffentlicht: (2026)

Mildly Overparameterized ReLU Networks on Orthogonal Data: Incremental Learning and Implicit Bias
von: Town, James, et al.
Veröffentlicht: (2026)

Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks
von: Li, Binghui, et al.
Veröffentlicht: (2024)

Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification
von: Zhang, Gavin, et al.
Veröffentlicht: (2022)

Double Descent and Overparameterization in Particle Physics Data
von: Vigl, Matthias, et al.
Veröffentlicht: (2025)

Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction
von: Wei, Ziyang, et al.
Veröffentlicht: (2026)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

On the Generalization of Stochastic Gradient Descent with Momentum
von: Ramezani-Kebrya, Ali, et al.
Veröffentlicht: (2018)

The Implicit Bias of Gradient Descent on Separable Data
von: Soudry, Daniel, et al.
Veröffentlicht: (2017)

Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
von: Cai, Yuhang, et al.
Veröffentlicht: (2025)

Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks
von: Corlouer, Guillaume, et al.
Veröffentlicht: (2026)

Implicit Regularization and Generalization in Overparameterized Neural Networks
von: Johannsen, Zeran
Veröffentlicht: (2026)

Adjacent Leader Decentralized Stochastic Gradient Descent
von: He, Haoze, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent for Nonparametric Additive Regression
von: Chen, Xin, et al.
Veröffentlicht: (2024)

Local Linear Recovery Guarantee of Deep Neural Networks at Overparameterization
von: Zhang, Yaoyu, et al.
Veröffentlicht: (2024)

A Bootstrap Perspective on Stochastic Gradient Descent
von: Lan, Hongjian, et al.
Veröffentlicht: (2025)

Bolstering Stochastic Gradient Descent with Model Building
von: Birbil, S. Ilker, et al.
Veröffentlicht: (2021)

Descend or Rewind? Stochastic Gradient Descent Unlearning
von: Mu, Siqiao, et al.
Veröffentlicht: (2025)

The Implicit Bias of Gradient Descent on Separable Multiclass Data
von: Ravi, Hrithik, et al.
Veröffentlicht: (2024)

Training Instabilities Induce Flatness Bias in Gradient Descent
von: Wang, Lawrence, et al.
Veröffentlicht: (2025)

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Adaptive Data
von: Che, Ethan, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Strategic Querying
von: Jiang, Nanfei, et al.
Veröffentlicht: (2025)

Riemannian Gradient Descent for Low-Rank Architectures
von: Knight, Nicholas
Veröffentlicht: (2026)

Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks
von: Adeoye, Adeyemi D., et al.
Veröffentlicht: (2024)

Generalization Guarantees of Gradient Descent for Multi-Layer Neural Networks
von: Wang, Puyu, et al.
Veröffentlicht: (2023)

Flavors of Margin: Implicit Bias of Steepest Descent in Homogeneous Neural Networks
von: Tsilivis, Nikolaos, et al.
Veröffentlicht: (2024)

Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent
von: Hsiao, Yen-Che, et al.
Veröffentlicht: (2024)

Convergence Analysis of Newton's Method for Neural Networks in the Overparameterized Limit
von: Riedl, Konstantin, et al.
Veröffentlicht: (2026)

How Does Overparameterization Affect Machine Unlearning of Deep Neural Networks?
von: Alon, Gal, et al.
Veröffentlicht: (2025)

On the Theory of Continual Learning with Gradient Descent for Neural Networks
von: Taheri, Hossein, et al.
Veröffentlicht: (2025)