Buchumschlag

Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jung, Hyunji, Cho, Hanseul, Yun, Chulhee
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fundamental Benefit of Alternating Updates in Minimax Optimization
von: Lee, Jaewook, et al.
Veröffentlicht: (2024)

Incremental Gradient Descent with Small Epoch Counts is Surprisingly Slow on Ill-Conditioned Problems
von: Kim, Yujun, et al.
Veröffentlicht: (2025)

Implicit Bias and Convergence of Matrix Stochastic Mirror Descent
von: Akhtiamov, Danil, et al.
Veröffentlicht: (2026)

Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults
von: Phunyaphibarn, Prin, et al.
Veröffentlicht: (2023)

Implicit Bias of Per-sample Adam on Separable Data: Departure from the Full-batch Regime
von: Baek, Beomhan, et al.
Veröffentlicht: (2025)

Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
von: Cai, Yuhang, et al.
Veröffentlicht: (2025)

Gradient Descent Converges Linearly to Flatter Minima than Gradient Flow in Shallow Linear Networks
von: Beneventano, Pierfrancesco, et al.
Veröffentlicht: (2025)

Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks
von: Xu, Xianliang, et al.
Veröffentlicht: (2024)

Learning Provably Improves the Convergence of Gradient Descent
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

Convergence of Alternating Gradient Descent for Matrix Factorization
von: Ward, Rachel, et al.
Veröffentlicht: (2023)

Implicit Bias of Spectral Descent and Muon on Multiclass Separable Data
von: Fan, Chen, et al.
Veröffentlicht: (2025)

Scaling Laws of SignSGD in Linear Regression: When Does It Outperform SGD?
von: Kim, Jihwan, et al.
Veröffentlicht: (2026)

How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
von: Lai, Kuo-Wei, et al.
Veröffentlicht: (2026)

On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
von: Qin, Zhen, et al.
Veröffentlicht: (2025)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

Open Problem: Anytime Convergence Rate of Gradient Descent
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
von: Ma, Jianhao, et al.
Veröffentlicht: (2025)

Implicit Bias and Fast Convergence Rates for Self-attention
von: Vasudeva, Bhavya, et al.
Veröffentlicht: (2024)

Solving Inverse Problems with Deep Linear Neural Networks: Global Convergence Guarantees for Gradient Descent with Weight Decay
von: Laus, Hannah, et al.
Veröffentlicht: (2025)

Convergence Properties of Natural Gradient Descent for Minimizing KL Divergence
von: Datar, Adwait, et al.
Veröffentlicht: (2025)

Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
von: Kale, Sacchit, et al.
Veröffentlicht: (2026)

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion
von: Ma, Jianhao, et al.
Veröffentlicht: (2024)

On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
von: Kong, Boao, et al.
Veröffentlicht: (2026)

Stochastic Extragradient with Flip-Flop Shuffling & Anchoring: Provable Improvements
von: Chae, Jiseok, et al.
Veröffentlicht: (2024)

Does SGD really happen in tiny subspaces?
von: Song, Minhak, et al.
Veröffentlicht: (2024)

A Local Polyak-Lojasiewicz and Descent Lemma of Gradient Descent For Overparametrized Linear Models
von: Xu, Ziqing, et al.
Veröffentlicht: (2025)

Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
von: Oowada, Kanata, et al.
Veröffentlicht: (2025)

Convergence Rates for Gradient Descent on the Edge of Stability in Overparametrised Least Squares
von: MacDonald, Lachlan Ewen, et al.
Veröffentlicht: (2025)

Convergence of Gradient Descent for Recurrent Neural Networks: A Nonasymptotic Analysis
von: Cayci, Semih, et al.
Veröffentlicht: (2024)

Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
von: Li, Xiang, et al.
Veröffentlicht: (2024)

Scaling Laws for Gradient Descent and Sign Descent for Linear Bigram Models under Zipf's Law
von: Kunstner, Frederik, et al.
Veröffentlicht: (2025)

Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
von: Sato, Naoki, et al.
Veröffentlicht: (2023)

The Rich and the Simple: On the Implicit Bias of Adam and SGD
von: Vasudeva, Bhavya, et al.
Veröffentlicht: (2025)

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2024)

Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
von: Karnik, Santhosh, et al.
Veröffentlicht: (2024)

Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization
von: Kassing, Sebastian, et al.
Veröffentlicht: (2025)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

Corner Gradient Descent
von: Yarotsky, Dmitry
Veröffentlicht: (2025)

A New Convergence Analysis of Plug-and-Play Proximal Gradient Descent Under Prior Mismatch
von: Xu, Guixian, et al.
Veröffentlicht: (2026)