Buchumschlag

Large Stepsizes Accelerate Gradient Descent for Regularized Logistic Regression

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Jingfeng, Marion, Pierre, Bartlett, Peter
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Minimax Optimal Convergence of Gradient Descent in Logistic Regression via Large and Adaptive Stepsizes
von: Zhang, Ruiqi, et al.
Veröffentlicht: (2025)

Large Stepsize Gradient Descent for Logistic Loss: Non-Monotonicity of the Loss Improves Optimization Efficiency
von: Wu, Jingfeng, et al.
Veröffentlicht: (2024)

Benefits of Early Stopping in Gradient Descent for Overparameterized Logistic Regression
von: Wu, Jingfeng, et al.
Veröffentlicht: (2025)

Large Stepsize Gradient Descent for Non-Homogeneous Two-Layer Networks: Margin Improvement and Fast Optimization
von: Cai, Yuhang, et al.
Veröffentlicht: (2024)

Tight Bounds for Logistic Regression with Large Stepsize Gradient Descent in Low Dimension
von: Crawshaw, Michael, et al.
Veröffentlicht: (2026)

Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
von: Kale, Sacchit, et al.
Veröffentlicht: (2026)

Constant Stepsize Local GD for Logistic Regression: Acceleration by Instability
von: Crawshaw, Michael, et al.
Veröffentlicht: (2025)

Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
von: Wu, Jingfeng, et al.
Veröffentlicht: (2025)

Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
von: Cai, Yuhang, et al.
Veröffentlicht: (2025)

From Logistic Regression to the Perceptron Algorithm: Exploring Gradient Descent with Large Step Sizes
von: Tyurin, Alexander
Veröffentlicht: (2024)

Gradient Descent on Logistic Regression with Non-Separable Data and Large Step Sizes
von: Meng, Si Yi, et al.
Veröffentlicht: (2024)

Improved Scaling Laws in Linear Regression via Data Reuse
von: Lin, Licong, et al.
Veröffentlicht: (2025)

Gradient Descent on Logistic Regression: Do Large Step-Sizes Work with Data on the Sphere?
von: Meng, Si Yi, et al.
Veröffentlicht: (2025)

Transformers Efficiently Perform In-Context Logistic Regression via Normalized Gradient Descent
von: Zhang, Chenyang, et al.
Veröffentlicht: (2026)

Negative Stepsizes Make Gradient-Descent-Ascent Converge
von: Shugart, Henry, et al.
Veröffentlicht: (2025)

Preconditioning for Accelerated Gradient Descent Optimization and Regularization
von: Ye, Qiang
Veröffentlicht: (2024)

Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
von: Li, Xiang, et al.
Veröffentlicht: (2024)

How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression?
von: Wu, Jingfeng, et al.
Veröffentlicht: (2023)

Stacking as Accelerated Gradient Descent
von: Agarwal, Naman, et al.
Veröffentlicht: (2024)

In-Context Learning of a Linear Transformer Block: Benefits of the MLP Component and One-Step GD Initialization
von: Zhang, Ruiqi, et al.
Veröffentlicht: (2024)

Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data
von: Frei, Spencer, et al.
Veröffentlicht: (2022)

Stochastic Gradient Descent for Nonparametric Additive Regression
von: Chen, Xin, et al.
Veröffentlicht: (2024)

Scaling Laws in Linear Regression: Compute, Parameters, and Data
von: Lin, Licong, et al.
Veröffentlicht: (2024)

$L_1$-norm Regularized Indefinite Kernel Logistic Regression
von: Wang, Shaoxin, et al.
Veröffentlicht: (2025)

Learning Curves of Stochastic Gradient Descent in Kernel Regression
von: Zhang, Haihan, et al.
Veröffentlicht: (2025)

Anytime Acceleration of Gradient Descent
von: Zhang, Zihan, et al.
Veröffentlicht: (2024)

Accelerated Gradient Descent for Faster Convergence with Minimal Overhead
von: Graca, Manuel, et al.
Veröffentlicht: (2026)

Posterior Approximation using Stochastic Gradient Ascent with Adaptive Stepsize
von: Lim, Kart-Leong, et al.
Veröffentlicht: (2024)

Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
von: Wu, Haotian
Veröffentlicht: (2025)

Streaming Krylov-Accelerated Stochastic Gradient Descent
von: Thomas, Stephen
Veröffentlicht: (2025)

Trained Mamba Emulates Online Gradient Descent in In-Context Linear Regression
von: Jiang, Jiarui, et al.
Veröffentlicht: (2025)

Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression
von: Ding, Shihong, et al.
Veröffentlicht: (2025)

Reinforcement Learning in POMDP's via Direct Gradient Ascent
von: Baxter, Jonathan, et al.
Veröffentlicht: (2025)

Adaptive Stepsizing for Stochastic Gradient Langevin Dynamics in Bayesian Neural Networks
von: Rajpal, Rajit, et al.
Veröffentlicht: (2025)

Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
von: Pasand, Ali Saheb, et al.
Veröffentlicht: (2025)

Accelerated Gradient Descent by Concatenation of Stepsize Schedules
von: Zhang, Zehao, et al.
Veröffentlicht: (2024)

Fixed Design Analysis of Regularization-Based Continual Learning
von: Li, Haoran, et al.
Veröffentlicht: (2023)

Privacy-Preserving Logistic Regression Training with A Faster Gradient Variant
von: Chiang, John
Veröffentlicht: (2022)

Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training
von: Zhao, Shen-Yi, et al.
Veröffentlicht: (2020)

Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
von: Ma, Jianhao, et al.
Veröffentlicht: (2025)