Buchumschlag

Gradient Descent on Logistic Regression: Do Large Step-Sizes Work with Data on the Sphere?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Meng, Si Yi, Goujaud, Baptiste, Orvieto, Antonio, De Sa, Christopher
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Gradient Descent on Logistic Regression with Non-Separable Data and Large Step Sizes
von: Meng, Si Yi, et al.
Veröffentlicht: (2024)

Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
von: Kale, Sacchit, et al.
Veröffentlicht: (2026)

Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent
von: Köhne, Frederik, et al.
Veröffentlicht: (2023)

An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
von: Orvieto, Antonio, et al.
Veröffentlicht: (2024)

A Study of Condition Numbers for First-Order Optimization
von: Guille-Escuret, Charles, et al.
Veröffentlicht: (2020)

Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Gradient Descent Is Optimal Under Lower Restricted Secant Inequality And Upper Error Bound
von: Guille-Escuret, Charles, et al.
Veröffentlicht: (2022)

Relationship between Batch Size and Number of Steps Needed for Nonconvex Optimization of Stochastic Gradient Descent using Armijo Line Search
von: Tsukada, Yuki, et al.
Veröffentlicht: (2023)

Adaptive Conditional Gradient Descent
von: Khademi, Abbas, et al.
Veröffentlicht: (2025)

Stochastic Gradient Descent with Adaptive Data
von: Che, Ethan, et al.
Veröffentlicht: (2024)

Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
von: Oowada, Kanata, et al.
Veröffentlicht: (2025)

Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
von: Umeda, Hikaru, et al.
Veröffentlicht: (2024)

Provably Faster Gradient Descent via Long Steps
von: Grimmer, Benjamin
Veröffentlicht: (2023)

DoWG Unleashed: An Efficient Universal Parameter-Free Gradient Descent Method
von: Khaled, Ahmed, et al.
Veröffentlicht: (2023)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

Corner Gradient Descent
von: Yarotsky, Dmitry
Veröffentlicht: (2025)

Is your batch size the problem? Revisiting the Adam-SGD gap in language modeling
von: Srećković, Teodora, et al.
Veröffentlicht: (2025)

Robustness of Iteratively Pre-Conditioned Gradient-Descent Method: The Case of Distributed Linear Regression Problem
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2021)

Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
von: Allerbo, Oskar
Veröffentlicht: (2023)

$k$-SVD with Gradient Descent
von: Jedra, Yassir, et al.
Veröffentlicht: (2025)

Recurrent neural networks: vanishing and exploding gradients are not the end of the story
von: Zucchet, Nicolas, et al.
Veröffentlicht: (2024)

Anytime Acceleration of Gradient Descent
von: Zhang, Zihan, et al.
Veröffentlicht: (2024)

Mixed-feature Logistic Regression Robust to Distribution Shifts
von: Sun, Qingshi, et al.
Veröffentlicht: (2025)

FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures
von: De Castro, Yohann, et al.
Veröffentlicht: (2023)

Stochastic Gradient Descent with Strategic Querying
von: Jiang, Nanfei, et al.
Veröffentlicht: (2025)

Unraveling the Gradient Descent Dynamics of Transformers
von: Song, Bingqing, et al.
Veröffentlicht: (2024)

Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults
von: Phunyaphibarn, Prin, et al.
Veröffentlicht: (2023)

Binary Kernel Logistic Regression: a sparsity-inducing formulation and a convergent decomposition training algorithm
von: Consolo, Antonio, et al.
Veröffentlicht: (2025)

How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
von: Lai, Kuo-Wei, et al.
Veröffentlicht: (2026)

Loss Landscape Characterization of Neural Networks without Over-Parametrization
von: Islamov, Rustem, et al.
Veröffentlicht: (2024)

Learning Provably Improves the Convergence of Gradient Descent
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

Mirror and Preconditioned Gradient Descent in Wasserstein Space
von: Bonet, Clément, et al.
Veröffentlicht: (2024)

Enhancing Fractional Gradient Descent with Learned Optimizers
von: Sobotka, Jan, et al.
Veröffentlicht: (2025)

Derivatives of Stochastic Gradient Descent in parametric optimization
von: Iutzeler, Franck, et al.
Veröffentlicht: (2024)

Convergence of Alternating Gradient Descent for Matrix Factorization
von: Ward, Rachel, et al.
Veröffentlicht: (2023)

On Penalty-based Bilevel Gradient Descent Method
von: Shen, Han, et al.
Veröffentlicht: (2023)

A Local Polyak-Lojasiewicz and Descent Lemma of Gradient Descent For Overparametrized Linear Models
von: Xu, Ziqing, et al.
Veröffentlicht: (2025)

Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
von: Umeda, Hikaru, et al.
Veröffentlicht: (2025)

Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls
von: Selvi, Aras, et al.
Veröffentlicht: (2024)

Scaling Laws for Gradient Descent and Sign Descent for Linear Bigram Models under Zipf's Law
von: Kunstner, Frederik, et al.
Veröffentlicht: (2025)