Copertina

Faster Acceleration for Steepest Descent

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Bai, Cedar Site, Bullins, Brian
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Optimization and Control Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Tight Lower Bounds under Asymmetric High-Order Hölder Smoothness and Uniform Convexity
di: Bai, Cedar Site, et al.
Pubblicazione: (2024)

Federated Composite Saddle Point Optimization
di: Bai, Site, et al.
Pubblicazione: (2023)

Stacey: Promoting Stochastic Steepest Descent via Accelerated $\ell_p$-Smooth Nonconvex Optimization
di: Luo, Xinyu, et al.
Pubblicazione: (2025)

Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
di: Vyas, Abhijeet, et al.
Pubblicazione: (2026)

Convergence of Steepest Descent and Adam under Non-Uniform Smoothness
di: Vaswani, Sharan, et al.
Pubblicazione: (2026)

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
di: Mishkin, Aaron, et al.
Pubblicazione: (2024)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
di: Veprikov, Andrey, et al.
Pubblicazione: (2025)

Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
di: Oowada, Kanata, et al.
Pubblicazione: (2025)

Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
di: Deng, Yichuan, et al.
Pubblicazione: (2024)

Anytime Acceleration of Gradient Descent
di: Zhang, Zihan, et al.
Pubblicazione: (2024)

SPGD: Steepest Perturbed Gradient Descent Optimization
di: Vahedi, Amir M., et al.
Pubblicazione: (2024)

Armijo Line-search Can Make (Stochastic) Gradient Descent Provably Faster
di: Vaswani, Sharan, et al.
Pubblicazione: (2025)

Model Immunization from a Condition Number Perspective
di: Zheng, Amber Yijia, et al.
Pubblicazione: (2025)

Provably Faster Gradient Descent via Long Steps
di: Grimmer, Benjamin
Pubblicazione: (2023)

Stochastic Subspace Descent Accelerated via Bi-fidelity Line Search
di: Cheng, Nuojin, et al.
Pubblicazione: (2025)

Towards Noise-adaptive, Problem-adaptive (Accelerated) Stochastic Gradient Descent
di: Vaswani, Sharan, et al.
Pubblicazione: (2021)

Can Entry-Wise Clipping Give Spectral Control of Stochastic Gradients?
di: Song, Zitao, et al.
Pubblicazione: (2026)

Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
di: Umeda, Hikaru, et al.
Pubblicazione: (2024)

Hamiltonian Descent Algorithms for Optimization: Accelerated Rates via Randomized Integration Time
di: Fu, Qiang, et al.
Pubblicazione: (2025)

PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$-Norm Steepest Descent
di: Lu, Yao, et al.
Pubblicazione: (2026)

Beyond First-Order Methods for $\ell_p$-Structured Non-Monotone Variational Inequalities
di: Vyas, Abhijeet, et al.
Pubblicazione: (2026)

Mirror-Free Proximal Methods
di: Vyas, Abhijeet, et al.
Pubblicazione: (2026)

Stochastic Adaptive Gradient Descent Without Descent
di: Aujol, Jean-François, et al.
Pubblicazione: (2025)

A Mirror Descent Perspective of Smoothed Sign Descent
di: Wang, Shuyang, et al.
Pubblicazione: (2024)

The Method of Infinite Descent
di: Batley, Reza T., et al.
Pubblicazione: (2025)

Corner Gradient Descent
di: Yarotsky, Dmitry
Pubblicazione: (2025)

Random Function Descent
di: Benning, Felix, et al.
Pubblicazione: (2023)

A Local Polyak-Lojasiewicz and Descent Lemma of Gradient Descent For Overparametrized Linear Models
di: Xu, Ziqing, et al.
Pubblicazione: (2025)

Faster Adaptive Decentralized Learning Algorithms
di: Huang, Feihu, et al.
Pubblicazione: (2024)

Adaptive Conditional Gradient Descent
di: Khademi, Abbas, et al.
Pubblicazione: (2025)

Parameter-free Mirror Descent
di: Jacobsen, Andrew, et al.
Pubblicazione: (2022)

Mirror Descent on Riemannian Manifolds
di: Jiang, Jiaxin, et al.
Pubblicazione: (2026)

$k$-SVD with Gradient Descent
di: Jedra, Yassir, et al.
Pubblicazione: (2025)

Scaling Laws for Gradient Descent and Sign Descent for Linear Bigram Models under Zipf's Law
di: Kunstner, Frederik, et al.
Pubblicazione: (2025)

Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration
di: Tyurin, Alexander
Pubblicazione: (2025)

Muon is Provably Faster with Momentum Variance Reduction
di: Qian, Xun, et al.
Pubblicazione: (2025)

Faster Fixed-Point Methods for Multichain MDPs
di: Zurek, Matthew, et al.
Pubblicazione: (2025)

Drop-Muon: Update Less, Converge Faster
di: Gruntkowska, Kaja, et al.
Pubblicazione: (2025)

Stochastic Gradient Descent with Adaptive Data
di: Che, Ethan, et al.
Pubblicazione: (2024)

Unraveling the Gradient Descent Dynamics of Transformers
di: Song, Bingqing, et al.
Pubblicazione: (2024)