Buchumschlag

Sharpened Lazy Incremental Quasi-Newton Method

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lahoti, Aakash, Senapati, Spandan, Rajawat, Ketan, Koppel, Alec
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
von: Liu, Zhuanghua, et al.
Veröffentlicht: (2024)

Optimized Gradient Tracking for Decentralized Online Learning
von: Sharma, Shivangi Dubey, et al.
Veröffentlicht: (2023)

Incremental Gauss--Newton Methods with Superlinear Convergence Rates
von: Zhou, Zhiling, et al.
Veröffentlicht: (2024)

A Hessian-Free Actor-Critic Algorithm for Bi-Level Reinforcement Learning with Applications to LLM Fine-Tuning
von: Zeng, Sihan, et al.
Veröffentlicht: (2026)

Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
von: Agafonov, Artem, et al.
Veröffentlicht: (2025)

A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
von: Diouane, Youssef, et al.
Veröffentlicht: (2024)

Incremental Gauss-Newton Descent for Machine Learning
von: Korbit, Mikalai, et al.
Veröffentlicht: (2024)

Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
von: Sun, Zhenyu, et al.
Veröffentlicht: (2024)

Quasi-Newton Compatible Actor-Critic for Deterministic Policies
von: Kordabad, Arash Bahari, et al.
Veröffentlicht: (2025)

Hinge-Proximal Stochastic Gradient Methods for Convex Optimization with Functional Constraints
von: Rajoriya, Vaibhav, et al.
Veröffentlicht: (2025)

Improved Complexity for Smooth Nonconvex Optimization: A Two-Level Online Learning Approach with Quasi-Newton Methods
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Stochastic Newton Proximal Extragradient Method
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Online Newton Method for Bandit Convex Optimisation
von: Fokkema, Hidde, et al.
Veröffentlicht: (2024)

Convergence of Stochastic Gradient Langevin Dynamics in the Lazy Training Regime
von: Oberweis, Noah, et al.
Veröffentlicht: (2025)

Higher-Order Newton Methods with Polynomial Work per Iteration
von: Ahmadi, Amir Ali, et al.
Veröffentlicht: (2023)

A Smoothing Newton Method for Rank-one Matrix Recovery
von: Maunu, Tyler, et al.
Veröffentlicht: (2025)

Last Iterate Convergence of Incremental Methods and Applications in Continual Learning
von: Cai, Xufeng, et al.
Veröffentlicht: (2024)

Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2023)

A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport
von: Lin, Tianyi, et al.
Veröffentlicht: (2023)

An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
von: Orvieto, Antonio, et al.
Veröffentlicht: (2024)

Stochastic Sequential Quadratic Programming for Optimization with Functional Constraints
von: Sanyal, Panchajanya, et al.
Veröffentlicht: (2025)

On the Interplay Between Stepsize Tuning and Progressive Sharpening
von: Roulet, Vincent, et al.
Veröffentlicht: (2023)

Error whitening: Why Gauss-Newton outperforms Newton
von: McKay, Maricela Best, et al.
Veröffentlicht: (2026)

A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees
von: Zhou, Yuhao, et al.
Veröffentlicht: (2025)

Inference of Online Newton Methods with Nesterov's Accelerated Sketching
von: Wang, Haoxuan, et al.
Veröffentlicht: (2026)

Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
von: Ranganath, Aditya, et al.
Veröffentlicht: (2025)

A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
von: Zhan, Jingxin, et al.
Veröffentlicht: (2025)

From Saddle Points Toward Global Minima: A Newton-Type Method on Wasserstein Space
von: Lascu, Razvan-Andrei, et al.
Veröffentlicht: (2026)

Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Convergence of Muon with Newton-Schulz
von: Kim, Gyu Yeol, et al.
Veröffentlicht: (2026)

Sketch-and-Project Meets Newton Method: Global $\mathcal O(k^{-2})$ Convergence with Low-Rank Updates
von: Hanzely, Slavomír
Veröffentlicht: (2023)

Quadratic Gradient: A Unified Framework Bridging Gradient Descent and Newton-Type Methods by Synthesizing Hessians and Gradients
von: Chiang, John
Veröffentlicht: (2022)

Improving Stochastic Cubic Newton with Momentum
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2024)

Constrained Stochastic Recursive Momentum Successive Convex Approximation
von: Idrees, Basil M., et al.
Veröffentlicht: (2024)

Efficient Graph Laplacian Estimation by Proximal Newton
von: Medvedovsky, Yakov, et al.
Veröffentlicht: (2023)

Accelerating Sinkhorn Algorithm with Sparse Newton Iterations
von: Tang, Xun, et al.
Veröffentlicht: (2024)

How Well Can Transformers Emulate In-context Newton's Method?
von: Giannou, Angeliki, et al.
Veröffentlicht: (2024)

Incremental Learning of Sparse Attention Patterns in Transformers
von: Yüksel, Oğuz Kaan, et al.
Veröffentlicht: (2026)