Buchumschlag

NysAct: A Scalable Preconditioned Gradient Descent using Nystrom Approximation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Seung, Hyunseok, Lee, Jaewoo, Ko, Hyunsuk
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MAC: An Efficient Gradient Preconditioning using Mean Activation Approximated Curvature
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

An Adaptive Method Stabilizing Activations for Enhanced Generalization
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

On the Nystrom Approximation for Preconditioning in Kernel Machines
von: Abedsoltan, Amirhesam, et al.
Veröffentlicht: (2023)

Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network
von: Oh, Hyunseok, et al.
Veröffentlicht: (2024)

A Stein Gradient Descent Approach for Doubly Intractable Distributions
von: Lee, Heesang, et al.
Veröffentlicht: (2024)

Dual Space Preconditioning for Gradient Descent in the Overparameterized Regime
von: Ghane, Reza, et al.
Veröffentlicht: (2026)

Mirror and Preconditioned Gradient Descent in Wasserstein Space
von: Bonet, Clément, et al.
Veröffentlicht: (2024)

Preconditioning for Accelerated Gradient Descent Optimization and Regularization
von: Ye, Qiang
Veröffentlicht: (2024)

Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent
von: Köhne, Frederik, et al.
Veröffentlicht: (2023)

Preconditioned Gradient Descent for Over-Parameterized Nonconvex Matrix Factorization
von: Zhang, Gavin, et al.
Veröffentlicht: (2025)

Scalable Kernel Logistic Regression with Nyström Approximation: Theoretical Analysis and Application to Discrete Choice Modelling
von: Martín-Baos, José Ángel, et al.
Veröffentlicht: (2024)

Efficient Low-Tubal-Rank Tensor Estimation via Alternating Preconditioned Gradient Descent
von: Liu, Zhiyu, et al.
Veröffentlicht: (2025)

Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification
von: Zhang, Gavin, et al.
Veröffentlicht: (2022)

An Improved Empirical Fisher Approximation for Natural Gradient Descent
von: Wu, Xiaodong, et al.
Veröffentlicht: (2024)

Interpretable Self-Supervised Learning via Representer Landmarks and Nyström Approximation
von: Zarvandi, Maedeh, et al.
Veröffentlicht: (2025)

A Scalable Nystrom-Based Kernel Two-Sample Test with Permutations
von: Chatalic, Antoine, et al.
Veröffentlicht: (2025)

Efficient Over-parameterized Matrix Sensing from Noisy Measurements via Alternating Preconditioned Gradient Descent
von: Liu, Zhiyu, et al.
Veröffentlicht: (2025)

On the Convergence Behavior of Preconditioned Gradient Descent Toward the Rich Learning Regime
von: Jiang, Shuai, et al.
Veröffentlicht: (2026)

Towards Continuous-Time Approximations for Stochastic Gradient Descent without Replacement
von: Perko, Stefan
Veröffentlicht: (2025)

Fast and Accurate Estimation of Low-Rank Matrices from Noisy Measurements via Preconditioned Non-Convex Gradient Descent
von: Zhang, Gavin, et al.
Veröffentlicht: (2023)

The Nyström method for convex loss functions
von: Della Vecchia, Andrea, et al.
Veröffentlicht: (2020)

Occam Gradient Descent
von: Kausik, B. N.
Veröffentlicht: (2024)

Stochastic Gradient Methods with Preconditioned Updates
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2022)

Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early Stopping
von: Yang, Yingzhen, et al.
Veröffentlicht: (2024)

Approximation and Gradient Descent Training with Neural Networks
von: Welper, G.
Veröffentlicht: (2024)

Gradient Preconditioning for Efficient and Reliable Reward-Guided Generation
von: Hwang, Jisung, et al.
Veröffentlicht: (2026)

Faster Low-Rank Approximation and Kernel Ridge Regression via the Block-Nyström Method
von: Garg, Sachin, et al.
Veröffentlicht: (2025)

Dual Natural Gradient Descent for Scalable Training of Physics-Informed Neural Networks
von: Jnini, Anas, et al.
Veröffentlicht: (2025)

First and Second Order Approximations to Stochastic Gradient Descent Methods with Momentum Terms
von: Lu, Eric
Veröffentlicht: (2025)

Anytime Acceleration of Gradient Descent
von: Zhang, Zihan, et al.
Veröffentlicht: (2024)

Estimation of Toeplitz Covariance Matrices using Overparameterized Gradient Descent
von: Busbib, Daniel, et al.
Veröffentlicht: (2025)

Stacking as Accelerated Gradient Descent
von: Agarwal, Naman, et al.
Veröffentlicht: (2024)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

Descent-Guided Policy Gradient for Scalable Cooperative Multi-Agent Learning
von: Yang, Shan, et al.
Veröffentlicht: (2026)

Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
von: Xu, Conglong, et al.
Veröffentlicht: (2025)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

SVD-Preconditioned Gradient Descent Method for Solving Nonlinear Least Squares Problems
von: Chang, Zhipeng, et al.
Veröffentlicht: (2026)

Corner Gradient Descent
von: Yarotsky, Dmitry
Veröffentlicht: (2025)

A Bootstrap Perspective on Stochastic Gradient Descent
von: Lan, Hongjian, et al.
Veröffentlicht: (2025)