Buchumschlag

An Improved Empirical Fisher Approximation for Natural Gradient Descent

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Xiaodong, Yu, Wenyi, Zhang, Chao, Woodland, Philip
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning
von: Garg, Ishir, et al.
Veröffentlicht: (2026)

Fishers for Free? Approximating the Fisher Information Matrix by Recycling the Squared Gradient Accumulator
von: Li, YuXin, et al.
Veröffentlicht: (2025)

Beyond the Mean: Fisher-Orthogonal Projection for Natural Gradient Descent in Large Batch Training
von: Lu, Yishun, et al.
Veröffentlicht: (2025)

Improving Energy Natural Gradient Descent through Woodbury, Momentum, and Randomization
von: Guzmán-Cordero, Andrés, et al.
Veröffentlicht: (2025)

Thermodynamic Natural Gradient Descent
von: Donatella, Kaelan, et al.
Veröffentlicht: (2024)

Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
von: Huo, Yingxiao, et al.
Veröffentlicht: (2026)

Kernel Approximation of Fisher-Rao Gradient Flows
von: Zhu, Jia-Jie, et al.
Veröffentlicht: (2024)

ONG: Orthogonal Natural Gradient Descent
von: Yadav, Yajat, et al.
Veröffentlicht: (2025)

Randomness and Interpolation Improve Gradient Descent
von: Li, Jiawen, et al.
Veröffentlicht: (2025)

Large Stepsize Gradient Descent for Logistic Loss: Non-Monotonicity of the Loss Improves Optimization Efficiency
von: Wu, Jingfeng, et al.
Veröffentlicht: (2024)

Is All Learning (Natural) Gradient Descent?
von: Shoji, Lucas, et al.
Veröffentlicht: (2024)

Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
von: Xu, Conglong, et al.
Veröffentlicht: (2025)

Learning Provably Improves the Convergence of Gradient Descent
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

Gauss-Newton Natural Gradient Descent for Shape Learning
von: King, James, et al.
Veröffentlicht: (2026)

Inversion-Free Natural Gradient Descent on Riemannian Manifolds
von: Draca, Dario, et al.
Veröffentlicht: (2026)

Multi-head Temporal Latent Attention
von: Deng, Keqi, et al.
Veröffentlicht: (2025)

Towards Continuous-Time Approximations for Stochastic Gradient Descent without Replacement
von: Perko, Stefan
Veröffentlicht: (2025)

NysAct: A Scalable Preconditioned Gradient Descent using Nystrom Approximation
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

Using Taylor-Approximated Gradients to Improve the Frank-Wolfe Method for Empirical Risk Minimization
von: Xiong, Zikai, et al.
Veröffentlicht: (2022)

Benefits of Early Stopping in Gradient Descent for Overparameterized Logistic Regression
von: Wu, Jingfeng, et al.
Veröffentlicht: (2025)

Riemannian Laplace Approximation with the Fisher Metric
von: Yu, Hanlin, et al.
Veröffentlicht: (2023)

Distributed Gradient Descent for Functional Learning
von: Yu, Zhan, et al.
Veröffentlicht: (2023)

How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime?
von: Huang, Wei, et al.
Veröffentlicht: (2025)

FGGM: Fisher-Guided Gradient Masking for Continual Learning
von: Tan, Chao-Hong, et al.
Veröffentlicht: (2026)

Occam Gradient Descent
von: Kausik, B. N.
Veröffentlicht: (2024)

Convergence Properties of Natural Gradient Descent for Minimizing KL Divergence
von: Datar, Adwait, et al.
Veröffentlicht: (2025)

Revisiting Gradient Descent: A Dual-Weight Method for Improved Learning
von: Wang, Xi
Veröffentlicht: (2025)

Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
von: Kamo, Keisuke, et al.
Veröffentlicht: (2025)

Approximation and Gradient Descent Training with Neural Networks
von: Welper, G.
Veröffentlicht: (2024)

Natural Gradient Descent for Online Continual Learning
von: Khawand, Joe, et al.
Veröffentlicht: (2026)

First and Second Order Approximations to Stochastic Gradient Descent Methods with Momentum Terms
von: Lu, Eric
Veröffentlicht: (2025)

Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits
von: Chen, Hao, et al.
Veröffentlicht: (2021)

Accelerating Natural Gradient Descent for PINNs with Randomized Numerical Linear Algebra
von: Bioli, Ivan, et al.
Veröffentlicht: (2025)

Convergence Analysis of Natural Gradient Descent for Over-parameterized Physics-Informed Neural Networks
von: Xu, Xianliang, et al.
Veröffentlicht: (2024)

Stacking as Accelerated Gradient Descent
von: Agarwal, Naman, et al.
Veröffentlicht: (2024)

A Theoretical Analysis of Noise Geometry in Stochastic Gradient Descent
von: Wang, Mingze, et al.
Veröffentlicht: (2023)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

Statistical Guarantees for High-Dimensional Stochastic Gradient Descent
von: Li, Jiaqi, et al.
Veröffentlicht: (2025)

Natural Gradient Descent: Empirical Validation of Local Efficiency and Coordinate Invariance
von: HIDEKI
Veröffentlicht: (2025)

The Global Empirical NTK: Self-Referential Bias and Dimensionality of Gradient Descent Learning
von: Hazelden, James, et al.
Veröffentlicht: (2026)