Buchumschlag

Gradient Descent Algorithm Survey

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fucheng, Deng, Wanjie, Wang, Ao, Gong, Xiaoqi, Wang, Fan, Wang
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Stochastic Gradient Descent with Momentum is Algorithmically Stable
von: Lei, Yunwen, et al.
Veröffentlicht: (2026)

Elastic Multi-Gradient Descent for Parallel Continual Learning
von: Lyu, Fan, et al.
Veröffentlicht: (2024)

Adaptive Heavy-Tailed Stochastic Gradient Descent
von: Gong, Bodu, et al.
Veröffentlicht: (2025)

Transformers Learn to Implement Multi-step Gradient Descent with Chain of Thought
von: Huang, Jianhao, et al.
Veröffentlicht: (2025)

Optimization, Generalization and Differential Privacy Bounds for Gradient Descent on Kolmogorov-Arnold Networks
von: Wang, Puyu, et al.
Veröffentlicht: (2026)

Turning Stale Gradients into Stable Gradients: Coherent Coordinate Descent with Implicit Landscape Smoothing for Lightweight Zeroth-Order Optimization
von: Liang, Chen, et al.
Veröffentlicht: (2026)

Randomness and Interpolation Improve Gradient Descent
von: Li, Jiawen, et al.
Veröffentlicht: (2025)

ONG: Orthogonal Natural Gradient Descent
von: Yadav, Yajat, et al.
Veröffentlicht: (2025)

Learning Associative Memories with Gradient Descent
von: Cabannes, Vivien, et al.
Veröffentlicht: (2024)

Mirror Descent and Novel Exponentiated Gradient Algorithms Using Trace-Form Entropies and Deformed Logarithms
von: Cichocki, Andrzej, et al.
Veröffentlicht: (2025)

FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning
von: Liu, Junkang, et al.
Veröffentlicht: (2026)

Vanilla Gradient Descent for Oblique Decision Trees
von: Panda, Subrat Prasad, et al.
Veröffentlicht: (2024)

Geodesic Gradient Descent: A Generic and Learning-rate-free Optimizer on Objective Function-induced Manifolds
von: Hu, Liwei, et al.
Veröffentlicht: (2026)

The Initialization Determines Whether In-Context Learning Is Gradient Descent
von: Xie, Shifeng, et al.
Veröffentlicht: (2025)

Revisiting the Initial Steps in Adaptive Gradient Descent Optimization
von: Abuduweili, Abulikemu, et al.
Veröffentlicht: (2024)

Efficient Search for Customized Activation Functions with Gradient Descent
von: Strack, Lukas, et al.
Veröffentlicht: (2024)

Conflict-Averse Gradient Descent for Multi-task Learning
von: Liu, Bo, et al.
Veröffentlicht: (2021)

Noise Balance and Stationary Distribution of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2023)

Can LLMs predict the convergence of Stochastic Gradient Descent?
von: Zekri, Oussama, et al.
Veröffentlicht: (2024)

Gradient Descent Efficiency Index
von: Dhingra, Aviral
Veröffentlicht: (2024)

GNNInterpreter: A Probabilistic Generative Model-Level Explanation for Graph Neural Networks
von: Wang, Xiaoqi, et al.
Veröffentlicht: (2022)

Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning
von: Garg, Ishir, et al.
Veröffentlicht: (2026)

Gradient-Informed Temporal Sampling Improves Rollout Accuracy in PDE Surrogate Training
von: Wang, Wenshuo, et al.
Veröffentlicht: (2026)

Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
von: Deng, Yichuan, et al.
Veröffentlicht: (2024)

Federated Unlearning with Gradient Descent and Conflict Mitigation
von: Pan, Zibin, et al.
Veröffentlicht: (2024)

Geometrically Inspired Kernel Machines for Collaborative Learning Beyond Gradient Descent
von: Kumar, Mohit, et al.
Veröffentlicht: (2024)

GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent
von: Marton, Sascha, et al.
Veröffentlicht: (2023)

Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization
von: Kumar, Ramnath, et al.
Veröffentlicht: (2023)

Q-Newton: Hybrid Quantum-Classical Scheduling for Accelerating Neural Network Training with Newton's Gradient Descent
von: Li, Pingzhi, et al.
Veröffentlicht: (2024)

PSMGD: Periodic Stochastic Multi-Gradient Descent for Fast Multi-Objective Optimization
von: Xu, Mingjing, et al.
Veröffentlicht: (2024)

Reconstructing Deep Neural Networks: Unleashing the Optimization Potential of Natural Gradient Descent
von: Liu, Weihua, et al.
Veröffentlicht: (2024)

Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent
von: Wang, Zeyuan, et al.
Veröffentlicht: (2026)

A Survey on Vulnerability of Federated Learning: A Learning Algorithm Perspective
von: Xie, Xianghua, et al.
Veröffentlicht: (2023)

Beyond the Mean: Fisher-Orthogonal Projection for Natural Gradient Descent in Large Batch Training
von: Lu, Yishun, et al.
Veröffentlicht: (2025)

Auto-Unrolled Proximal Gradient Descent: An AutoML Approach to Interpretable Waveform Optimization
von: Kaplan, Ahmet
Veröffentlicht: (2026)

Optimizing Predictive AI in Physical Design Flows with Mini Pixel Batch Gradient Descent
von: Yang, Haoyu, et al.
Veröffentlicht: (2024)

Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning?
von: Gatmiry, Khashayar, et al.
Veröffentlicht: (2024)

Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
von: Hennick, Max, et al.
Veröffentlicht: (2025)

Finite-Time Analysis of Gradient Descent for Shallow Transformers
von: Arda, Enes, et al.
Veröffentlicht: (2026)

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2024)