Buchumschlag

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gao, Yihang, Tan, Vincent Y. F.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Optimizing the Optimizer for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks
von: Kiyani, Elham, et al.
Veröffentlicht: (2025)

Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
von: Deng, Yichuan, et al.
Veröffentlicht: (2024)

Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
von: Hennick, Max, et al.
Veröffentlicht: (2025)

Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
von: Xu, Conglong, et al.
Veröffentlicht: (2025)

Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2025)

Gradient Descent Efficiency Index
von: Dhingra, Aviral
Veröffentlicht: (2024)

Finite-Time Analysis of Gradient Descent for Shallow Transformers
von: Arda, Enes, et al.
Veröffentlicht: (2026)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

Rod Flow: A Continuous-Time Model for Gradient Descent at the Edge of Stability
von: Regis, Eric, et al.
Veröffentlicht: (2026)

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
von: Kale, Sacchit, et al.
Veröffentlicht: (2026)

On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
von: Kong, Boao, et al.
Veröffentlicht: (2026)

Global Convergence Guarantees for Federated Policy Gradient Methods with Adversaries
von: Ganesh, Swetha, et al.
Veröffentlicht: (2024)

Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
von: Li, Xiang, et al.
Veröffentlicht: (2024)

Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
von: Oowada, Kanata, et al.
Veröffentlicht: (2025)

Policy Gradient Methods for Risk-Sensitive Distributional Reinforcement Learning with Provable Convergence
von: Xiao, Minheng, et al.
Veröffentlicht: (2024)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2024)

Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization
von: Kassing, Sebastian, et al.
Veröffentlicht: (2025)

Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
von: Gao, Hongchang
Veröffentlicht: (2022)

Grams: Gradient Descent with Adaptive Momentum Scaling
von: Cao, Yang, et al.
Veröffentlicht: (2024)

Jacobian Descent for Multi-Objective Optimization
von: Quinton, Pierre, et al.
Veröffentlicht: (2024)

Convergence of Gradient Descent for Recurrent Neural Networks: A Nonasymptotic Analysis
von: Cayci, Semih, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Adaptive Data
von: Che, Ethan, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Strategic Querying
von: Jiang, Nanfei, et al.
Veröffentlicht: (2025)

Learning Provably Improves the Convergence of Gradient Descent
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

Convergence of Alternating Gradient Descent for Matrix Factorization
von: Ward, Rachel, et al.
Veröffentlicht: (2023)

Gradient Descent Converges Linearly to Flatter Minima than Gradient Flow in Shallow Linear Networks
von: Beneventano, Pierfrancesco, et al.
Veröffentlicht: (2025)

Towards Faster Decentralized Stochastic Optimization with Communication Compression
von: Islamov, Rustem, et al.
Veröffentlicht: (2024)

Quantitative Convergence Analysis of Projected Stochastic Gradient Descent for Non-Convex Losses via the Goldstein Subdifferential
von: Zheng, Yuping, et al.
Veröffentlicht: (2025)

Input Convex Kolmogorov Arnold Networks
von: Deschatre, Thomas, et al.
Veröffentlicht: (2025)

On the Convergence of Overparameterized Problems: Inherent Properties of the Compositional Structure of Neural Networks
von: de Oliveira, Arthur Castello Branco, et al.
Veröffentlicht: (2025)

Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
von: Sato, Naoki, et al.
Veröffentlicht: (2024)

Derivatives of Stochastic Gradient Descent in parametric optimization
von: Iutzeler, Franck, et al.
Veröffentlicht: (2024)

Multi-head Transformers Provably Learn Symbolic Multi-step Reasoning via Gradient Descent
von: Yang, Tong, et al.
Veröffentlicht: (2025)

A Single-Loop Gradient Descent and Perturbed Ascent Algorithm for Nonconvex Functional Constrained Optimization
von: Lu, Songtao
Veröffentlicht: (2022)

Open Problem: Anytime Convergence Rate of Gradient Descent
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
von: Qin, Zhen, et al.
Veröffentlicht: (2025)

Muon Outperforms Adam in Tail-End Associative Memory Learning
von: Wang, Shuche, et al.
Veröffentlicht: (2025)

Implicit Bias and Convergence of Matrix Stochastic Mirror Descent
von: Akhtiamov, Danil, et al.
Veröffentlicht: (2026)