Buchumschlag

Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Partohaghighi, Mohammad
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

More Optimal Fractional-Order Stochastic Gradient Descent for Non-Convex Optimization Problems
von: Partohaghighi, Mohammad, et al.
Veröffentlicht: (2025)

Effective Dimension Aware Fractional-Order Stochastic Gradient Descent for Convex Optimization Problems
von: Partohaghighi, Mohammad, et al.
Veröffentlicht: (2025)

A Theoretical Analysis of Noise Geometry in Stochastic Gradient Descent
von: Wang, Mingze, et al.
Veröffentlicht: (2023)

Generalization Bounds of Stochastic Gradient Descent in Homogeneous Neural Networks
von: Ma, Wenquan, et al.
Veröffentlicht: (2026)

Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
von: Sato, Naoki, et al.
Veröffentlicht: (2024)

Noise Balance and Stationary Distribution of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2023)

Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2024)

On the Generalization of Stochastic Gradient Descent with Momentum
von: Ramezani-Kebrya, Ali, et al.
Veröffentlicht: (2018)

Tight Generalization Error Bounds for Stochastic Gradient Descent in Non-convex Learning
von: Xiong, Wenjun, et al.
Veröffentlicht: (2025)

SMA-DP: Spectral Memory-Aware Differential Privacy for Deep Learning
von: Partohaghighi, Mohammad, et al.
Veröffentlicht: (2026)

Deep Learning under Fractional-Order Differential Privacy
von: Partohaghighi, Mohammad, et al.
Veröffentlicht: (2026)

High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2023)

Towards Noise-adaptive, Problem-adaptive (Accelerated) Stochastic Gradient Descent
von: Vaswani, Sharan, et al.
Veröffentlicht: (2021)

When Gradient Clipping Becomes a Control Mechanism for Differential Privacy in Deep Learning
von: Partohaghighi, Mohammad, et al.
Veröffentlicht: (2026)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

DOME: Improving Signal-to-Noise in Stochastic Gradient Descent via Sharp-Direction Subspace Filtering
von: Nicolas, Julien, et al.
Veröffentlicht: (2025)

Algorithmic Stability of Stochastic Gradient Descent with Momentum under Heavy-Tailed Noise
von: Dang, Thanh, et al.
Veröffentlicht: (2025)

Fractional-Order Federated Learning
von: Partohaghighi, Mohammad, et al.
Veröffentlicht: (2026)

Adjacent Leader Decentralized Stochastic Gradient Descent
von: He, Haoze, et al.
Veröffentlicht: (2024)

A Bootstrap Perspective on Stochastic Gradient Descent
von: Lan, Hongjian, et al.
Veröffentlicht: (2025)

Stochastic Gradient Descent for Nonparametric Additive Regression
von: Chen, Xin, et al.
Veröffentlicht: (2024)

Bolstering Stochastic Gradient Descent with Model Building
von: Birbil, S. Ilker, et al.
Veröffentlicht: (2021)

Descend or Rewind? Stochastic Gradient Descent Unlearning
von: Mu, Siqiao, et al.
Veröffentlicht: (2025)

Do Neural Networks Need Gradient Descent to Generalize? A Theoretical Study
von: Alexander, Yotam, et al.
Veröffentlicht: (2025)

Stochastic Gradient Descent with Adaptive Data
von: Che, Ethan, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Strategic Querying
von: Jiang, Nanfei, et al.
Veröffentlicht: (2025)

Comparing Federated Stochastic Gradient Descent and Federated Averaging for Predicting Hospital Length of Stay
von: Balik, Mehmet Yigit
Veröffentlicht: (2024)

Personalized Federated Learning with Exact Stochastic Gradient Descent
von: Nikoloutsopoulos, Sotirios, et al.
Veröffentlicht: (2022)

Stochastic Gradient Descent for Two-layer Neural Networks
von: Cao, Dinghao, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent for Gaussian Processes Done Right
von: Lin, Jihao Andreas, et al.
Veröffentlicht: (2023)

Variational Stochastic Gradient Descent for Deep Neural Networks
von: Chen, Haotian, et al.
Veröffentlicht: (2024)

Towards Learning Stochastic Population Models by Gradient Descent
von: Kreikemeyer, Justin N., et al.
Veröffentlicht: (2024)

Towards Understanding the Generalizability of Delayed Stochastic Gradient Descent
von: Deng, Xiaoge, et al.
Veröffentlicht: (2023)

Learning Curves of Stochastic Gradient Descent in Kernel Regression
von: Zhang, Haihan, et al.
Veröffentlicht: (2025)

Statistical Guarantees for High-Dimensional Stochastic Gradient Descent
von: Li, Jiaqi, et al.
Veröffentlicht: (2025)

How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime?
von: Huang, Wei, et al.
Veröffentlicht: (2025)

Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent
von: Naganuma, Hiroki, et al.
Veröffentlicht: (2026)

Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Momentum is Algorithmically Stable
von: Lei, Yunwen, et al.
Veröffentlicht: (2026)

Adaptive Heavy-Tailed Stochastic Gradient Descent
von: Gong, Bodu, et al.
Veröffentlicht: (2025)