Buchumschlag

Global Dynamics of Heavy-Tailed SGDs in Nonconvex Loss Landscape: Characterization and Control

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Xingyu, Rhee, Chang-Han
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Probability
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Large Deviations and Metastability Analysis for Heavy-Tailed Dynamical Systems
von: Wang, Xingyu, et al.
Veröffentlicht: (2023)

First-Exit Time Analysis for Truncated Heavy-Tailed Dynamical Systems
von: Wang, Xingyu, et al.
Veröffentlicht: (2026)

Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD
von: Wan, Yijun, et al.
Veröffentlicht: (2023)

Strongly Efficient Rare-Event Simulation for Regularly Varying Lévy Processes with Infinite Activities
von: Wang, Xingyu, et al.
Veröffentlicht: (2023)

Diffusion Models with Heavy-Tailed Targets: Score Estimation and Sampling Guarantees
von: Yu, Yifeng, et al.
Veröffentlicht: (2026)

Concentration of General Stochastic Approximation Under Heavy-Tailed Markovian Noise
von: Agrawal, Shubhada, et al.
Veröffentlicht: (2026)

Algorithmic Stability of Stochastic Gradient Descent with Momentum under Heavy-Tailed Noise
von: Dang, Thanh, et al.
Veröffentlicht: (2025)

On the Nonconvexity of Push-Forward Constraints and Its Consequences in Machine Learning
von: de Lara, Lucas, et al.
Veröffentlicht: (2024)

Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds
von: Wang, Zedong, et al.
Veröffentlicht: (2026)

Tail Asymptotics of Cluster Sizes in Multivariate Heavy-Tailed Hawkes Processes
von: Blanchet, Jose, et al.
Veröffentlicht: (2025)

Stability and Generalization of Nonconvex Optimization with Heavy-Tailed Noise
von: Chen, Hongxu, et al.
Veröffentlicht: (2026)

Sharper Perturbed-Kullback-Leibler Exponential Tail Bounds for Beta and Dirichlet Distributions
von: Perrault, Pierre
Veröffentlicht: (2025)

Variational Tail Bounds for Norms of Random Vectors and Matrices
von: Bahmani, Sohail
Veröffentlicht: (2025)

Near-Optimal Decentralized Stochastic Nonconvex Optimization with Heavy-Tailed Noise
von: Wang, Menglian, et al.
Veröffentlicht: (2026)

Characterizing Dynamical Stability of Stochastic Gradient Descent in Overparameterized Learning
von: Chemnitz, Dennis, et al.
Veröffentlicht: (2024)

Sharp Concentration Inequalities: Phase Transition and Mixing of Orlicz Tails with Variance
von: Shen, Yinan, et al.
Veröffentlicht: (2026)

Sample Path Large Deviations for Multivariate Heavy-Tailed Hawkes Processes and Related Lévy Processes
von: Blanchet, Jose, et al.
Veröffentlicht: (2025)

A Method For Bounding Tail Probabilities
von: Zlatanov, Nikola
Veröffentlicht: (2024)

Variational Smoothing and Inference for SDEs from Sparse Data with Dynamic Neural Flows
von: Wang, Yu, et al.
Veröffentlicht: (2026)

Resolving Node Identifiability in Graph Neural Processes via Laplacian Spectral Encodings
von: Yan, Zimo, et al.
Veröffentlicht: (2025)

Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise
von: Wu, Yidong, et al.
Veröffentlicht: (2026)

EVT-Based Rate-Preserving Distributional Robustness for Tail Risk Functionals
von: Deo, Anand
Veröffentlicht: (2025)

Properties of Discrete Sliced Wasserstein Losses
von: Tanguy, Eloi, et al.
Veröffentlicht: (2023)

A General Reduction for High-Probability Analysis with General Light-Tailed Distributions
von: Attia, Amit, et al.
Veröffentlicht: (2024)

Tail-Aware Information-Theoretic Generalization for RLHF and SGLD
von: Zhang, Huiming, et al.
Veröffentlicht: (2026)

A Note on Asynchronous Challenges: Unveiling Formulaic Bias and Data Loss in the Hayashi-Yoshida Estimator
von: Georgiadis, Evangelos
Veröffentlicht: (2024)

Convergence Error Analysis of Reflected Gradient Langevin Dynamics for Globally Optimizing Non-Convex Constrained Problems
von: Sato, Kanji, et al.
Veröffentlicht: (2022)

Decentralized Proximal Stochastic Gradient Langevin Dynamics
von: Islam, Mohammad Rafiqul, et al.
Veröffentlicht: (2026)

Convergence of SGD for Training Neural Networks with Sliced Wasserstein Losses
von: Tanguy, Eloi
Veröffentlicht: (2023)

Birth-death dynamics for sampling: Global convergence, approximations and their asymptotics
von: Lu, Yulong, et al.
Veröffentlicht: (2022)

Static and Dynamic Approaches to Computing Barycenters of Probability Measures on Graphs
von: Gentile, David, et al.
Veröffentlicht: (2026)

A Gaussian Comparison Theorem for Training Dynamics in Machine Learning
von: Panahi, Ashkan
Veröffentlicht: (2026)

Tail Asymptotic of Heavy-Tail Risks with Elliptical Copula
von: Wang, Kai, et al.
Veröffentlicht: (2024)

Tail-Sensitive KL and Rényi Convergence of Unadjusted Hamiltonian Monte Carlo via One-Shot Couplings
von: Bou-Rabee, Nawaf, et al.
Veröffentlicht: (2026)

Convergence, Sticking and Escape: Stochastic Dynamics Near Critical Points in SGD
von: Dudukalov, Dmitry, et al.
Veröffentlicht: (2025)

Homogenization of Multi-agent Learning Dynamics in Finite-state Markov Games
von: Kerzreho, Yann
Veröffentlicht: (2025)

Denoising distances beyond the volumetric barrier
von: Huang, Han, et al.
Veröffentlicht: (2026)

Reconstructing the Geometry of Random Geometric Graphs
von: Huang, Han, et al.
Veröffentlicht: (2024)

Large Deviation Upper Bounds and Improved MSE Rates of Nonlinear SGD: Heavy-tailed Noise and Power of Symmetry
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2024)

ResNets of All Shapes and Sizes: Convergence of Training Dynamics in the Large-scale Limit
von: Chaintron, Louis-Pierre, et al.
Veröffentlicht: (2026)