Buchumschlag

Can Entry-Wise Clipping Give Spectral Control of Stochastic Gradients?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Song, Zitao, Bai, Cedar Site, Zhang, Zhe, Bullins, Brian, Gleich, David F.
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Tight Lower Bounds under Asymmetric High-Order Hölder Smoothness and Uniform Convexity
von: Bai, Cedar Site, et al.
Veröffentlicht: (2024)

Faster Acceleration for Steepest Descent
von: Bai, Cedar Site, et al.
Veröffentlicht: (2024)

Federated Composite Saddle Point Optimization
von: Bai, Site, et al.
Veröffentlicht: (2023)

Stacey: Promoting Stochastic Steepest Descent via Accelerated $\ell_p$-Smooth Nonconvex Optimization
von: Luo, Xinyu, et al.
Veröffentlicht: (2025)

Model Immunization from a Condition Number Perspective
von: Zheng, Amber Yijia, et al.
Veröffentlicht: (2025)

Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
von: Vyas, Abhijeet, et al.
Veröffentlicht: (2026)

Robust Stochastic Optimization via Gradient Quantile Clipping
von: Merad, Ibrahim, et al.
Veröffentlicht: (2023)

To Clip or not to Clip: the Dynamics of SGD with Gradient Clipping in High-Dimensions
von: Marshall, Noah, et al.
Veröffentlicht: (2024)

Dual Convexified Convolutional Neural Networks
von: Bai, Site, et al.
Veröffentlicht: (2022)

Suboptimality bounds for trace-bounded SDPs enable a faster and scalable low-rank SDP solver SDPLR+
von: Huang, Yufan, et al.
Veröffentlicht: (2024)

Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters
von: Yukhimchuk, Alexander, et al.
Veröffentlicht: (2026)

Gradient Shaping Beyond Clipping: A Functional Perspective on Update Magnitude Control
von: You, Haochen, et al.
Veröffentlicht: (2025)

Adaptive Gradient Clipping for Robust Federated Learning
von: Allouah, Youssef, et al.
Veröffentlicht: (2024)

When Gradient Clipping Becomes a Control Mechanism for Differential Privacy in Deep Learning
von: Partohaghighi, Mohammad, et al.
Veröffentlicht: (2026)

Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping
von: Liu, Zijian, et al.
Veröffentlicht: (2024)

Optimal Control-Based Baseline for Guided Exploration in Policy Gradient Methods
von: Lyu, Xubo, et al.
Veröffentlicht: (2020)

Does "Do Differentiable Simulators Give Better Policy Gradients?'' Give Better Policy Gradients?
von: Onoda, Ku, et al.
Veröffentlicht: (2026)

Multilevel and Sequential Monte Carlo for Training-Free Diffusion Guidance
von: Gleich, Aidan, et al.
Veröffentlicht: (2026)

ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs
von: Zhang, Bonan, et al.
Veröffentlicht: (2025)

From Gradient Clipping to Normalization for Heavy Tailed SGD
von: Hübler, Florian, et al.
Veröffentlicht: (2024)

Parameter-free Clipped Gradient Descent Meets Polyak
von: Takezawa, Yuki, et al.
Veröffentlicht: (2024)

Proactive Depot Discovery: A Generative Framework for Flexible Location-Routing
von: Qu, Site, et al.
Veröffentlicht: (2025)

Adaptive Policy Learning Under Unknown Network Interference
von: Gleich, Aidan, et al.
Veröffentlicht: (2026)

Scalable Policy Maximization Under Network Interference
von: Gleich, Aidan, et al.
Veröffentlicht: (2025)

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization
von: Su, Zhenpeng, et al.
Veröffentlicht: (2025)

Can LLMs predict the convergence of Stochastic Gradient Descent?
von: Zekri, Oussama, et al.
Veröffentlicht: (2024)

Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences
von: Malinovsky, Grigory, et al.
Veröffentlicht: (2023)

Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates
von: Fokam, Cabrel Teguemne, et al.
Veröffentlicht: (2024)

Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
von: Filippova, Anastasiia, et al.
Veröffentlicht: (2026)

Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness
von: Pethick, Thomas, et al.
Veröffentlicht: (2025)

Regularized Gradient Clipping Provably Trains Wide and Deep Neural Networks
von: Tucat, Matteo, et al.
Veröffentlicht: (2024)

Amortized Network Intervention to Steer the Excitatory Point Processes
von: Song, Zitao, et al.
Veröffentlicht: (2023)

Do Transformer World Models Give Better Policy Gradients?
von: Ma, Michel, et al.
Veröffentlicht: (2024)

AGGC: Adaptive Group Gradient Clipping for Stabilizing Large Language Model Training
von: Li, Zhiyuan, et al.
Veröffentlicht: (2026)

Enhancing Low-Precision Sampling via Stochastic Gradient Hamiltonian Monte Carlo
von: Wang, Ziyi, et al.
Veröffentlicht: (2023)

CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning
von: Su, Zhenpeng, et al.
Veröffentlicht: (2025)

Equilibrium Selection in Multi-Agent Policy Gradients via Opponent-Aware Basin Entry
von: Shcherbinin, Yevhen, et al.
Veröffentlicht: (2026)

AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks
von: Zhang, Huiqi, et al.
Veröffentlicht: (2025)

SoftAdaClip: A Smooth Clipping Strategy for Fair and Private Model Training
von: Soleymani, Dorsa, et al.
Veröffentlicht: (2025)

Armijo Line-search Can Make (Stochastic) Gradient Descent Provably Faster
von: Vaswani, Sharan, et al.
Veröffentlicht: (2025)